AI导航网
微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！
编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍，以下是应用工具相关编程语言，主要信息提供给程序员快速了解所需要学习的编程技术语言。
Gather Platform
Gather Platform 数据抓取平台是一套基于 Webmagic 内核的，具有 Web 任务配置和任务管理界面的数据采集平台，一个轻量级的搜索引擎系统。具有以下功能
Node-cnblogs-spider
\"Build
Crawlab 要求Docker要求直接部署Docker直接部署主节点工作节点MongoDBRedis前端集成Scrapy
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。
NowView
Jsoup + MaterialViewPager + RxJava2 + Retrofit + Lifecycle + Realm + Fresco + Retrolambda example 一款Android图文精选app，通过抓取网页获得图文列表。目前包含猫弄（MONO）早午茶、站酷（Zcool）精选、国家
jfinal_jsoup_meinvtu
去年，做了几个JFinal项目，大量使用了Java爬虫去全网抓取数据，清洗筛选后入库，成为本地结构化数据。
spider-flow
介绍 spider-flow，新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
Colly 项目特性示例
Colly 是一个采用 Go 语言编写的 Web 爬虫框架，旨在提供一个能够写任何爬虫/采集器/蜘蛛的简洁模板。通过 Colly
ProxyIpPool
ProxyIpPool 是一个爬虫代理 ip 池，主要用途爬取代理 ip ，然后将这些代理 ip 放入池子里（池子是某个数据结构的概念，比如我用的是队列）进行维护。
GoldDataSpider
GoldDataSpider 是用于抓取网页和抽取数据的工具。其核心代码是从金色数据抓取融合平台分离而来。
XCrawler <strong>XCrawler - 轻量级、易维护的PHP爬虫框架</strong>
XCrawler - 轻量级、易维护的PHP爬虫框架 特性: 极易上手，具备完善的文档和示例
WebCollector-Python WebCollector Java版本安装示例快速入门自动探测URL手动探测URL用detected_filter插件过滤探测到的URL用RedisCrawler进行可断点的采集可在关闭后恢复用Requests定制Http请求
WebCollector-Python WebCollector-Python 是一个无须配置、便于二次开发的 Python 爬虫框架（内核），它提供精简的的
grab_huaban_board for Pythonfor JavaScript(花瓣、堆糖)
grab_huaban_board 花瓣网下载工具是一个用户脚本，用来批量抓取花瓣网用户画板的高清原图，支持PC与Mobile，并可以选择通过不同方式下载到本地。
GNE-JS
GNE-JS 是基于论文《基于文本及符号密度的网页正文提取方法》实现的新闻网页正文通用抽取器。
VW-Crawler 背景特点使用离线使用步骤抓取CSDN某用户的博客内容
VW-Crawler 背景 自己一直对爬虫比较感兴趣，大学的毕业论文也是一个爬虫项目(爬教务处信息，然后做了个Android版教务管理系统，还获得了优秀毕业设计的称号)，自那以后遇到自己感兴趣的网站就会去抓一下。前段时间
Dodder 注意
_________________________ _____ \\___________/_____/____________ __/ / /__ \\__/___/__ \\____/ _/_/ // /_/ / /_/ / / /_/ / /__//
BeiJingSubwayFlows 结果：其他：
北京地铁客流量统计（py爬虫+js统计图) 很好奇北京地铁每天的客流量变化，于是写了个爬虫。结果很有意思，每周7天的客流变化都很规律。
AiPa 一款小巧、灵活的Java多线程爬虫框架AiPa1.框架简介2.下载安装3.如何使用3.3 自定义爬虫类4.测试用例5.关于作者
一款小巧、灵活的Java多线程爬虫框架（AiPa） 1.框架简介 AiPa 是一款小巧，灵活，扩展性高的多线程爬虫框架。
CrawlerForReader 支持书源模版示例调用方式ScreenShotLicense
CrawlerForReader Android 本地网络小说爬虫，基于 jsoup 与 xpath，通过模版解析网页。
wind-bell
wind-bell 风铃虫是一款轻量级的爬虫工具，似风铃一样灵敏，如蜘蛛一般敏捷，能感知任何细小的风吹草动，轻松抓取互联网上的内容。它是一款对目标服务器相对友好的蜘蛛程序，内置了二十余种常见或不常见的浏览器标
skycaiji
蓝天采集器(skycaiji)是一款免费的数据采集发布爬虫软件，采用php+mysql开发，可部署在云服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是大数据、云时代
    pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native