AI导航网
微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！
编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍，以下是应用工具相关编程语言，主要信息提供给程序员快速了解所需要学习的编程技术语言。
goodcrawler
goodcrawler(GC) 网络爬虫 GC是一个垂直领域的爬虫，同时也是一个拆箱即用的搜索引擎。
PHPCrawl
phpcrawl是一个爬虫/蜘蛛功能的基于php开发的框架，所以我们称它为网站或爬虫的PHP库。
ThinkUp
ThinkUp 是一个可以采集推特，facebook等社交网络数据的社会媒体视角引擎。通过采集个人的社交网络账号中的数据，对其存档以及处理的交互分析工具，并将数据图形化以便更直观的查看。
NEOCrawler 【主要特点】【架构】
NEOCrawler(中文名：牛咖)，是nodejs、redis、phantomjs实现的爬虫系统。代码完全开源，适合用于垂直领域的数据采集和爬虫二次开发。
heyDr
heyDr是一款基于java的轻量级开源多线程垂直检索爬虫框架，遵循GNU GPL V3协议。
CrawlScript
JAVA平台上的网络爬虫脚本语言 CrawlScript 网络爬虫即自动获取网页信息的一种程序，有很多JAVA、C++的网络爬虫类库，但是在这些类库的基础上开发十分繁琐，需要大量的代码才可以完成一个简单
美容新闻采集
美容新闻淘客免维护全自动采集 1.采集瑞丽女性美容频道文章,免维护全自动采集
PHP-spider
一个可扩展的PHP WEB 蜘蛛，示例代码： use VDB\\Spider\\Spider; use VDB\\Spider\\Discoverer\\XPathExpressionDiscoverer;
Spiderq
Spiderq 是一个网页爬虫，性能依赖于服务器配置和网络情况。
Goutte
Goutte 是一个抓取网站数据的 PHP 库。它提供了一个优雅的 API，这使得从远程页面上选择特定元素变得简单。
nutch-htmlunit 项目简介主要特性运行体验扩展插件说明
Nutch Htmlunit Plugin 重要说明： 当前项目基于Nutch 1.X系列已停止更新维护，转向Nutch
gcrawler
一个基于gevent的爬虫框架，最初的版本在一定程度上模仿了scrapy。
Crawljax
Crawljax: java编写，开放源代码。 Crawljax 是一个 Java 的工具用于自动化的爬取和测试现在的 Ajax Web 应用。
WebMagic
webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
opm-server-mirror
代码更新 2009-11-25： 加入反爬虫功能。直接Web访问服务器将跳转到Google。 使用方法
webStraktor
webStraktor 是一个可编程的 WWW 数据抽取客户端，提供一个脚本语言用于收集、抽取和存储来自 Web 的数据，包括图片。脚本语言使用正则表达式和
OWASP AJAX Crawling Tool
OWASP AJAX Crawling Tool (FuzzOps-NG) OWASP出品的ajax爬虫，java编写，开放源代码。
spidernet
spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制,
Leopdo
用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统
Portia
Portia是scrapyhub开源的一款可视化的爬虫规则编写工具。它提供可视化的Web页面，你只需要通过点击标注页面上你需要抽取的数据，不需要任何编程知识即可完成规则的开发。
    pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native