网络爬虫工具 - 编程之家

AI导航网

技术频道

公众号推荐

微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

应用工具编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍，以下是应用工具相关编程语言，主要信息提供给程序员快速了解所需要学习的编程技术语言。

QueryList 特性：安装:用法：

QueryList 是一套简洁、优雅的PHP采集工具（爬虫），基于phpQuery。特性：拥有与jQuery完全相同的CSS3 DOM选择器

Scrapple 是一个用来开发 Web 爬虫程序的 Python 框架，使用 key-value 配置文件。提供命令行接口来运行基于 JSON

本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。

介绍 p2pspider 是一个 DHT 爬虫 + BT 客户端的结合体, 从全球 DHT 网络里”嗅探”人们正在下载的资源,

CrawlerDemon 特点系统核心组件

CrawlerDemon 是垂直应用爬虫，基于akka+okHttp+spring+jsoup ，配置简单，上手容易，支持配置动态参数，动态代理，http自动重试。

zhihu-py3 本质上是个爬虫，但是为了表现的像个API，所以没有加上多线程等特性，不太适合大量数据抓取，勉强可用于客户端开发。运行在python3.x环境下，不支持py2。

SpiderGirls 是使用java编写的一个开源软件，使用它用户可以轻松地获得某个给定的关键字下的搜索引擎的结果，现在支持bing搜索和sogou搜索。

Another Simple Crawler 又一个网络爬虫，可以支持代理服务器的翻墙爬取。 1.数据存在mysql当中。

本项目 fork 项目go_spider，github：https://github.com/hu17889/go_spider ，因此项目架构的部分文档可以参考此项目。

已删除源码

WebFetch 是无依赖极简网页爬取组件，能在移动设备上运行的微型爬虫。 WebFetch 要达到的目标：

Creeper <strong>简单的用例：</strong>

Creeper 是一个基于简单脚本（ Creeper Script ，扩展名 .crs ）的下一代开源爬虫框架。

Beats 是一款轻量级的数据采集器，采用 Go 语言编写。它集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向Logstash 或Elasticsearch 发送数据。

Jedi-Crawler 是一款轻量级 Node/PhantomJS爬虫，可以动态的抓取网页内容。安装： npm install jedi-crawler

php实现的dht (BT种子)分布式爬虫 24小时采集 bt种子磁力链接信息区别于传统爬虫不会被封ip

VSCrawler是一个适合用作抓取的爬虫框架，在更多场景倾向于功能扩展性而牺牲使用简便性。这让VSCrawler非常强大，让他可以灵活的应对目标网站的反爬虫策略。为了方便描述，文档中可能使用VS替代VSCrawler作为VSCra

Zerg <a href="https://github.com/huichen/zerg#%E7%89%B9%E6%80%A7"></a>特性如何部署

zerg 基于docker的分布式爬虫服务特性多机多 IP，充分利用 IP 资源服务自动发现和注册（基于 etcd 和 registrator）

wyps 是一个采用Java编写的一个在线采集系统，通过jsoup解析html网页，，只要会写jQuery语法就可以轻松采集任意网页的内容。并且使用selenium自动化测试工具解析动态网站或者需要登录的网站，使用chrome浏览器模拟

ghost-login **此处所说的模拟登录不是指利用网站本身提供的认证API接口进行登录，主要是通过分析前端代码，摸清登录认证原理、核心加密代码，然后程序模拟，来实现自动登录网站的过程；

BaiduyunSpider 技术栈演示站点

包含百度云网盘爬虫、网站前后端、搜索，整套服务。技术栈网站： PHP Codeigniter

上一页 2 3 4 567 8 9 下一页