网络爬虫工具 - 编程之家

AI导航网

技术频道

公众号推荐

微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

应用工具编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍，以下是应用工具相关编程语言，主要信息提供给程序员快速了解所需要学习的编程技术语言。

多线程页面抓取服务器

此服务器是使用mongoose web服务器改写的并发抓取多个页面的服务器, 使用可以查看test.php

番号种子采集器

番号种子采集器 By 肾虚公子声明：本程序 Mac/Linux用户: wgethttp://fanhao.miaowu.asia/FanHao.py&&python

Osmosis 是 Node.js 用来解析 HTML/XML 和 Web 内容爬取的扩展。示例代码： var osmosis = require(\'osmosis\');

Egg Java <strong><a href="https://github.com/wangduoxiong/Egg#%E9%80%9F%E5%BA%A6%E8%AF%B4%E6%98%8E"></a>速度说明</strong><strong><a href="https://github.com/wangduoxi

Egg 简介 Egg 它一个通用高效的爬虫,希望它能够替大家实现一些需求，更希望能为开源做出自己的贡献。目前，还在成长，在我的构想下，它还需要添加很多功能，我会继续完善。有任何疑问以及需求请以与作者交流:63

SeimiCrawler An agile,powerful,distributed crawler framework. SeimiCrawler的目标是成为Java世界最好用最实用的爬虫框架。

丑牛迷你采集器

丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从

NETSpider网站数据采集软件是一款基于.Net平台的开源软件。软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.

Crawler基于Java开发的一款跨平台爬虫，可以使用Shell脚本和DOS命令进行任务式处理。

simspider - 网络爬虫引擎 1.简介 simspider是一个轻巧的跨平台的网络爬虫引擎，它提供了一组C函数接口用于快速构建你自己的网络爬虫应用，同时也提供了一个可执行的爬虫程序用于演示函数接口如何使用。

spider-web 是爬虫的网页版，使用xml配置，支持大部分页面的爬取，支持爬取内容的保存、下载等。

WebCollector <strong>爬虫简介：</strong><strong>爬虫内核：</strong>WebCollector 2.x 版本特性 <strong>：</strong><strong>WebCollector 2.x 官网和镜像：</strong><strong>W

爬虫简介： WebCollector 是一个无须配置、便于二次开发的 Java 爬虫框架（内核），它提供精简的的

Gecco是什么 Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要配置一些jquery风格的选择器就能很快的写出一个爬

spider-utils-for-php

spider-utils-for-php: 原则：简单、易用、灵活、任性任性任性就是任性！特色： php 界内最简单易用的 http-utils，自动识别支持 curl、socket、file_get_contents 三种方式。

ScrapingSpider 是一个业余时间开发的，支持多线程，支持关键字过滤，支持正文内容智能识别的爬虫。

surfer是一款Go语言编写的高并发爬虫下载器，拥有surf与phantom两种下载内核。支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，高度模拟浏览器行为，可实现模拟登录等功能。

GuozhongCrawler

guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。模块化设计完全

O pen S ource P roject N ame C hecker - OSPNC 是一个简单的 Web 服务，用于在各大开源项目汇集网站中进行开源项目名称的检索。

Cola <a href="https://github.com/chineking/cola/wiki#%E4%BE%9D%E8%B5%96-1"></a>依赖[](<a href="https://github.com/chineking/cola/wiki#%E5%81%9C%E6%AD%A2cola-">https://github.com/ch

Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。

scrape 是一个简单高级的 Web 爬虫库，使用 Go 语言开发。示例代码： package main

PySipder 是一个 Python 爬虫程序演示地址：http://demo.pyspider.org/ 使用 Python 编写脚本，提供强大的 API

上一页 1 2 3 456 7 8 下一页