网络爬虫工具 - 编程之家

AI导航网

技术频道

公众号推荐

微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

应用工具编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍，以下是应用工具相关编程语言，主要信息提供给程序员快速了解所需要学习的编程技术语言。

根据批量URL生成一个有书签的pdf文档的解决方案。h2p-file是一个xml文件，该xml文件主要描述url的信息和url的层次结构，h2p-tool根据h2p-file生成有书签的pdf文档。还可以通过xsl直接展示url的层次结构，而且合作网

jcrawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比如email,qq.

Smart and Simple Web Crawler

Smart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始，提供两种遍历模式：最大迭代和最大深度。可以设置

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～

易得网络数据采集系统

本系统采用主流编程语言php和mysql数据库，您可以通过自定义采集规则，或者到我的网站下载共享的规则，针对网站或者网站群，采集您所需的数据，您也可以向所有人共享您的采集规则哦。通过数据浏览和编辑器，编辑您

Methanol 是一个模块化的可定制的网页爬虫软件，主要的优点是速度快。

NWebCrawler是一款开源的C#网络爬虫程序

JobHunter旨在自动地从一些大型站点来获取招聘信息，如chinahr,51job,zhaopin等等。JobHunter

Bixo 是一个开放源码的Web挖掘工具包，基于 Hadoop 开发和运行。通过建立一个定制的级联管总成，您可以快速创建Web挖掘是专门为特定用例优化的应用程序。

DotNetWikiBot Framework 是一个全功能的客户端API和一个控制台应用，用来构建抓取基于MediaWiki 网站的爬虫，采用 .NET 开发。

Ebot 是一个用 ErLang 语言开发的可伸缩的分布式网页爬虫，URLs 被保存在数据库中可通过 RESTful 的 HTTP 请求来查询。

Spiderman - 又一个Java网络蜘蛛/爬虫 Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。

Harvestman 是一个非常简单、轻量级的 Web 爬虫，使用 Ruby 编写，示例代码： require \'harvestman\'

用ruby写的采集程序

作为一个入门级的程序员，用ruby写的一个小脚本，可以采集某人才网的人才数据，写的不好。头一次发布，希望大大们批评指正。

Upton 是一个用于简化web抓取与一个有用的调试模式的框架，可单独为目标网站编写内容解析。

crawl-me是一个基于plugin的轻量级快速网页图片下载工具。crawl- me通过简单的命令行就可以用你想要的方式下载各个网站下的图片。目前暂时只支持gamersky(游明星空),

NCrawler 是一个Web Crawler 工具，它可以让开发人员很轻松的发展出具有Web Crawler

TinySpider 网络爬虫网站访问者URL仓库监视器处理器编写爬虫编写处理器运行结果

TinySpider是一个基于Tiny HtmlParser的网络数据抓取框架。 Maven引用坐标： <dependency>

Crowbar: 基于Mozilla浏览器的 ajax 爬虫，还可作为远程浏览器使用，比较有意思。

这是一个非常简单易用的抓取工具怎么使用? 首先你需要创建一个对应站点的规则文件比如test.json

上一页 1 234 5 6 7 8 下一页