Spidr 介绍
Spidr 是一个Ruby 的网页爬虫库,可以将整个网站、多个网站、某个链接完全抓取到本地。
安装方法:sudo gem install spidr
代码示例:
Spidr.start_at('http://tenderlovemaking.com/') Spidr.site('http://rubyinside.org/') do |spider| spider.every_url { |url| puts url } end
Spidr 官网
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。