apify-js 介绍
apify-js是一款用于 JavaScript 的可伸缩的 web 爬虫和抓取库。能通过无头（headless）Chrome 和 Puppeteer 实现数据提取和 Web 自动化作业的开发。 它提供了管理和自动扩展无头Chrome / Puppeteer实例池的工具，维护要爬网的URL队列，将爬网结果存储到本地文件系统或云端。
安装：
npm install apify --save
运行以下示例以使用Puppeteer执行网站的爬取：
const Apify = require('apify');
Apify.main(async () => {
const requestQueue = await Apify.openRequestQueue();
await requestQueue.addRequest({ url: 'https://www.iana.org/' });
const pseudoUrls = [new Apify.PseudoUrl('https://www.iana.org/[.*]')];
const crawler = new Apify.PuppeteerCrawler({
requestQueue,
handlePageFunction: async ({ request,page }) => {
const title = await page.title();
console.log(`Title of ${request.url}: ${title}`);
await Apify.utils.puppeteer.enqueueLinks(page,'a',pseudoUrls,requestQueue);
},
maxRequestsPerCrawl: 100,
maxConcurrency: 10,
});
await crawler.run();
});
GitHub:https://github.com/apifytech/apify-js
网站描述:可伸缩的 web 爬虫和抓取库
apify-js
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。