这次我们来继续深入爬虫数据,有些网页通过请求的HTML代码不能直接拿到数据,我们所需的数据是通过ajax渲染到页面上去的,这次我们来看看如何分析ajax
我们这次所使用的网络库还是上一节的Requests,结果用到mongodb来存储(需要提前安装pymongo库),开启多线程爬。
分析:有很多网页打开以后,我们得到html源码并不能得到我们想要的数据,这时网站很有可能是通过ajax来加载的数据。
我们打开调试模式F12,点击NetWork,我们来分析我所要的数据藏在哪里
我们可以看到我们所需要的数据是通过ajax加载出来的。
项目一:分析Ajax来抓取今日头条街拍美图
代码地址:https://gitee.com/dwyui/toutiao_jiepai.git
简单看一下我们的运行结果:
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。