微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Day1-Ajax数据爬取

一、渲染网页

  

document.getElementById("myDiv").innerHTML=xmlhttp.responseText 这里就是将ID是myDiv的节点内部的HTML代码更改为服务器返回的内容

6.2、Ajax分析方法

1、在微博的页面中,打开审查元素中network,刷新一下页面久可以看到很多请求了

2、Ajax又一种特殊的请求类型,叫做xhr,在一个请求中的Request Headers中有一个元素叫做”

x-requested-with: XMLHttpRequest 这久标记了这个请求是Ajax请求了 ----点击Preview,就可以看到响应的内容了 ----点击Response中,可以观察到真实的返回数据 ----一般请求的第一条中Response就是这个页面的原始html   3、过滤请求 可以在审查元素中筛选初所有的Ajax请求,选择XHR ,就可以显示所有的Ajax请求了   6.3 Ajax结果提取(用Python 实现Ajax请求的模拟,从而实现数据的爬取) 分析响应:     是JSON格式的,其中最关键的两部分信息就是 cardlistInfo 和 cards     其中的cardlistInfo 包含的重要信息total 这个其实就是微博的总数量,可以根据这个数字来估算分页数       在cards里面的有一个重要的字段 mblog 展开它就可以看到微博的一些重要信息了,比如attitudes_count 就是赞的数目;     comments——count就是评论的数目、reposts_count就是转发的数目、created_at就是发布的时间了、text就是微博的正文了   3、实战演练  

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐