1.解析数据：lxml.etree xpath re BeautifulSoup pyquery
2.数据提取：selenium requests scrapy Appium pyspider
3.数据存储： ;MysqL(pyMysqL) MongoDB(pymongo) redis
4.常见反爬博弈技巧：
headers验证或校对请求信息，请求头的使用
网页返调试措施csdn有解决办法
ip封禁使用代理ip，站大爷就挺好用的接口加密一般post请求用到，Get请求所见即所得不会有加密，
接口加密涉及到js逆向分析技术第三方包Execjs可以在python代码中运行js代码从而获取人家js代码执行数据
验证码还有登陆阻拦文字验证，数字计算就要用到selenium加牛逼技术，牛逼技术可百度
5.数据获取速度：
使用线程池 进程池 协程 比较方便 传统线程也能使用不过比较麻烦，还有队列模块可以给线程加锁不让数据丢失
6.Http协议http1协议就是http://www.xxx.comhttp2协议就是https://www.xxx.com
以上内容已经涉及很多爬虫技术，还有很多好玩强大的技术后面会持续更新，文章有些地方写的不详细或者不对后续会修改
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
