最近在爬某个网站，发现这个网站的反爬太厉害了，正常时候的访问有时候都会给你弹出来验证，验证你是不是蜘蛛，而且requests发的请求携带了请求头信息，cookie信息，代理ip，也能识别是爬虫，他应该是有个ssl证书的机制，即使你关闭了也能检测到，好厉害，所以我就想着双管齐下，你跳出来是验证我就selenium做验证拿数据，你要是requests能请求到我就requests。
但是selenium也得使用代理ip，要不还不是得把你ip给你封了。从网上找了些，但是代理拿下来发现不能用，我在本地设置好的代理ip可以用，加到option参数中就不行，下面看代码
from selenium import webdriver
from selenium.webdriver import ChromeOptions
option = ChromeOptions()
ip = 'ip:port'
option.add_argument(('--proxy-server=' + ip))#有的博客写的是'--proxy-server=http://'，就目前我的电脑来看的话需要把http://去掉就可以用，他会自己加的
driver = webdriver.Chrome(options=option)
driver.get(url='https://www.baidu.com/s?wd=ip')
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
