问题:从食品伙伴网上爬取txt,先爬取了<a>标签下的链接url,保存在txt中,然后遍历txt中的url,通过selenium.webdriver.Chrome().get(url)得到url页面的内容(就是get(url)出错了),然后取所需要的。错误如下:
百度解决啊,找到了一个类似问题的博客还解决不了我的问题,只能自己捣鼓。
遍历url,get(url)关键代码如下:
urls = open("finalUrls.txt", 'r', encoding="utf8") driver = webdriver.Chrome("E:\\chromedriver_win32\\chromedriver.exe") for url in urls: driver.get(url)
这始终发现不了错误,找到个解决方法,就是取出来的url放在一个list中,然后遍历这个列表取get,结果还是不行。代码如下:
urls = open("finalUrls.txt", 'r', encoding="utf8")
urls = urls.read().split() # 加了此行,就是放在了list中 driver = webdriver.Chrome("E:\\chromedriver_win32\\chromedriver.exe") for url in urls: driver.get(url)
接着调,自己捣鼓,是不是把url转成str就行了,好像本就是str,试试吧,不怕啥。结果不行。
接着试:在for循环里加入了split,即url = url.split()
然后就想啊,是不是因为这么个东西搞得我get不了啊。百度去, https://www.cnblogs.com/chongzi1990/p/8694883.html
说是编码的问题,我一开始保存的时候是utf8啊,就按照人家的试试呗,utf-8-sig,然后问题解决。。。
urls = open("finalUrls.txt", 'r', encoding="utf-8-sig") driver = webdriver.Chrome("E:\\chromedriver_win32\\chromedriver.exe") for url in urls: driver.get(url)
总结:就是\ufeff这么个东西搞我
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。