Python selenium get页面很慢时,处理办法
driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。
在执行脚本时,driver.get("url") ,如果当前的url页面内容较多加载特别慢,很费时间,但是我们需要操作的元素已经加载出来,可以将页面加载停掉,不影响后面的脚本执行,解决办法
设置页面加载timeout,get操作: try get except 脚本window.stop(), 使用GeckoDriver上有效果,但是在ChromeDriver上还是会有问题,抛出异常timeout后续脚本不会继续执行
from selenium import webdriver import re driver = webdriver.Firefox() #设定页面加载timeout时长,需要的元素能加载出来就行 driver.set_page_load_timeout(20) driver.set_script_timeout(20) #try去get try: driver.get("http://tieba.baidu.com/p/5659969529?red_tag=w0852861182") except: print("加载页面太慢,停止加载,继续下一步操作") driver.execute_script("window.stop()") last_page_element = driver.find_element_by_css_selector("li.l_pager.pager_theme_4.pb_list_pager >a:nth-child(12)") #定位到元素尾页元素 #获取尾页页码链接文本 text = last_page_element.get_attribute("href") all_page_num = re.search("\d+$",text).group() # 正则匹配到页码 print("当前贴吧贴子总页数为:%s"%all_page_num)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。