selenium 最初是一个自动化测试工具,而爬虫中使用它主要是为了解决 requests 无法直接执行 JavaScript 代码的问题。selenium 的缺点是效率会变得很慢。
selenium 本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器
from selenium import webdriver browser=webdriver.Chrome() browser=webdriver.Firefox() browser=webdriver.PhantomJS() browser=webdriver.Safari() browser=webdriver.Edge()
一、安装
安装：
| 1 |
pip3 install selenium
|
要自动启动浏览器需要安装相应的驱动，selenium3 默认支持的 webdriver 是 Firfox，而 Firefox 需要安装 geckodriver
安装火狐浏览器
下载链接：https://github.com/mozilla/geckodriver/releases
- Ubuntu下载后将 geckodriver 移动到 /usr/local/bin/ 目录下
sudo mv geckodriver /usr/local/bin/
- Windows下载后将 geckodriver.exe 加入环境变量，或者将 geckodriver.exe 移动到脚本同级目录
安装谷歌浏览器：
- windows：下载 chromdriver.exe 放到python安装路径的 scripts 目录中即可，注意最新版本是2.xx，并非2.9
- Ubuntu：下载 chromdriver.zip，解压缩后将 chromdriver 文件复制到 /usr/bin 文件夹下（或者软连接到 /usr/bin/chromdriver）
国内镜像网站地址：http://npm.taobao.org/mirrors/chromedriver/
最新的版本去官网找:https://sites.google.com/a/chromium.org/chromedriver/downloads
from selenium import webdriver
# 弹出 chrome 浏览器
driver=webdriver.Chrome()
driver.get('https://www.baidu.com')
driver.page_source
#能自动弹出浏览器并访问百度，就说明成功了
# 弹出 firefox浏览器
brow=webdriver.Firefox()
brow.get('https://www.baidu.com')
二、等待元素被加载
selenium 是自动运行浏览器的一种行为，而浏览器的加载是需要时间的，我们在进行操作之前肯定必须要等到被操作的元素加载出来后才行，所以我们就需要用到等待的操作、
等待的方式分两种
#2、等待的方式分两种： 隐式等待：在browser.get（'xxx'）前就设置，针对所有元素有效 显式等待：在browser.get（'xxx'）之后设置，只针对某个元素有效
示例：
三、选择器
选择器就是用来做对象爬取的内容进行定位用的，选择器有很多，每种的功能都不同
基本选择器
xpath
四、元素交互操作
交互操作就是指模拟人在网页中进行输入或点击鼠标的操作，主要针对的是 input 框和链接。交互操作中可以自己植入 js 代码
模拟天猫搜索：
模拟滑动验证码操作（网页很low逼）：
补充：frame的切换
模拟浏览器的前进后退
选项卡管理
异常处理
小项目扩展
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
