json模块
- 什么是json?
- javascript中的对象和数组
- 对象：
{key:value}取值：对象名.key - 数组：
[...,...]取值：数组[索引值]
- 作用
- json格式的字符串和Python数据类型之间的转换
- 常用方法
- 动态网站数据抓取 - Ajax
import requests
import csv
import json
# url写get到的url
url = "https://movie.douban.com/j/chart/top_list?"
headers = {"User-Agent": "Mozilla/5.0"}
num = input("请输入要爬取的数量：")
# params 是抓包抓到webform里的内容形成的字典
params = {
"type": "11",
"interval_id": "100:90",
"action": "",
"start": "0",
"limit": num
}
res = requests.get(url, params=params, headers=headers)
# html为json格式的数组
html = res.text
print(html)
# 数组 -> python列表
html = json.loads(html)
# 用for循环遍历每一个电影信息{}
for film in html:
name = film['title']
score = film['rating'][0]
#{"rating":["9.6","50"]}
with open("douban.csv", "a", newline='') as f:
writer = csv.writer(f)
L = [name, score]
writer.writerow(L)selenium + phantomjs 强大的网络爬虫组合
selenium
phantomjs
- 定义：无界面浏览器(无头浏览器)
- 特点：
- 安装：
Chrome
- 到ChromeDriver - WebDriver for Chrome下载适配自己Chrome浏览器的版本。
- 将解压出的chromedriver添加到环境变量，或者放到miniconda/bin下（本人使用conda作文环境管理器）
from selenium import webdriver
import time
# 创建浏览器对象
# driver = webdriver.PhantomJS(executable_path='xxxxx')
# driver = webdriver.PhantomJS(executable_path="/Users/haoen110/phantomjs-2.1.1-macosx/bin/phantomjs")
# driver = webdriver.Chrome(executable_path='/Users/haoen110/chromedriver')
def test1():
# 创建浏览器对象
driver = webdriver.Chrome()
# 发请求get()
driver.get("http://www.baidu.com/")
# 获取网页截屏
driver.save_screenshot("百度.png")
# print("图片保存成功！")
# 关闭
driver.quit()
def test2():
# 创建浏览器对象
driver = webdriver.Chrome()
# 打开页面
driver.get("http://www.baidu.com/")
# 发送文字到搜索框
kw = driver.find_element_by_id("kw")
kw.send_keys("美女")
# 点击"百度一下"
su = driver.find_element_by_id("su")
su.click()
time.sleep(1)
# 获取截屏
# driver.save_screenshot("百度.png")
# 关闭浏览器
# driver.quit()常用方法
driver.get(url)driver.page_source：获取响应的html源码driver.page_source.find("字符串")- 作用：从html源码中搜索指定字符串
- -1：查找失败
- 非-1：查找成功
- 作用：从html源码中搜索指定字符串
- 单元素查找
driver.find_element_by_id("").textdriver.find_element_by_class_name("")driver.find_element_by_xpath('xpath表达式')- 如果匹配到多个节点,则只返回第1个节点对象
- 多元素查找
driver.find_elements_by_....- 如果结果1个,则返回节点对象,不是列表
- 如果结果N个,则返回列表
对象名.send_keys("内容")对象名.click()
案例1 ：登录豆瓣网站
from selenium import webdriver
import time
# 创建浏览器对象，发送请求
driver = webdriver.Chrome()
driver.get("https://www.douban.com/")
time.sleep(1)
# 获取截图(验证码）
# driver.save_screenshot("验证码.png")
# 找用户名、密码、验证、登录豆瓣按钮
mmdl = driver.find_element_by_class_name("account-tab-account")
mmdl.click()
uname = driver.find_element_by_name("username")
uname.send_keys("[email protected]")
pwd = driver.find_element_by_name("password")
pwd.send_keys("Howie1996925")
button = driver.find_element_by_class_name("btn btn-account")
# 关闭浏览器操作键盘
- 导模块
- from selenium.webdrier.common.keys import Keys
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
# 创建浏览器对象，发请求
driver = webdriver.Chrome()
driver.get("http://www.baidu.com/")
# 在百度搜索输入Python
kw = driver.find_element_by_id("kw")
kw.send_keys("Python")
time.sleep(0.8)
# 全选：ctrl + a
kw = driver.find_element_by_id("kw")
kw.send_keys(Keys.COMMAND, 'a')
time.sleep(0.8)
# 剪切：ctrl + x
kw = driver.find_element_by_id("kw")
kw.send_keys(Keys.COMMAND, 'x')
time.sleep(0.8)
# 粘贴：ctrl + v
kw = driver.find_element_by_id("kw")
kw.send_keys(Keys.COMMAND, 'v')
time.sleep(0.8)
# 清空搜索框
kw = driver.find_element_by_id("kw")
kw.clear()
time.sleep(0.8)
# 输入
kw = driver.find_element_by_id("kw")
kw.send_keys("Spider")
# 搜索
su = driver.find_element_by_id("su")
su.click()Chromdriver如何设置无界面模式
- opt = webdriver.ChromeOptions()
- opt.set_headless()
- driver = webdriver.Chrome(options=opt)
- driver.get(url)
案例2 ：斗鱼直播网站主播信息抓取（JS分页加载）
- 抓取目标：主播名称、观众人数
'''11_斗鱼直播抓取案例.py'''
from selenium import webdriver
from lxml import etree
import time
# 把Chrome设置无界面浏览器
opt = webdriver.ChromeOptions()
opt.set_headless()
# 创建浏览器对象,发请求
driver = webdriver.Chrome(options=opt)
driver.get("https://www.douyu.com/directory/all")
i = 1
# 循环
while True:
# 解析(driver.page_source)
# 获取主播名称 和 观众人数
parseHtml = etree.HTML(driver.page_source)
names = parseHtml.xpath('//div[@id="live-list-content"]//span[@class="dy-name ellipsis fl"]')
numbers = parseHtml.xpath('//div[@id="live-list-content"]//span[@class="dy-num fr"]')
for name,number in zip(names,numbers):
print("\t主播名称：%s \t观众人数：%s" %
(name.text.strip(),number.text.strip()))
#for name,number in [("主播1","20万"),("主播2","15万")]
print("第%d页爬取成功" % i)
i += 1
# 判断是否需要点击下一页
# 能点 ：点击,继续循环
if driver.page_source.find("shark-pager-disable-next") == -1:
driver.find_element_by_class_name("shark-pager-next").click()
time.sleep(1)
else:
break
# 不能点 ：break
print("一共爬取了%d页" % i)案例3：京东商品爬取
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
