爬虫-浏览器自动化

什么是selenium

selenium是浏览器自动化测试框架，原本用于网页测试。但到了爬虫领域，它又成为了爬虫的好帮手。有了 selenium，我们便不再需要判断网页数据加载的方式，只要让 selenium 自动控制浏览器，就像有双无形的手，控制着你的鼠标和键盘，自动地帮你干活。爬取数据？自动抢票？这些当然统统都不在话下。

安装selenium

和安装python的第三方库是一样的

pip install selenium

selenium还需要安装相应的浏览器驱动才能控制浏览器。强烈推荐使用Chorme浏览器。

查看自己电脑上的浏览器版本，依次点击浏览器右上角的 三个点 - 帮助 - 关于 Google Chrome。

将下载的对应版本的的 chromedriver 解压缩，Windows 系统得到 chromedriver.exe，这个就是我们需要的浏览器驱动。我们要将它放到 Python 所在安装目录里。

为了验证驱动是否安装成功，Windows 系统在的 命令行 或者 Anaconda Prompt 中输入 chromedriver 命令，如果出现类似下图所示的内容，就证明驱动已经安装成功了。

打开浏览器

来看下如何用selenium打开Chrom浏览器

# 从 selenium 中导入 webdriver（驱动）
from selenium import webdriver

# 选择 Chrome 浏览器并打开
browser = webdriver.Chrome()

获取数据

# 从 selenium 中导入 webdriver（驱动）
from selenium import webdriver

# 选择 Chrome 浏览器打开
browser = webdriver.Chrome()
# 打开网页
browser.get('https://wpblog.x0y1.com')
# 关闭浏览器
browser.quit()

browser 是我们实例化的浏览器。我们将网址传给 browser 对象的 get() 方法，即可打开对应的网页。最后调用 quit() 方法将浏览器关闭。

我们的目的是获取数据，接下来让我们用 browser 对象的 page_source 属性来获取网页的源代码。值得注意的是，用 selenium 获取的网页源代码是数据加载完毕后最终的源代码，也就是网页加载后通过 API 获取的数据也在这个源代码中。

因此，我们就不用再区分要爬取的网页是静态网页还是动态网页了，在 selenium 眼里统统都一样。

代码	作用
browser = webdriver.Chrome()	打开Chrome浏览器
browser.get("网址")	打开网页
browser.page_source	获取网页源代码
browser.quit()	关闭浏览器

处理数据

我们来看看如何用 selenium 处理数据。我们以获取博客的 h1 元素为例。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://wpblog.x0y1.com')
h1 = browser.find_element(by='tag name', value='h1')
# 上面的代码也可以写成  
# h1 = browser.find_element('tag name', 'h1')
print(h1.text)
browser.quit()

方法	作用
find_element(by = 'tag name', value=...)	通过标签查找元素
find element(by = 'class name', value=...)	通过 class 属性名查找元素
find element(by = 'id', value=...)	通过 id 查找元素
find element(by = 'name', value=...)	通过 name 属性查找元素
find element(by = 'Link text', value=...)	通过链接文本查找元素
find element(by = 'partial link text', value=...)	通过链接的部分文本查找元素

这些方法找到的元素（返回值）都是 WebElement 对象，它和 BeautifulSoup 里的 Tag 对象一样，也有一个 text 属性，一样也是获取元素里的文本内容。

BeautifulSoup 中通过 select() 方法查找所有被所传入的 CSS 选择器选中的元素。刚才介绍的那些方法都是查找第一个符合条件的元素，接下来我们来看看 selenium 中查找所有符合条件的元素的方法。

这些方法非常简单，直接把 find_element() 方法改成 find_elements() 方法即可：

方法	作用
find_elements(by = 'tag name', value=...)	通过标签查找元素
find elements(by = 'class name', value=...)	通过 class 属性名查找元素
find elements(by = 'id', value=...)	通过 id 查找元素
find elements(by = 'name', value=...)	通过 name 属性查找元素
find elements(by = 'Link text', value=...)	通过链接文本查找元素
find elements(by = 'partial link text', value=...)	通过链接的部分文本查找元素

比如获取网页源代码中所有的a元素

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://wpblog.x0y1.com')
# 注意下面是 elements
a_tags = browser.find_elements('tag name', 'a')

for tag in a_tags:
  print(tag.text)
browser.quit()

值得一提的是，WebElement 对象也可以调用 selenium 查找元素的方法。这样就和 BeautifulSoup 中的 Tag 对象一样，可以一层一层的查找元素，直到找到为止。

BeautifulSoup 的原理是将网页源代码的字符串形式解析成 BeautifulSoup 对象，然后通过 BeautifulSoup 对象 的属性和方法提取出我们需要的数据。发现没有？BeautifulSoup 只需要一个网页源代码的字符串形式即可。

之前我们都是使用 requests 库获取网页源代码，并通过 text 属性取得其字符串形式。而 selenium 获取网页后的 page_source 属性值正是字符串格式的！

以上面获取博客网页源代码中所有的 a 元素 为例，加上 BeautifulSoup 可以这样写：

from selenium import webdriver
from bs4 import BeautifulSoup

browser = webdriver.Chrome()
browser.get('https://wpblog.x0y1.com')
# 用 BeautifulSoup 解析网页源代码
soup = BeautifulSoup(browser.page_source, 'html.parser')
a_tags = soup.select('a')
for tag in a_tags:
  print(tag.text)
browser.quit()

我写了一个两者结合爬取豆瓣读书的代码

import time
from selenium import webdriver
from bs4 import BeautifulSoup


browser = webdriver.Chrome()
browser.get("https://book.douban.com/top250/")
time.sleep(2)

#soup = BeautifulSoup(res.text, 'html.parser')
soup = BeautifulSoup(browser.page_source, 'html.parser')
#print(soup)
# 所有书名所在元素
book_name_tags = soup.select("a")
#print(book_name_tags)
book_names = []
for book_name in book_name_tags:
    name = book_name.attrs
    if 'title' in name:
        book_names.append(name['title'])

# 所有书籍信息所在元素
book_info_tags = soup.find_all('p', class_="pl")

for i in range(len(book_names)):
    name = book_names[i]
    author = book_info_tags[i].text.split('/')[0]
    publisher = book_info_tags[i].text.split('/')[-3]
    print("%s / %s / %s" % (name, author, publisher))

browser.quit()

返回的结果如下：

红楼梦 / [清] 曹雪芹著 / 人民文学出版社
活着 / 余华 / 作家出版社
1984 / [英] 乔治·奥威尔 / 北京十月文艺出版社
哈利·波特 / J.K.罗琳 (J.K.Rowling) / 人民文学出版社
三体全集 / 刘慈欣 / 重庆出版社
百年孤独 / [哥伦比亚] 加西亚·马尔克斯 / 南海出版公司
飘 / [美国] 玛格丽特·米切尔 / 译林出版社
动物农场 / [英] 乔治·奥威尔 / 上海译文出版社
三国演义（全二册） / [明] 罗贯中 / 人民文学出版社
房思琪的初恋乐园 / 林奕含 / 北京联合出版公司
福尔摩斯探案全集（上中下） / [英] 阿·柯南道尔 / 1981-8
白夜行 / [日] 东野圭吾 / 南海出版公司
小王子 / [法] 圣埃克苏佩里 / 人民文学出版社
安徒生童话故事集 / （丹麦）安徒生 / 人民文学出版社
天龙八部 / 金庸 / 生活·读书·新知三联书店
撒哈拉的故事 / 三毛 / 哈尔滨出版社
呐喊 / 鲁迅 / 人民文学出版社
邓小平时代 / 【美】傅高义 (Ezra.F.Vogel) / 生活·读书·新知三联书店
悉达多 / [德] 赫尔曼·黑塞 / 天津人民出版社
杀死一只知更鸟 / [美] 哈珀·李 / 译林出版社
明朝那些事儿（1-9） / 当年明月 / 中国海关出版社
失踪的孩子 / [意] 埃莱娜·费兰特 / 人民文学出版社
新名字的故事 / [意] 埃莱娜·费兰特 / 人民文学出版社
野草 / 鲁迅 / 人民文学出版社
沉默的大多数 / 王小波 / 中国青年出版社

控制浏览器

我们要想登录博客，那必须具备登录的动作，再学习两个方法，分别是：click() 和 send_keys()

方法	作用
click()	点击元素
send_keys()	模拟按键输入

看下其在代码中的应用

from selenium import webdriver
import time

browser = webdriver.Chrome()
# 打开博客
browser.get('https://wpblog.x0y1.com')
# 找到登录按钮
login_btn = browser.find_element('link text', '登录')
# 点击登录按钮
login_btn.click()
# 等待 2 秒钟，等页面加载完毕
time.sleep(2)
# 找到用户名输入框
user_login = browser.find_element('id', 'user_login')
# 输入用户名
user_login.send_keys('codetime')
# 找到密码输入框
user_pass = browser.find_element('id', 'user_pass')
# 输入密码
user_pass.send_keys('shanbay520')
# 找到登录按钮
wp_submit = browser.find_element('id', 'wp-submit')
# 点击登录按钮
wp_submit.click()
# 找到 Python 分类文章链接
python_cat = browser.find_element('css selector', 'section#categories-2 ul li a')
# 点击该分类
python_cat.click()
# 找到跳转的页面中的所有文章标题元素
titles = browser.find_elements('css selector', 'h2.entry-title a')

# 找到标题元素中内含的链接
links = [i.get_attribute('href') for i in titles]
# 依次打开 links 中的文章链接
for link in links:
  browser.get(link)
  # 获取文章正文内容
  content = browser.find_element('class name', 'entry-content')
  print(content.text)
  
browser.quit()