• 订阅：新手可以订阅我的其他专栏。免费阶段订阅量1000+

                python项目实战

                Python编程基础教程系列（零基础小白搬砖逆袭)

• 说明：本专栏持续更新中，目前专栏免费订阅，在转为付费专栏前订阅本专栏的，可以免费订阅付费专栏，可报销（名额有限，先到先得）。

        即将转为付费专栏，更多详细请看，五一或有优惠活动哦。

关于专栏〖Python网络爬虫实战〗转为付费专栏的订阅说明

• 作者：爱吃饼干的小白鼠。Python领域优质创作者，2022年度博客新星top100入围，荣获多家平台专家称号。

 最近更新

〖Python网络爬虫实战㉕〗- Ajax数据爬取之Ajax 案例实战

🌟上节回顾

前面我们讲解了 Ajax 的分析方法，利用 Ajax 接口我们可以非常方便地完成数据爬取。并通过实战，我们也了解到了怎么去获取。我们只要能找到 Ajax 接口的规律，就可以通过某些参数构造出对应的请求，数据自然就能轻松爬取到。

但是在很多情况下，一些 Ajax 请求的接口通常会包含加密参数，如token、sign 等，由于请求接口时必须加上这些加密参数，所以我们如果找不到加密的逻辑，是难以直接模拟这些 Ajax 请求的。此时我们的解决方法通常有两种：一种就是找到加密逻辑，再用 Python 复现，构造 Ajax 请求；另外一种方法就是直接通过模拟浏览器的方式来绕过这个过程，因为在浏览器里我们可以看到这个数据，如果能把看到的数据直接爬取下来，当然也就能获取对应的信息了。

由于第一种方法难度较高，对新手不太友好，这里我们就先介绍第二种方法：模拟浏览器爬取。主要来说说Selenium的使用方法。

⭐️Selenium 的使用

为了解决这些问题，我们可以直接使用模拟浏览器运行的方式来实现，这样就可以做到在浏览器中看到是什么样，抓取的源码就是什么样，也就是可见即可爬。这样我们就不用再去管网页内部的 JavaScript 用了什么算法渲染页面，不用管网页后台的 Ajax 接口到底有哪些加密参数。

🌟安装准备

本节以 Chrome 为例来讲解 Selenium 的用法。在开始之前，请确保已经正确安装好了 Chrome 浏览器并配置好了 ChromeDriver。另外，还需要正确安装好 Python 的 Selenium 库。

✨ChromeDriver 安装

通常来说，我们需要配合 Chrome 浏览器使用 Selenium，所以我们还需要额外安装下ChromeDriver 和 Chrome 浏览器。

这里关于Chrome 浏览器的安装就不介绍了。我们主要来说说ChromeDriver的安装。其他浏览器的驱动都差不多，我这里以ChromeDriver来演示。

• 查看浏览器的版本

这样，我们就可以看到我们的版本好了，相信大家也注意到了，我这里有感叹号，正常大家这里是没有的，为什么博主这里有感叹号，是因为博主把谷歌浏览器的自动更新关闭了，为什么要关闭，是因为，如果不关闭的话，谷歌浏览器会自动更新，我们下载的驱动就要重新下载，为了避免后面的重新下载，我还是建议大家关闭谷歌浏览器的自动更新。

• ChromeDriver

接下来，我们就来安装ChromeDriver驱动，我们可以去百度自行搜索，这里，博主把地址放在这里，ChromeDriver驱动。

我们打开这个网页，我们可以看到这样的内容。

 接下来，我们要找到对应的版本号，如果，没有的话，就找一个最近的版本号。

 我们点击之后，选择自己需要的版本，我选择的是win32.

将压缩包解压，将chromedriver.exe移动到 Python安装目录下（其实放哪都可以，但是需要配环境变量，放Python安装目录下省事）。

这样你以后用selenium自动化框架来操作浏览器的时候，就不会出现提示你没有浏览器驱动的报错了。

注意：如果浏览器更新了，我们的驱动也要更新，不然就会报错。这里，建议大家关闭谷歌浏览器自动更新。

✨Selenium 安装

• pip 安装

推荐直接使用 pip3 安装，执行如下命令即可：

pip3 install selenium

•  wheel 安装

除了 pip 安装，也可以到 PyPi 下载对应的 wheel 文件进行安装。

然后进入 wheel 文件目录，使用 pip 安装。

pip3 install selenium-xxx-py2.py3-none-any.whl

✨模块安装问题:

• 如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

在pycharm中点击Terminal(终端) 输入安装命令

• 安装失败原因:

• 失败一: pip 不是内部命令

                解决方法: 设置环境变量

• 失败二: 出现大量报红 (read time out)

                解决方法: 因为是网络链接超时, 需要切换镜像源

   

    清华：https://pypi.tuna.tsinghua.edu.cn/simple
    阿里云：https://mirrors.aliyun.com/pypi/simple/
    中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
    华中理工大学：https://pypi.hustunique.com/
    山东理工大学：https://pypi.sdutlinux.org/
    豆瓣：https://pypi.douban.com/simple/
    例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名

失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入

                解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好，或者你pycharm里面python解释器没有设置好。

✨验证安装

我们来运行下面的代码，如果可以打开百度的网页，几秒之后就关闭了，就说明我们的安装就没有问题，有的人安装的selenium是旧版本的，一些语法会有一些变动，这里推荐大家使用最新的，方便后面的学习。

from selenium import webdriver
import time

driver = webdriver.Chrome()
driver.get('https://www.baidu.com')
time.sleep(2)
driver.close()

 

 我们就可以看到，浏览器显示正在自动化测试。说明我们就成功。

总结

今天，主要和大家讲解了正确安装好Chrome 浏览器并配置好ChromeDriver。另外，还教大家如何正确安装好 Python 的 Selenium 库。