Python 爬虫（四）：Selenium 框架

news2025/1/10 16:56:18

Selenium 是一个用于测试 Web 应用程序的框架，该框架测试直接在浏览器中运行，就像真实用户操作一样。它支持多种平台：Windows、Linux、Mac，支持多种语言：Python、Perl、PHP、C# 等，支持多种浏览器：Chrome、IE、Firefox、Safari 等。

1 安装

1）安装 Selenium

pip install selenium

2）安装 WebDriver

主要浏览器 WebDriver 地址如下：

Chrome：http://chromedriver.storage.googleapis.com/index.html

Firefox：https://github.com/mozilla/geckodriver/releases/

IE：http://selenium-release.storage.googleapis.com/index.html

本文以 Chrome 为例，本机为 Windows 系统，WebDriver 使用版本 78.0.3904.11，Chrome 浏览器版本为 78.0.3880.4 驱动程序下载好后解压，将 chromedriver.exe 放到 Python 安装目录下即可。

2 操作浏览器

2.1 打开浏览器

1）普通方式

以打开去 163 邮箱为例，使用 Chrome 浏览器

from selenium import webdriver
browser = webdriver.Chrome()browser.get('https://mail.163.com/')

使用 Firefox 浏览器

​​​​​​​

from selenium import webdriver
browser = webdriver.Firefox()browser.get('https://mail.163.com/')

使用 IE 浏览器

​​​​​​​

from selenium import webdriver
browser = webdriver.Ie()browser.get('https://mail.163.com/')

2）加载配置方式

以 Chrome 为例，在 Chrome 浏览器地址栏输入 chrome://version/ 打开，如图所示：

我们可以看到个人资料路径这一项，取到路径：C:\Users\admin\AppData\Local\Google\Chrome\User Data，取到 User Data 使用自己设置的配置，取到 Default 使用默认配置。看下示例：

​​​​​​​

from selenium import webdriver
option = webdriver.ChromeOptions()# 自己的数据目录（需要将复制的路径中的 \ 替换成 / 或进行转义 \\）# option.add_argument('--user-data-dir=C:/Users/admin/AppData/Local/Google/Chrome/User Data')option.add_argument('--user-data-dir=C:\\Users\\admin\\AppData\\Local\\Google\\Chrome\\User Data')browser = webdriver.Chrome(chrome_options=option)browser.get('https://mail.163.com/')# 关闭browser.quit()

如果执行时报错没有打开指定页面，可先将浏览器关闭再执行。

3）Headless 方式

前两种方式都是有浏览器界面的方式，Headless 模式是 Chrome 浏览器的无界面形态，可以在不打开浏览器的前提下，使用所有 Chrome 支持的特性运行我们的程序。这种方式更加方便测试 Web 应用、获得网站的截图、做爬虫抓取信息等。看下示例：

​​​​​​​

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()# 使用 headless 无界面浏览器模式chrome_options.add_argument('--headless')# 禁用 gpu 加速chrome_options.add_argument('--disable-gpu')
# 启动浏览器，获取网页源代码browser = webdriver.Chrome(chrome_options=chrome_options)url = 'https://mail.163.com/'browser.get(url)print('browser text = ',browser.page_source)browser.quit()

2.2 设置浏览器窗口

最大化显示

browser.maximize_window()

最小化显示

browser.minimize_window()

自定义大小

​​​​​​​

# 宽 500，高 800browser.set_window_size(500,800)

2.3 前进后退

前进

browser.forward()

后退

browser.back()

3 元素定位

当我们想要操作一个元素时，首先需要找到它，Selenium 提供了多种元素定位方式，我们以 Chrome 浏览器 Headless 方式为例。看下示例：

​​​​​​​

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()chrome_options.add_argument('--headless')chrome_options.add_argument('--disable-gpu') browser = webdriver.Chrome(chrome_options=chrome_options)url = 'https://xxx.xxx.com/'browser.get(url)data = browser.page_source

假设访问地址 https://xxx.xxx.com/，返回 data 为如下内容。

​​​​​​​

<html> <body>  <form>   <input id="fid" name="fid" type="text" />   <input id="firstName" name="fname" class="fname" type="text" />   <input id="lastName" name="fname" class="fname" type="text" />   <a href="index.html">index</a>  </form> </body><html>

1）根据 id 定位

browser.find_element_by_id('fid')

2）根据 name 定位

​​​​​​​

# 返回第一个元素browser.find_element_by_name('fname')# 返回所有元素browser.find_elements_by_name('fname')

3）根据 class 定位

​​​​​​​

# 返回第一个元素browser.find_element_by_class_name('fname')# 返回所有元素browser.find_elements_by_class_name('fname')

4）根据标签名定位

​​​​​​​

# 返回第一个元素browser.find_element_by_tag_name('input')# 返回所有元素browser.find_elements_by_tag_name('input')

5）使用 CSS 定位

​​​​​​​

# 返回第一个元素browser.find_element_by_css_selector('.fname')# 返回所有元素browser.find_elements_by_css_selector('.fname')

6）使用链接文本定位超链接

​​​​​​​

# 返回第一个元素browser.find_element_by_link_text('index')# 返回所有元素browser.find_elements_by_link_text('index')
# 返回第一个元素browser.find_element_by_partial_link_text('index')# 返回所有元素browser.find_elements_by_partial_link_text('index')

7）使用 xpath 定位

​​​​​​​

# 返回第一个元素browser.find_elements_by_xpath("//input[@id='fid']")# 返回所有元素browser.find_elements_by_xpath("//input[@name='fname']")

4 等待事件

Web 应用大多都使用 AJAX 技术进行加载，浏览器载入一个页面时，页面内的元素可能会在不同的时间载入，这会加大定位元素的困难程度，因为元素不在 DOM 里，会抛出 ElementNotVisibleException 异常，使用 Waits，我们就可以解决这个问题。

Selenium WebDriver 提供了显式和隐式两种 Waits 方式，显式的 Waits 会让 WebDriver 在更深一步的执行前等待一个确定的条件触发，隐式的 Waits 则会让 WebDriver 试图定位元素的时候对 DOM 进行指定次数的轮询。

4.1 显示等待

WebDriverWait 配合该类的 until() 和 until_not() 方法，就能够根据判断条件而进行灵活地等待了。它主要流程是：程序每隔 x 秒检查一下，如果条件成立了，则执行下一步操作，否则继续等待，直到超过设置的最长时间，然后抛出 TimeoutException 异常。先看一下方法：

__init__(driver, timeout, poll_frequency=POLL_FREQUENCY, ignored_exceptions=None)

  • driver: 传入 WebDriver 实例；

  • timeout: 超时时间，单位为秒；

  • poll_frequency: 调用 until 或 until_not 中方法的间隔时间，默认是 0.5 秒；

  • ignored_exceptions: 忽略的异常，如果在调用 until 或 until_not 的过程中抛出这个元组中的异常，则不中断代码，继续等待，如果抛出的是这个元组外的异常，则中断代码，抛出异常。默认只有 NoSuchElementException。

until(method, message='')

  • method: 在等待期间，每隔一段时间（init 中的 poll_frequency）调用这个方法，直到返回值不是 False；

  • message: 如果超时，抛出 TimeoutException，将 message 传入异常。

until_not(method, message='')

until 方法是当某条件成立则继续执行，until_not 方法与之相反，它是当某条件不成立则继续执行，参数与 until 方法相同。

以去 163 邮箱为例，看一下示例：

​​​​​​​

from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECbrowser = webdriver.Chrome()browser.get('https://mail.163.com/')try:    # 超时时间为 5 秒    data = WebDriverWait(browser,5).until(        EC.presence_of_element_located((By.ID,'lbNormal'))    )    print(data)finally:    browser.quit()

示例中代码会等待 5 秒，如果 5 秒内找到元素则立即返回，否则会抛出 TimeoutException 异常，WebDriverWait 默认每 0.5 秒调用一下 ExpectedCondition 直到它返回成功为止。

4.2 隐式等待

当我们要找一个或者一些不能立即可用的元素的时候，隐式 Waits 会告诉 WebDriver 轮询 DOM 指定的次数，默认设置是 0 次，一旦设定，WebDriver 对象实例的整个生命周期的隐式调用也就设定好了。看一下方法：

implicitly_wait(time_to_wait)

隐式等待是设置了一个最长等待时间 time_to_wait，如果在规定时间内网页加载完成，则执行下一步，否则一直等到时间截止，然后执行下一步。看到了这里，我们会感觉有点像 time.sleep()，它们的区别是：time.sleep() 必须等待指定时间后才能继续执行， time_to_wait 是在指定的时间范围加载完成即执行，time_to_wait 比 time.sleep() 更灵活一些。

看下示例：

​​​​​​​

from selenium import webdriver
browser = webdriver.Chrome()browser.implicitly_wait(5)browser.get('https://mail.163.com/')data = browser.find_element_by_id('lbNormal')print(data)browser.quit()

5 登录 163 邮箱

最后，我们用 Selenium 来做个登录 163 邮箱的实战例子。

5.1 方式一

我们通过地址 https://email2.163.com/ 登录，如图所示：

从图中我们发现直接进了 163 邮箱用户名、密码登录页，我们直接输入用户名、密码，点击登录按钮即可。示例如下：

​​​​​​​​​​​​​​

from selenium import webdriver
browser = webdriver.Chrome()browser.get('https://email2.163.com/')browser.switch_to.frame(browser.find_element_by_xpath('//iframe[starts-with(@id,"x-URS")]'))browser.implicitly_wait(2)# 自己的用户名browser.find_element_by_xpath('//input[@name="email"]').send_keys('xxx')# 自己的密码browser.find_element_by_xpath('//input[@name="password"]').send_keys('xxx')browser.find_element_by_xpath('//*[@id="dologin"]').click()browser.implicitly_wait(2)print(browser.page_source)browser.implicitly_wait(2)# 关闭browser.quit()

5.2 方式二

第二种方式我们使用地址 https://mail.163.com/，先手动打开看一下：

从图中我们会发现，登录页面首先展示的是二维码登录方式，因此我们需要先点击上图红框圈住的位置切换到用户名、密码的登录方式，如图所示：

此时，我们先输入用户名、密码，然后点击登录按钮即可。详细代码见如下 GitHub 仓库。

https://github.com/ityard/python-demo/tree/master/selenium-163-demo

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/534580.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Android中的IPC方式

Android中的IPC方式

Android中的IPC方式 1.Bundle 其中Intent就是用Bundle进行传播 四大组件间的进程间通信 2.使用文件共享 2.1文件共享的缺点 无并发&#xff0c;适用于交换简单的数据实时性不高的情景 使用文件共享容易出&#xff1a; 内容不一致&#xff1a;如果多个线程同时写入文件&…
阅读更多...
【JavaWeb】-- Request和Response、JSP、会话技术

【JavaWeb】-- Request和Response、JSP、会话技术

文章目录 Request和Response1.概述2.Request对象2.1 Request继承体系2.2Request获取请求数据2.3 IDEA创建Servlet2.4 请求参数中文乱码问题POST请求解决方案GET请求解决方案 2.5 Request请求转发 3.Response对象3.1 Response设置响应数据功能介绍3.2 Response请求重定向3.3 路径…
阅读更多...
RabbitMQ养成记 （8. 消费者接受消息可靠性 consumer Ack）

RabbitMQ养成记 （8. 消费者接受消息可靠性 consumer Ack）

Consumer Ack ack 指的是acknowledge 确认&#xff0c; 指的是消费端收到消息后的确认方式。 有三种确认方式&#xff1a; 自动确认手动确认 &#xff08;根据业务情况 手动确认是否成功发送&#xff09;根据异常情况确认 我们在消费端用代码实践一下&#xff1a; 首先我们定…
阅读更多...
不会还有人不知道软件测试报告模板怎么写吧？

不会还有人不知道软件测试报告模板怎么写吧？

在测试岗位上&#xff0c;写报告是一项非常重要的软技能&#xff0c;写得好可以加分&#xff0c;写不好必然减分。 但在测试岗位上&#xff0c;提测“通过”和提测“不通过"的软件测试报告所包含的内容是不一样的&#xff08;这是个坑&#xff09;。但很多测试新人可能并…
阅读更多...
LIO-SAM UBUNTU16.04.7 ROS-KINETIC 环境 编译 安装

LIO-SAM UBUNTU16.04.7 ROS-KINETIC 环境 编译 安装

简单记录一下 VMWARE workstation15UBUNTU16.04.7ros-kineticgtsam4.0.0 &#xff08;默认16.04比较老旧&#xff0c;不好用&#xff0c;vmtools也都没有&#xff0c;选了一个.7&#xff09; 选16.04版本的理由也简单&#xff0c;只是为了参考一个博客&#xff0c;单独建的环…
阅读更多...
C语言-易错点汇总

C语言-易错点汇总

易错点汇总 指针数组和数组指针(*p).astruct stdent和typedef struct stdentF5和CtrlF5const的位置全局变量和局部变量两个相同的常量字符串数组名和&数组名数组指针定义的解读int (*arr[10])[5]数组传参(* (void (*)())0)();关于数组名是否表示整个数组和数组首元素的地址…
阅读更多...
Java位运算

Java位运算

Java >>和>>>的区别 | 或&#xff1a; 有1得1&#xff0c; 全0得0 int temp a|c;System.out.println(Integer.toBinaryString(a));System.out.println(Integer.toBinaryString(c));System.out.println(Integer.toBinaryString(temp));/*** 结果输出* * 01* …
阅读更多...
对比SQL学Python：筛选|条件判断

对比SQL学Python：筛选|条件判断

SQL里筛选数据主要用到了where、and、in等语句。而在Python里实现筛选的方式比较多样&#xff0c;用到了 与&或|非~ 逻辑运算符&#xff0c;和isin()函数等。我们感受一下二者的区别吧&#xff1a; 汇总&#xff1a; 类型Python语句参考单条件筛选 data[data[shop_type]A…
阅读更多...
Python复制目录及其子目录下的所有文件到指定新目录并重命名

Python复制目录及其子目录下的所有文件到指定新目录并重命名

Python复制目录及其子目录下的所有文件到指定新目录并重命名 前言前提条件相关介绍实验环境Python复制目录及其子目录下的所有文件到指定新目录并重命名代码实现输出结果 前言 本文是个人使用Python处理文件的电子笔记&#xff0c;由于水平有限&#xff0c;难免出现错漏&#x…
阅读更多...
最常用的界线矢量数据大合集(文末有附下载方法）

最常用的界线矢量数据大合集(文末有附下载方法）

最近收集了挺多比较常用的矢量界线数据&#xff0c;例如地理分区、气候分区等界线数据&#xff0c;在日常制图、学习、科研等方面使用频率比较高。废话不多说&#xff0c;这里给大家分享一下&#xff01;&#xff01; 1、中国农业熟制区划矢量数据 2、黄土高原空间范围矢量数据…
阅读更多...
【Leetcode -509.斐波那契数 -520.检测大写字母】

【Leetcode -509.斐波那契数 -520.检测大写字母】

Leetcode Leetcode - 509.斐波那契数Leetcode - 520.检测大写字母 Leetcode - 509.斐波那契数 题目&#xff1a;斐波那契数 &#xff08;通常用 F(n) 表示&#xff09;形成的序列称为 斐波那契数列 。 该数列由 0 和 1 开始&#xff0c;后面的每一项数字都是前面两项数字的和。…
阅读更多...
node笔记_koa框架是什么？

node笔记_koa框架是什么？

文章目录 ⭐前言⭐ koa框架是如何发展而来的&#xff1f;⭐ koa框架的基本使用&#x1f496; 安装 koa&#x1f496; koa的Middleware示例&#x1f496; 支持xml ⭐ 结束 ⭐前言 大家好&#xff0c;我是yma16&#xff0c;本文介绍node的一个web框架koa。 往期文章 node_window…
阅读更多...
第三章: Mybatis-Plus 的通用CRUD API 练习使用

第三章: Mybatis-Plus 的通用CRUD API 练习使用

目录 1. Insert 操作 -> Create 1.1: TableId 的 id策略 1.2: TableField 2. Update 操作 -> Update 2.1: 根据 ID 更新 2.2: 根据条件更新 3. Delete 操作 -> Delete 3.1: deleteById 3.2: deleteByMap 3.3: delete 3.4: deleteBatchIds 4. Select 操作 -&g…
阅读更多...
Redis修炼 （15. redis的持久化-RDB）

Redis修炼 （15. redis的持久化-RDB）

RDB 就是 redis database backup file 数据备份文件 就是把内存中的所有数据都保存在磁盘中。 save 注意这个保存过程是主进程在做 因为redis 是单线程 所有其他所有请求都会被卡死。 bgsave 这个稍微友好一点 是子进程 执行&#xff0c;避免主进程收到影响。 redis在服务停机…
阅读更多...
【JavaWeb】-- Maven基础、MyBatis

【JavaWeb】-- Maven基础、MyBatis

文章目录 Maven基础1.Maven简介1.1 Maven模型1.2 仓库 2.Maven安装3.Maven基本使用3.1 Maven常用命令3.2 Maven生命周期 4.IDEA使用Maven4.1 IDEA配置Maven环境4.2 Maven坐标4.3 IDEA 创建Maven项目 5.依赖管理5.1 使用坐标引入jar包5.2 依赖范围 MyBatis1.MyBatis概述1.1JDBC的…
阅读更多...
JDK、JRE和JVM三者的区别和联系

JDK、JRE和JVM三者的区别和联系

一、JDK、JRE、JVM分别是什么 &#xff08;一&#xff09;JDK JDK&#xff0c;全称Java Development Kit&#xff0c;是 Java 语言的软件开发工具包&#xff0c;主要用于移动设备、嵌入式设备上的Java应用程序。JDK是整个Java开发的核心。 &#xff08;二&#xff09;JRE J…
阅读更多...
Day970.数据库表解耦 -遗留系统现代化实战

Day970.数据库表解耦 -遗留系统现代化实战

数据库表解耦 Hi&#xff0c;我是阿昌&#xff0c;今天学习记录的是关于数据库表解耦的内容。 微服务拆分之初&#xff0c;需要搭建好的两个基础设施&#xff0c;一个是基于开关的反向代理&#xff0c;另一个是数据同步机制。 有了这两个设施做保障&#xff0c;接下来就可以…
阅读更多...
Python合并同名Labelme标注文件内容

Python合并同名Labelme标注文件内容

Python合并同名Labelme标注文件内容 前言前提条件相关介绍实验环境Python合并同名Labelme标注文件内容Json文件代码实现输出结果json文件 前言 本文是个人使用Python处理文件的电子笔记&#xff0c;由于水平有限&#xff0c;难免出现错漏&#xff0c;敬请批评改正。 (https://b…
阅读更多...
Sping核心知识点总结

Sping核心知识点总结

Spring框架日渐成熟&#xff0c;已经成为java开发中比不可少的部分&#xff0c;框架这东西我的理解里属于工具型应用&#xff0c;意味着如果没有大量实践之前之间研究理论 研究源码之类的 体会会很效率会很低&#xff0c;所以个人建议萌新先找个项目做一做&#xff0c;感受一下…
阅读更多...
【C/C++的内存管理】

【C/C++的内存管理】

欢迎阅读本篇文章 前言&#x1f355;1. C/C内存分布1.1有关C/C的一道题目 &#x1f355;2. C语言中动态内存管理方式&#xff1a;malloc/calloc/realloc/free&#x1f355;3. C内存管理方式3.1 new/delete操作内置类型3.2 new和delete操作自定义类型 &#x1f355;4. operator …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023