selenium-wire简介

news2024/12/24 3:27:02

一.简介

以下来自chatGPT回答：

selenium-wire是一个基于selenium的Python库，它扩展了selenium的功能，使得我们可以在自动化测试中直接访问和修改浏览器的网络请求和响应。selenium-wire可以拦截和修改HTTP请求和响应，从而可以在测试过程中模拟网络环境、调试和分析网络请求以及实现自定义的网络请求和响应处理逻辑。与selenium自带的webdriver不同，selenium-wire使用了第三方库mitmproxy来实现网络请求的拦截和修改。因此，使用selenium-wire需要先安装mitmproxy。

二.用法

1.安装selenium-wire库

pip install selenium-wire

mitmproxy安装使用可参考：https://www.cnblogs.com/lihongtaoya/p/17446958.html

2.获取请求信息

1）获取所有的请求信息

get_list = driver.requests # 返回的是个数组
当调用 driver.requests时，返回的是当前页面所有已经请求并响应过了的接口数据。如果某个请求还没有完成或者被阻塞，那么这个请求对应的数据不会出现在 requests 列表中。

2）获取请求行/头/体

for i in get_list:
    if 'https://www.baidu.com/sugrec' in i.url:
        print(i.url)  # 请求地址
        print(i.date)  # 请求时间
        print(i.method)  # 请求方式
        print(i.headers)  # 请求头   or i.headers['Content-Type']
        print(i.params)  # 请求参数
        print(i.host)  # 请求域名

driver.requests获取的是当前页面所有的请求，因此我们在使用时需过滤下自己所要的接口信息。

3）create_response()方法

for i in get_list:
    if 'text/html' not in i.response.headers['Content-Type']:
        # create_response(status_code, headers=(), body=b'')
        i.create_response(200, [('Content-Type', 'text/plain')], b'["Hello","world"]')  # mock接口响应

create_response()为mock接口响应信息，返回我们需要的信息。

4）abort()方法

for i in get_list:
    if 'text/html' not in i.response.headers['Content-Type']:
        i.abort(error_code=403)  # 中断请求，并返回状态码403
        print(i.response.status_code)

这里需要注意的是3，4方法所可以改变响应数据，但服务端记录的数据还是实际请求的值。

3.获取响应信息

这里直接贴代码吧，备注很详细。

for i in get_list:
    if 'https://www.baidu.com/sugrec' in i.url:
        print(i.response.date)  # 当前响应时间
        print(i.response.reason)  # 响应状态 ok  or  Not found
        print(i.response.headers['Content-Type'])  # 响应的数据类型
        print(i.response.status_code)  # 响应状态码
 
        # 获取响应的body并转为json类型输出
        from seleniumwire.utils import decode
        body = decode(i.response.body, i.response.headers.get('Content-Encoding', 'identity'))
        decoded_response = body.decode('utf-8')  # 将二进制字节串解码为 UTF-8 编码的字符串
        json_response = json.loads(decoded_response)  # 将 JSON 字符串转换为 Python 对象
        print(json_response)

4.实例

import json
import time
from selenium.webdriver.common.by import By
from seleniumwire import webdriver
 
driver = webdriver.Chrome()
driver.implicitly_wait(10)
driver.get("https://www.baidu.com")
driver.find_element(By.ID, value='kw').send_keys('猪')
driver.find_element(By.ID, value='su').click()
time.sleep(5)  # 等待5s，让所有接口请求完
get_list = driver.requests  # 获取当前所有的请求信息
 
for i in get_list:
    if 'https://www.baidu.com/sugrec' in i.url:
        print(i.response.date)  # 当前响应时间
        print(i.response.reason)  # 响应状态 ok  or  Not found
        print(i.response.headers['Content-Type'])  # 响应的数据类型
        print(i.response.status_code)  # 响应状态码
 
        # 获取响应的body并转为json类型输出
        from seleniumwire.utils import decode
        body = decode(i.response.body, i.response.headers.get('Content-Encoding', 'identity'))
        decoded_response = body.decode('utf-8')  # 将二进制字节串解码为 UTF-8 编码的字符串
        json_response = json.loads(decoded_response)  # 将 JSON 字符串转换为 Python 对象
        print(json_response)
 
driver.quit()

selenium-wrie官方文档：https://pypi.org/project/selenium-wire/

最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：