在 Selenium 中更改 User-Agent | 步骤与最佳实践

news2024/12/26 23:10:35

在 Selenium 中更改 User Agent 是许多网页抓取任务中的关键步骤。它有助于将自动化脚本伪装成常规浏览器，从而避免被网站检测到。本指南将带您了解如何在 Selenium 中更改 Google Chrome 的 User Agent，并提供最佳实践以确保您的网页抓取任务顺利进行。

目录

了解 Selenium User-Agent
Selenium 中的默认 User-Agent
为什么要更改 User-Agent？
a. 在 Google Chrome Selenium 中更改 User-Agent
b. 在 Firefox Selenium 中更改 User-Agent
更顺畅访问网站的最佳实践
结论

了解 Selenium User-Agent

User-Agent 字符串是 HTTP 头信息的重要组成部分，在浏览器和 Web 服务器之间的通信中起着重要作用。它提供有关发送请求的浏览器、操作系统和设备的具体信息。以下是一个典型的 User-Agent 字符串示例：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36

这个字符串表明请求来自运行在 Windows 操作系统上的 Chrome 浏览器。

然而，当使用 Selenium 进行 Web 自动化时，默认的 User-Agent 字符串可以揭示请求是由自动化脚本发出的。配备反机器人措施的网站可以轻松检测到这一点并阻止访问，以防止自动化抓取或测试。这使得在 Selenium 中自定义 User-Agent 字符串变得至关重要，以使请求看起来像是来自真实的浏览器，从而降低被检测和阻止的风险。

为此，您可以在 Selenium 中修改 User-Agent 字符串，使其与标准浏览器的字符串匹配，从而提高自动化脚本的隐蔽性和有效性。

Selenium 中的默认 User-Agent

是的，Selenium 在发出 HTTP 请求时使用 User-Agent 字符串。默认情况下，Selenium 将使用与其自动化的浏览器相关联的 User-Agent 字符串。这意味着当您使用 Chrome WebDriver 运行 Selenium 脚本时，User-Agent 字符串将反映 Chrome 的默认 User-Agent。

然而，这个默认的 User-Agent 有时会向 Web 服务器发出信号，表明请求来自自动化脚本，使基于 Selenium 的操作容易被反机器人系统检测和阻止。自定义 User-Agent 字符串可以帮助减轻这个问题，使您的脚本更无缝地融入常规浏览器流量。

是否在反复失败中挣扎，无法完全解决恼人的验证码问题？

发现无缝自动解决验证码的 Capsolver AI 驱动自动网页解锁技术！

领取您的 优惠码 以获得顶级验证码解决方案；CapSolver: WEBS。兑换后，每次充值将额外获得 5% 奖励，无限次。

为什么要更改 User-Agent？

如前所述，User-Agent 字段包含有关发出请求的浏览器类型、版本、引擎和操作系统的信息。如果目标网站在短时间内收到来自同一 User-Agent 的多个请求，它有理由怀疑这些请求来自同一个用户或单个机器人。然后，网站管理员可以暂时阻止来自该特定 User-Agent 的请求，以防止进一步访问。特别是在需要抓取大量数据的情况下，能够更改 User-Agent 以模拟不同用户是至关重要的。这可以显著提高您的抓取成功率。

在 Google Chrome Selenium 中更改 User-Agent

如果您尚未在本地安装 selenium 库，可以使用以下命令进行安装：

pip install selenium

导入库：

from selenium import webdriver

然后初始化一个 Chrome Options 对象并设置自定义 User-Agent：

custom_user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={custom_user_agent}')

接下来，创建一个新的 ChromeDriver 实例并向目标网站发出请求：

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

HTTPBin 是一个 Web 请求调试服务，它显示请求的 User-Agent。如果代码正确，您应该会看到我们自定义的 User-Agent，如下图所示：

在上述代码中，custom_user_agent 值是静态的。如果您希望每次打开浏览器时使用不同的 User-Agent，可以手动收集各种 User-Agent 字符串并将它们编译成一个列表。然后，每次随机选择列表中的一个值。或者，您可以使用 fake-useragent 库，该库提供了一种简单的方法来动态生成随机 User-Agent 字符串。使用以下命令安装该库：

pip install fake-useragent

使用 fake-useragent 非常简单：

from fake_useragent import UserAgent
ua = UserAgent()

# 获取一个随机的浏览器 User-Agent 字符串
print(ua.random)

# 或者获取特定浏览器的 User-Agent 字符串
print(ua.chrome)
# Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
print(ua.firefox)
# Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0
print(ua.safari)
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.2 Safari/605.1.15

结合 Selenium，完整代码如下：

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

这种设置允许我们在 Selenium 驱动的 Google Chrome 中随机化使用的 User-Agent。

在 Firefox Selenium 中更改 User-Agent

Selenium 不仅可以驱动 Google Chrome，还可以驱动 Firefox。唯一的区别是将 webdriver.ChromeOptions() 切换为 webdriver.FirefoxOptions()。以下是完整代码：

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
firefox_options = webdriver.FirefoxOptions()
firefox_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Firefox(options=firefox_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

您可以看到网页上成功更改了 User-Agent：

更顺畅访问网站的最佳实践

更改 User-Agent 的目的是防止目标网站阻止我们的访问。基于 User-Agent 的阻止只是许多反抓取和反机器人措施中的一种。更常见的是，网站会设置诸如 CAPTCHA（如 recaptcha、hcaptcha、funcaptcha、datadome 等）等挑战来过滤出机器人。这些挑战通常非常复杂，极大地阻碍了网站的访问。

使用 Capsolver 服务可以帮助您解决 CAPTCHA 挑战。如果您在向目标网站发出 API 请求时遇到 CAPTCHA 挑战，可以使用 Capsolver 的任务 API，它会解决各种挑战并返回正确的令牌给您。

如果您使用的是 Selenium 等自动化工具，可以将 Capsolver 的扩展无缝集成到 Chrome 和 Firefox 等浏览器中。这种集成增强了您的能力，提供了更顺畅的访问体验。

结论

通过本文，您可以很好地掌握在 Selenium 中自定义 User-Agent 的方法。这不仅可以提高您的网页抓取工作的隐蔽性和可靠性，还能确保与不同网站的交互更加顺畅。无论是通过 CAPTCHA 挑战还是模拟用户行为，战略性地调整 User-Agent 都可能成为游戏规则的改变者。记住，使用像 CapSolver 这样的工具，克服网页数据访问的障碍不仅是可行的，而且是高效的。在当今动态的数字环境中，采用这些实践往往可以提高您的自动化项目的效率，并最大化网页抓取的收益！