如何使用 Python 和 Selenium 解决 Cloudflare 验证码

在网络自动化测试或网页数据抓取的过程中，Cloudflare验证码是许多开发者遇到的棘手问题。这一验证码设计的初衷是为了保护网站免受恶意攻击，但它也给合法的自动化操作带来了不小的挑战。

那么，使用Python和Selenium，是否有办法有效应对并解决Cloudflare验证码的问题？有哪些技巧和方法可以帮助我们绕过这道障碍？

通过Python和Selenium，开发者可以模拟用户的行为来与网页进行交互。然而，当遇到Cloudflare验证码时，传统的自动化脚本往往会被阻挡。在实际操作中，有一些技巧可以帮助绕过这些验证码。比如，使用代理和用户代理轮换来减少触发验证码的概率，或者结合第三方验证码解决服务，如2Captcha，将验证码图片发送到服务端进行识别和处理。在一个具体的案例中，某开发团队通过这些方法，成功实现了对多个网页的自动化访问，而未被Cloudflare阻挡。

在本文中，我们将告诉你如何在 2024 年解决 Cloudflare 验证码问题。我们将解释什么是 Cloudflare 验证码、为什么它有时会失败，并提供一种通过 Python 和 Selenium 克服这些障碍的有效解决方案。

01 什么是 Cloudflare 验证码

Cloudflare 提供网络工具，并提供一套全面的安全功能，以保护网站免受各种在线威胁。Cloudflare 验证码是一种用于区分人类用户和自动化机器人的功能。它是 Cloudflare 安全服务的重要组成部分，旨在防御网站免受自动化攻击和滥用。

Cloudflare 验证码的独特功能

集成的安全解决方案：

Cloudflare 的验证码服务通常作为其整体安全解决方案的一部分提供，包括 DDoS 保护、Web 应用防火墙 (WAF)、内容分发网络 (CDN) 等。这使得网站可以从单个平台获得全面的安全保护。
智能流量管理：

Cloudflare 利用其全球网络和智能流量管理技术，通过在检测到异常流量或潜在威胁时动态触发验证码，更有效地保护网站。
无缝用户体验：

Cloudflare 致力于通过减少对合法用户的干扰来提供无缝的用户体验。例如他们的“Turnstile”验证码旨在通过最少的用户交互来验证人类访问者。
隐私：

Cloudflare 强调隐私，致力于减少对用户数据的依赖和收集，并提供更隐私友好的身份验证方法。

02 Cloudflare 如何检测机器人

Chromedriver 检测

确定浏览器是否受自动化工具控制。

像 Chromedriver 这样的自动化工具可以通过检查特定的浏览器行为和属性来检测，这些行为和属性是自动化脚本所特有的。例如，某些 JavaScript 变量或浏览器属性可以揭示自动化工具的存在。此外，监控交互的时间和模式可以帮助识别非人类行为。

设备指纹识别

如果相同的浏览器指纹用于大量访问，可以识别为机器行为。需要使用不同的有效浏览器指纹信息来分配访问。

设备指纹识别涉及收集用户设备的各种属性，如屏幕分辨率、安装的字体、浏览器插件等。通过组合这些属性，可以为每个设备创建一个唯一标识符（指纹）。在多个会话中重复使用相同的指纹可能表明自动化活动。为减轻这种情况，需要随机化和变化指纹数据，使其更像人类。

IP 代理检测

阻止恶意 IP 位置并限制请求频率。

IP 代理检测涉及识别和阻止与恶意活动或高频请求相关的 IP 地址。技术包括维护已知坏 IP 地址的黑名单，使用地理位置数据阻止可疑区域，并实施速率限制以防止单个 IP 地址发出过多请求。此外，分析 IP 地址的行为模式可以帮助区分合法用户和自动化机器人。

浏览器真实性

检查浏览器属性和请求信息是否异常，例如，头部中的 User-Agent 是否由 Python 代码发出，以及 User-Agent 声明的浏览器是否具有相应属性。

JavaScript 挑战

向用户发送 JavaScript 代码。通常，爬虫没有直接渲染 JS 的能力。通过其他手段模拟脚本执行有相应的检测方法。在代码执行期间，收集一系列设备信息，如 canvas、navigator、插件、Chrome 版本以及一系列物理硬件设备信息。这些设备信息被加密并由 Cloudflare 判断其真实性。

Cookie

通过检查 cf_clearance 的有效期，持续更新并跟踪用户行为是否异常。

TLS 指纹识别

浏览器通常使用 HTTP/2，但编程语言发出的请求大多默认使用 HTTP/1.1。此外，浏览器请求的 JA3 信息与编程语言的不同。
TLS 指纹识别是一种用于识别和验证 TLS（传输层安全）通信的技术。
TLS 指纹可以通过检查在 TLS 握手期间使用的密码套件、协议版本和加密算法来确定 TLS 通信的特征。由于每个 TLS 实现使用不同的密码套件、协议版本和加密算法，比较 TLS 指纹可以确定通信是否来自预期的源或目标。
TLS 指纹识别可用于检测网络欺骗、中间人攻击和间谍活动等安全威胁，还可用于识别和管理设备和应用程序。

03 如何绕过并解决 Cloudflare 验证码

1. CapSolver

有很多方法可以解决 Cloudflare 中的验证码，但最流行和高效的方法是使用第三方解决服务，你可以使用 CapSolver 来解决验证码。以下是基本步骤：

使用 CapSolver 获取有效令牌，然后通过 TLS 请求库正常访问。

CapSolver 可以通过提供有效的 Cookie 和会话数据来帮助绕过各种检测机制。一旦获得这些凭证，就可以使用令牌正常发送请求。你需要使用 TLS 库发送有效请求。这种方法确保请求看起来是真实的，不太可能被阻止或标记为可疑。

此外，使用 CapSolver 可以帮助你解决以下问题：

IP 检测：使用高质量代理绕过 IP 阻止和限制。
JavaScript 挑战：像真实浏览器一样执行 JavaScript 代码，确保正确处理挑战。
人机交互：根据挑战执行相应操作，模拟人类行为。
设备环境指纹识别：每次使用干净有效的浏览器环境信息，通过真实性检查。

以下是使用 Python 获取 Cloudflare Turnstile 解决方案的示例代码：


import requests
import time



api_key = "YOUR_API_KEY"  # TODO: 你的 capsolver API 密钥
site_key = "0x4XXXXXXXXXXXXXXXXXXXXX"  # TODO: 目标网站的站点密钥
site_url = "https://www.yourwebsite.com"  # TODO: 目标网站的页面 URL

def capsolver():
    payload = {
        "clientKey": api_key,
        "task": {
            "type": "AntiTurnstileTaskProxyLess",
            "websiteKey": site_key,
            "websiteURL": site_url,
            "metadata": {
                "action": ""  # 可选
            }
        }
    }

    res = requests.post("https://api.capsolver.com/createTask", json=payload)
    resp = res.json()
    task_id = resp.get("taskId")

    if not task_id:
        print("创建任务失败:", res.text)
        return

    print(f"获取任务 ID: {task_id} / 获取结果...")

    while True:
        time.sleep(1)
        payload = {"clientKey": api_key, "taskId": task_id}
        res = requests.post("https://api.capsolver.com/getTaskResult", json=payload)
        resp = res.json()
        status = resp.get("status")

        if status == "ready":
            return resp.get("solution", {}).get("token")

        if status == "failed" or resp.get("errorId"):
            print("解决失败！响应:", res.text)
            return

token = capsolver()
print(token)

2. Puppeteer、Selenium、Playwright

使用浏览器自动化工具来驱动网站访问并检索数据，这可以避免复杂的 JavaScript 检测；然而，这些工具可能会被检测到是由机器人控制的。

浏览器自动化工具如 Puppeteer、Selenium 和 Playwright 可以模拟用户与网站的真实交互，包括处理 JavaScript 挑战和渲染动态内容。虽然它们可以绕过一些检测机制，但它们通常会留下可被反机器人系统识别的痕迹。通过随机化鼠标移动、按键等互动，可以帮助减轻被检测的风险。

3. Undetected Chromedriver

可以绕过一些机器人控制检测。

undetected_chromedriver 是一个修改版的 Chromedriver，包含了避免被反机器人机制检测的补丁。它可以通过模拟人类行为和修改浏览器属性来处理各种形式的浏览器指纹识别和其他检测技术。此工具特别适用于网络抓取和自动化测试，其中标准 Chromedriver 会被阻止。

获取有效的 Cookie 后，结合其他方法重复访问网站。关键是要确保 TLS 请求连接有效地被掩盖，否则数据访问仍会受到限制。