我认为，现在自动化任务越多，越能体现它们的价值，因此挑战也变得更加明显和困难。例如，Cloudflare 目前提供了强有力的安全措施来保护网站免受所有形式的自动化工具的侵扰。
但对于从事自动化项目（如网络爬虫、数据提取或测试）的开发人员和组织来说，导航这些安全功能可能是一项挑战。然而，通过合适的工具和策略，您可以在遵守法律和道德标准的前提下，有效应对这些挑战。
因此，在本教程中，我将探讨如何使用 Puppeteer 和 Node.js 以及 Captcha 解码器有效地解决像 Cloudflare Turnstile 这样的挑战。
奖励码
领取您的 奖励码，获取顶级验证码解决方案：CapSolver: WEBS。兑换后，每次充值您将额外获得 5% 的奖励，无限次数
了解 Cloudflare 的 Turnstile
Cloudflare 的 Turnstile 是一项复杂的安全功能，旨在挑战试图访问受保护网站的用户。它采用包括JavaScript 挑战、验证码和行为分析在内的多种技术，以评估用户是合法的人类还是自动化的机器人。对于开发人员来说，这意味着绕过 Turnstile 不仅仅需要传统的网络爬虫技术。
前提条件
在深入实施之前，请确保您拥有以下工具和资源：
- Node.js: 从官方网站安装最新版本的 Node.js。
- Puppeteer: 一个 Node.js 库，提供了用于控制无头 Chrome 或 Chromium 的高级 API，适用于自动化任务。
- CapSolver API 密钥: 注册 CapSolver 并获取用于解决验证码服务的 API 密钥。
什么是 CapSolver?
CapSolver 是一款旨在协助解决验证码和其他自动化挑战的强大工具。随着网站越来越多地部署复杂的安全机制来阻止机器人和爬虫，CapSolver 提供了克服这些障碍的可靠解决方案。
CapSolver 的关键功能:
- 全面的验证码解决方案: CapSolver 支持多种类型的验证码，包括 reCAPTCHA、hCaptcha、Cloudflare、ImageToText 等，使挑战解决变得更加顺畅。
- 高精度: CapSolver 利用先进的算法和机器学习模型，确保高精度解决验证码，降低失败率，提高效率。
- 易于集成: CapSolver 提供用户友好的 API，可以轻松与现有的自动化工具（包括 Puppeteer）集成，使您能够将验证码解决自动化作为网络爬虫或测试工作流程的一部分。
- 24/7 支持: CapSolver 提供强大的客户支持，帮助解决任何问题或疑问，确保操作顺利进行并及时提供帮助。
详细的实现步骤
-
使用 Puppeteer 和 JavaScript 调用 CapSolver API 并访问网站
- Puppeteer 是一个功能强大的 Node.js 库，可用于通过 DevTools 协议控制无头 Chrome 或 Chromium。在本教程中，它被用来导航网页和处理复杂的交互，如处理验证码。
-
获取 Turnstile 的 SiteKey
- SiteKey 是解决 Turnstile 挑战所需的关键元素。这个密钥对每个网站都是唯一的，必须用于与验证码解决 API 交互。您可以通过分析网站的 HTML 来提取 SiteKey，或者使用类似 CapSolver 扩展 的工具来简化流程。有关如何识别所需参数的详细指南，请参考我们专门的博客文章。
-
使用 JavaScript 调用 CapSolver API 并获取 Token
- 获取 SiteKey 后，您可以向 CapSolver API 发出请求。这包括创建一个任务，CapSolver 将处理此任务以解决验证码。API 将返回一个 Token，您可以用它来绕过 Turnstile 保护。
- 以下是使用 JavaScript 与 CapSolver API 交互的示例：
// npm install axios puppeteer-core
const axios = require('axios');
const puppeteer = require("puppeteer-core");
const api_key = "YOUR_API_KEY";
const site_key = "0xxxxxx";
const site_url = "https://xxx.xxx.xxx/xxx";
const proxy = "http://xxx:xxx@x.x.x.x:x"
async function capsolver() {
const payload = {
clientKey: api_key,
task: {
type: 'AntiTurnstileTaskProxyLess',
websiteKey: site_key,
websiteURL: site_url,
metadata: {
action: '', // optional,
type: "turnstile"
},
// proxy: proxy
}
};
try {
const res = await axios.post("https://api.capsolver.com/createTask", payload);
const task_id = res.data.taskId;
if (!task_id) {
console.log("创建任务失败:", res.data);
return;
}
console.log("获取 taskId:", task_id);
while (true) {
await new Promise(resolve => setTimeout(resolve, 1000)); // 延迟1秒
const getResultPayload = {clientKey: api_key, taskId: task_id};
const resp = await axios.post("https://api.capsolver.com/getTaskResult", getResultPayload);
const status = resp.data.status;
if (status === "ready") {
return resp.data.solution.token;
}
if (status === "failed" || resp.data.errorId) {
console.log("解决失败! 响应:", resp.data);
return;
}
}
} catch (error) {
console.error("错误:", error);
}
}
const wait = (ms) => new Promise(resolve => setTimeout(resolve, ms));
async function reqSite(){
let coockie;
await capsolver().then(token => {
console.log(token);
coockie = token;
});
const browser = await puppeteer.launch({
headless: false,
executablePath: "浏览器路径"
});
const page = await browser.newPage();
await wait(500);
await page.setCookie({
name: "cf_clearance",
value: coockie,
domain: "xx.xx.xx"
});
await wait(500);
await page.goto(site_url);
// TODO
await page.close();
await browser.disconnect();
}
reqSite().then();
- 使用 Puppeteer 设置 Cookie 并访问页面内容
- 通过 CapSolver 获得的 Token，您现在可以在 Puppeteer 中设置适当的 Cookie，以通过 Cloudflare 的挑战。此步骤至关重要，因为它允许您访问网站上的受保护内容。
结论
在本教程中，我们探讨了如何使用 Puppeteer 和 CapSolver API 有效应对 Cloudflare 的 Turnstile 安全措施。通过理解 Cloudflare 保护措施的复杂性，并利用像 CapSolver 这样强大的工具，开发人员可以在不违反法律规定的前提下，成功地自动化网络爬虫、数据提取和测试等任务。
自动化在各行各业的重要性不断增加，与之而来的挑战也更加显著，比如 Turnstile 这样的高级安全系统。通过保持信息更新并利用正确的策略，您可以确保您的自动化项目顺利高效地进行。
如果您正在从事类似的项目，不妨探索一下 CapSolver 提供的强大验证码解决方案。有关更多见解，请务必查看相关主题，如网络爬虫最佳实践 和 Puppeteer 使用技巧。
CapsolverCN官 方代理交流扣 群：497493756
