常见的反爬虫风控 | 验证码风控

news2024/11/16 19:44:12

一.前言

在当今信息技术迅速发展的背景下，网站和在线服务面临着日益增长的自动化访问威胁，这些大多来自于各类爬虫程序。这种大量的自动化访问不仅对网站的正常运行构成压力，还可能导致敏感数据的泄露，甚至被用于不正当竞争和恶意攻击。因此，有效的反爬虫策略变得至关重要。

验证码（CAPTCHA，全称“Completely Automated Public Turing test to tell Computers and Humans Apart”，即“完全自动区分计算机和人类的图灵测试”）作为反爬虫策略的一个重要组成部分，其发展历程紧密地与反爬虫技术的演进相连。最初的验证码相对简单，例如文本验证码，它要求用户输入一组扭曲的字符。然而，随着爬虫技术的进步，这些初级形式的验证码已不能有效阻挡复杂的自动化攻击，从而推动了验证码技术的发展和多样化。

接下来将探讨这些验证码类型以及在反爬虫领域的应用。

二.验证码类型

1.文本验证码：网络安全的初级防线

定义与发展

文本验证码，作为网络安全的初级防线之一，早期被广泛采用以区分人类用户和自动化软件。它通常由一系列扭曲、变形的字符组成，这些字符可能伴有各种背景噪声或图案，以增加识别难度。文本验证码的基本原理是利用目前机器视觉识别能力的局限，设置对人类而言相对容易，但对机器而言颇具挑战的识别任务。

在这里插入图片描述

技术实现

技术上，文本验证码通过特定算法生成一组随机字符，这些字符经过扭曲处理和颜色、背景的变化，进一步提高了自动识别的难度。同时，为了防止通过简单的图像处理技术解码，验证码生成过程中常加入噪点、线条干扰或遮挡效果。

优势与应用

文本验证码的主要优势在于其简单和易于实现。它不需要复杂的算法或大量的计算资源，因此在早期的网站安全中扮演了重要角色。此外，对于大多数用户而言，识别并输入一组字符是一个直观且易于完成的任务。

在这里插入图片描述

局限性与挑战

然而，随着机器学习和图像处理技术的发展，文本验证码的有效性逐渐下降。先进的文字识别算法，如OCR技术，已能够以相当高的准确率识别这些扭曲文字。此外，文本验证码可能对视觉障碍的用户不友好，这在一定程度上限制了其应用。

当前趋势

目前，许多网站已开始采用更为复杂的验证码类型，如滑动验证码或无感知验证码，以提供更高级别的安全保护。尽管如此，文本验证码仍然在某些场景中有其应用价值，尤其是在资源有限或兼容性要求较高的环境中。

2.点选验证码：增强视觉挑战的安全屏障

定义与发展

点选验证码是一种交互式验证方式，它要求用户识别图像中的特定项目，并通过点击来完成验证。这类验证码通常展示一组图片，要求用户识别并选择所有包含特定物体或特征的图片。例如，系统可能会提示用户选择所有包含“人行横道”的图片。这种类型的验证码利用了人类在图像识别方面的优势，而这项任务对于自动化脚本则相对困难。
在这里插入图片描述

技术实现

点选验证码背后的技术涉及复杂的图像处理和模式识别算法。首先，系统需要拥有一个足够大的图片库，这些图片中含有易于人类识别但难以自动化识别的物体。当验证码激活时，系统会从库中选择一组图片，并根据验证要求展示给用户。用户的点击反馈被送回服务器进行验证，以确定用户是否正确地完成了任务。
这里有google ReCAPTCHA体验地址，大家可以体验下。 https://www.google.com/recaptcha/api2/demo

在这里插入图片描述

优势与应用

点选验证码的主要优势在于其能有效地防止自动化攻击，同时对大多数用户来说易于理解和操作。它不仅提高了安全性，还因其交互性而增强了用户的参与度。这种验证码经常被用于保护注册表单、登录页面和在线投票等免受自动化滥用。

局限性与挑战

点选验证码的挑战在于，高级的机器学习模型可能通过大量的训练逐渐提高识别图像的能力，从而绕过验证。此外，对于视觉障碍的用户或图像识别能力较差的用户，这种验证码可能构成了额外的使用障碍。
在这里插入图片描述

当前趋势

为了应对自动化工具的进步，点选验证码正在不断进化。开发者在增加图片库的多样性、改进图像识别难度和提升算法的防御能力上投入了大量的努力。同时，也有越来越多的研究致力于使验证码对所有用户都更加友好，例如为视觉障碍用户提供音频验证码选项。

3.滑动验证码：结合用户行为分析的智能验证

定义与发展

滑动验证码，也称为行为验证码，是一种依赖用户操作行为来完成验证的流行方式。不同类型的滑动验证码可能要求用户将滑块拖动到一个缺口位置，或者简单地滑到轨迹的末端，又或者是滑动到某个图形出现时。这种验证码的设计充分利用了人类在执行滑动动作时的行为特征，用户在前端完成滑动拼图任务，同时前端会悄无声息地记录用户的操作行为，如滑动轨迹和速度。这些数据随后由服务端进行验证，以判定操作是否由人类进行。
在这里插入图片描述

技术实现

在技术上，滑动验证码不仅仅是一个简单的图像拼合任务。它深入分析用户的鼠标滑动轨迹、坐标位置、拖动速度和重试次数等多维度行为数据。验证码的后端系统利用机器学习建模，结合用户的访问频率、地理位置、历史行为记录等信息，进行复杂的人机判定。
在这里插入图片描述

优势与应用

滑动验证码的多维度分析显著提高了安全防护水平，大幅增加了自动化攻击的难度和成本。用户在完成拼图的同时，不知不觉中提供了丰富的行为数据，这些数据是机器难以准确模拟的。滑动验证码因此在网站安全防护中扮演了重要角色，尤其在需要低摩擦用户体验的场景下。

局限性与挑战

尽管滑动验证码提高了攻击的复杂性，但不是绝对安全的。一些高级的自动化脚本通过模拟复杂的用户滑动行为，试图欺骗验证码系统。不过，这需要相当高的技术能力和资源投入，因此对大多数自动化攻击来说，滑动验证码仍是一个有效的防线。
在这里插入图片描述

当前趋势

随着技术的发展，滑动验证码也在不断进步。开发者正致力于增强验证码的智能分析能力，以及对攻击行为的预测和应对。未来的滑动验证码系统将会更加精准地区分人机操作，同时保持用户友好的交互设计，确保安全性和易用性并存。

4.无感知验证码：用户体验与安全防护的完美结合

定义与发展

无感知验证码（Invisible CAPTCHA）代表了验证码技术的一种进步。与传统的基于挑战-应答的验证码不同，无感知验证码的核心理念是在不干扰用户体验的情况下识别和阻挡机器人。它的出现标志着从主动用户验证转向了智能、自适应的安全检查机制。

在这里插入图片描述

技术实现

无感知验证码的实现结合了对用户行为和环境的深入分析：

  • 安全用户识别：系统能够自动识别安全用户。对于这类用户，简单的点击或页面访问就足以完成验证。
  • 风险用户处理：如果系统判定某个用户存在风险，将会触发二次验证，比如短信验证、滑动验证码或其他形式的验证码。
    在这里插入图片描述

安全用户判断模型涵盖以下方面：

  • 用户行为数据：分析用户的页面停顿时间、点击按钮时长以及其他输入和点击事件。
  • 访问代理：通过建立代理的白名单机制，对非白名单代理进行二次验证。
  • 访问IP：应用白名单、黑名单机制和IP规则，以及对VPN的判断。
  • 环境变量：收集用户的设备信息、网络信息和操作系统信息等。
    这种综合分析帮助系统识别真实用户，同时通过不断完善模型数据和细化行为分析，提高判断的安全性和准确性。

在这里插入图片描述
在这里插入图片描述

优势与应用

无感知验证码的最大优势在于它对用户体验的最小影响。由于用户不需要执行任何特定动作，如输入文本或解决谜题，因此提供了更为流畅和自然的用户交互体验。这使得无感知验证码成为了各类网站、尤其是注重用户体验的服务中的热门选择。
无感知验证码的主要优势在于极大地提升了用户体验，避免了用户直接参与复杂的验证过程。同时，它也能有效地识别和阻止自动化的爬虫攻击。

局限性与挑战

尽管无感知验证码在用户体验上有明显优势，但它也面临着自己的挑战。例如，对于那些行为模式异常或不典型的合法用户，可能会被错误地标记为可疑活动。此外，随着自动化工具越来越能模拟人类行为，无感知验证码的有效性也可能受到挑战。
尽管无感知验证码在用户体验上有显著优势，但也存在挑战，尤其是对于那些行为模式不典型的合法用户可能会被误判。此外，随着机器学习技术的进步，自动化工具逐渐能够模拟人类行为，这也对无感知验证码的有效性构成了挑战。
在这里插入图片描述

当前趋势

随着网络安全形势的不断发展，无感知验证码正在不断进化，以适应新的挑战。通过结合更多的行为分析指标和使用更加先进的机器学习模型，无感知验证码正朝着更加智能和灵活的方向发展。
无感知验证码技术正在不断进化，通过动态完善安全用户判断模型、更细化的行为分析和行为训练，不断提高判断的安全性和准确性，以应对日益复杂的安全挑战。

5. 推理验证码：高级认知技能在安全验证中的运用

定义与多样性

推理验证码是一种高级认知技能结合的安全验证形式，它挑战用户的逻辑推理和空间想象能力，这些是目前机器难以模仿的领域。主要类型包括推理拼图、空间推理、语序点击和旋转验证码等，每种都针对特定的认知技能设计。

技术实现与应用

  1. 推理拼图：用户需要通过拖动交换图块来复原图片。这种类型的验证码结合完整性推理和用户的行为轨迹，适用于需要高安全保障的场景。
    在这里插入图片描述

  2. 空间推理：挑战用户的3D立体元素识别和逻辑解题能力，特别适用于对安全要求极高的环境。
    在这里插入图片描述

  3. 语序点击：要求用户根据中文语义，按顺序点击图中的文字。这不仅测试用户的语义理解能力，还结合行为轨迹分析，适合高安全级别的应用。
    在这里插入图片描述

  4. 旋转验证码：用户需要将旋转的图片调整至正确方向。这种验证方式通过分析用户将图片摆正的操作过程，提供了额外的安全性。
    在这里插入图片描述

  5. 消消乐验证：用户需要根据提示操作消除相应的图案。这种验证考验了用户的观察力和逻辑思维，通过分析用户的选择和操作过程增强安全性。

在这里插入图片描述

优势与挑战

推理验证码的优势在于其能够有效利用人类独有的空间想象和逻辑推理能力，这些是目前AI和机器难以完全模拟的。这使得推理验证码在提供高安全级别的同时，也增加了互动性和趣味性。
然而，这种验证码的复杂性可能对某些用户群体造成使用上的挑战，特别是对于那些认知能力或文化背景差异较大的用户。因此，设计推理验证码时需要考虑到用户的多样性，确保它们既安全又易于使用。
在这里插入图片描述

当前趋势

随着技术的不断进步，推理验证码正向着更高的安全性和更好的用户体验方向发展。开发者正通过深入研究人类的认知和逻辑推理能力，创造出更加智能和富有挑战性的验证码。同时，他们也在寻找平衡点，以确保验证码既能有效抵御自动化攻击，又不会对用户造成过大的负担。

三.结语

验证码的发展历程，反映了网络安全领域中人机识别技术的博弈。每一种验证码的设计和实施，本质上都是为了解决一个核心问题：如何有效区分人类用户和自动化的爬虫程序？

  1. 文本验证码的出现最初是针对早期的基础爬虫技术，但随着OCR等技术的进步，它们逐渐失去了效力。
  2. 无感知验证码和滑动验证码等新型验证码的引入，反映了对抗策略中的进化，即在不损害用户体验的同时提高安全性。
  3. 点选验证码和推理验证码则是在更高层次上的尝试，通过引入复杂的图像识别和逻辑推理挑战，来增加自动化爬虫破解的难度。但是这类验证码可能会增加用户操作难度，特别是对于那些不熟悉或不擅长处理复杂图像和逻辑任务的用户。

爬虫技术的进步促使验证码不断创新，然而大模型（如ChatGPT）的出现，开辟了更多创新的途径。一方面可以制造出复杂动态验证码以增加自动攻击难度，一方面也加强爬虫行为模拟和内容理解的能力。
这场爬虫与验证码的“猫鼠游戏”永远不会终止…
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1386790.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【华为OD机试真题2023CD卷 JAVAJS】查找一个有向网络的头节点和尾节点

【华为OD机试真题2023CD卷 JAVAJS】查找一个有向网络的头节点和尾节点

华为OD2023（C&D卷）机试题库全覆盖，刷题指南点这里 查找一个有向网络的头节点和尾节点 知识点图DFS搜索 时间限制：1s 空间限制：256MB 限定语言：不限 题目描述： 给定一个有向图，图中可能包含有环，图使用二维矩阵表示，每一行的第一列表示起始节点，第二列表示终止节…
阅读更多...
ubuntu22: nvtop no gpu to monitor.

ubuntu22: nvtop no gpu to monitor.

解决方法： 重新下载nvtop sudo apt update sudo apt -y install nvtop真是逆天 ，ubuntu系统的nvidia driver突然坏了，然后我重装了nvidia driver, 之后用nvtop就出现这个问题了，但是逆天的是我竟然没有搜到一篇中文的帖子讲这个问…
阅读更多...
自己动手写一个 Arthas 在线诊断工具系列说明

自己动手写一个 Arthas 在线诊断工具系列说明

相关文章： 自己动手写一个分库分表中间件（十）线上优化之数据库连接超时优化自己动手写分布式任务调度框架自己动手写 Java 虚拟机（二）-查找 Class 文件自己动手调试 JDK（CLion）Java Agent 的简…
阅读更多...
Linux网络文件共享服务之FTP协议

Linux网络文件共享服务之FTP协议

目录 一、存储类型 1、直连式存储（DAS） 2、存储区域网络（SAN） 3、网络附加存储（NAS） 二、 FTP文件传输协议 1、FTP协议的工作原理 1.1 FTP协议的工作流程 1.2 FTP协议的两种工作模式 1.2.1 主动模…
阅读更多...
6314A/B/C 稳定光源

6314A/B/C 稳定光源

01 6314A/B/C 稳定光源 产品综述： 6314系列稳定光源包括6314A稳定光源(1310NM单波长)、6314B稳定光源(1550NM单波长)、6314C稳定光源(1310NM &1550NM双波长)。6314系列稳定光源采用高精度自动功率控制技术和自动温度控制技术。6314系列稳定光源配备多种模块&…
阅读更多...
Mysql中设置只允许指定ip能连接访问(可视化工具的方式)

Mysql中设置只允许指定ip能连接访问(可视化工具的方式)

场景 Mysql中怎样设置指定ip远程访问连接： Mysql中怎样设置指定ip远程访问连接_navicat for mysql 设置只有某个ip可以远程链接-CSDN博客 前面设置root账户指定ip能连接访问是通过命令行的方式，如果通过可视化工具比如Navicat来实现。 注&#xff1a…
阅读更多...
二叉树题目：从前序与后序遍历序列构造二叉树

二叉树题目：从前序与后序遍历序列构造二叉树

文章目录 题目标题和出处难度题目描述要求示例数据范围 前言解法一思路和算法代码复杂度分析 解法二思路和算法代码复杂度分析 题目 标题和出处 标题：从前序与后序遍历序列构造二叉树 出处：889. 从前序与后序遍历序列构造二叉树 难度 7 级 题目描述…
阅读更多...
7_1 tesseract 安装及使用

7_1 tesseract 安装及使用

1、 安装tesseract 　　OCR，即Optical Character Recognition，光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过程。对于图形验证码来说，它们都是一些不规则的字符，这些字符确实是由字…
阅读更多...
运筹说 第99期 | 非线性规划—最优性条件

运筹说 第99期 | 非线性规划—最优性条件

通过上期学习，大家已经了解了非线性规划中无约束极值问题及其求解方法。本期小编将为大家介绍最优性条件，包括可行下降方向、库恩-塔克条件等内容。 1 可行下降方向 起约束作用 假定X(0)是上述问题的一个可行解，满足所有约束。对某约束条件g…
阅读更多...
2024年，如何打造惊艳的个人博客/出版系统并且赚点小钱？

2024年，如何打造惊艳的个人博客/出版系统并且赚点小钱？

几年前，我就推荐过用Markdown写作静态博客。静态博客几乎是零托管成本，比较适合个人博客起步。Markdown便于本地搜索，也可当作是个人知识库方案。 现在有了新的进展。我不仅构建了一个视觉上相当不错的个人网站，还美化了github、…
阅读更多...
Linux/Frolic

Linux/Frolic

Enumeration nmap 还是扫描系统对外开放的端口情况，对外开放了22,139,445,还有9999端口，显示是http服务，使用了nginx 1.10.3 ┌──(kali㉿kali)-[~/HTB/Frolic] └─$ nmap -sC -sV -oA nmap -Pn 10.10.10.111 Starting Nmap 7.93 ( http…
阅读更多...
pandas进行数据计算时如何处理空值的问题？

pandas进行数据计算时如何处理空值的问题？

目录 1.数据预览： 2.解决方法 （1）问题示例 （2）方法 A.方法一 B.方法二 1.数据预览： 2.解决方法 （1）问题示例 如下图如果不理睬这些空值的话，计算总分便也会是空值…
阅读更多...
uni-app购物车页面详细代码

uni-app购物车页面详细代码

效果图&#xff1a; 这里的购物车加减用的是uni-app中的sku插件 代码附下&#xff08;全&#xff09;&#xff1a; <script setup lang"ts"> import {reqMemberCartList,reqMemberdelentCart,reqMemberPutCart,putMemberCartSelectedAPI, } from /services/…
阅读更多...
linux后台进程的总结

linux后台进程的总结

文章目录 方案1 nohup &方案2 screen 方案1 nohup & 1、单独使用 nohup 执行脚本&#xff0c;如下图所示&#xff0c;终端会被接管&#xff0c;就是标准输入stdin 被关闭了&#xff0c;使用ctrlc会导致终止执行&#xff0c;但是可以关闭这个终端&#xff0c;重新打开终…
阅读更多...
c5060:out can‘t be used with used with non-varying visibility

c5060:out can‘t be used with used with non-varying visibility

openGL系列文章目录 文章目录 openGL系列文章目录前言一、GLSL language integration是什么&#xff1f;二、GLSL language integration配置二、GLSL language integration编译报错解决 前言 GLSL插件下载和安装&#xff1a;GLSL language integration下载地址 你也可以在visu…
阅读更多...
【python可视化大屏】使用python实现可拖拽数据可视化大屏

【python可视化大屏】使用python实现可拖拽数据可视化大屏

介绍&#xff1a; 我在前几期分享了关于爬取weibo评论的爬虫&#xff0c;同时也分享了如何去进行数据可视化的操作。但是之前的可视化都是单独的&#xff0c;没有办法在一个界面上展示的。这样一来呢&#xff0c;大家在看的时候其实是很不方便的&#xff0c;就是没有办法一目了…
阅读更多...
软件测试|教你使用dataclass

软件测试|教你使用dataclass

前言 当我们需要在Python中定义一种简单的数据容器类时&#xff0c;dataclass是一个非常有用的工具。它允许我们轻松地创建具有一些自动化特性的类&#xff0c;例如自动生成__init__()、__repr__()和__eq__()等方法。本文将详细介绍dataclass的使用&#xff0c;并提供示例来说…
阅读更多...
Qt点击按钮在其附近弹出一个窗口

Qt点击按钮在其附近弹出一个窗口

效果 FS_PopupWidget.h #ifndef FS_POPUPWIDGET_H #define FS_POPUPWIDGET_H#pragma once#include <QToolButton> #include <QWidgetAction> #include <QPointer>class QMenu;class FS_PopupWidget : public QToolButton {Q_OBJECTpublic:FS_PopupWidget(QW…
阅读更多...
3dmax有哪些技巧？3damx不为人知的秘密

3dmax有哪些技巧？3damx不为人知的秘密

在装修设计和建筑可视化领域&#xff0c;3D MAX是一款强大的工具&#xff0c;可以帮助我们创建出高质量的3D模型和动画。然而&#xff0c;要充分发挥其潜力&#xff0c;我们需要掌握一些3D MAX渲染的技巧。以下是一些实用的技巧&#xff0c;帮助你提高渲染效率和质量。 合理设…
阅读更多...
【总结】Dinky学习笔记

【总结】Dinky学习笔记

概述 Dinky 是一个开箱即用、易扩展&#xff0c;以 Apache Flink 为基础&#xff0c;连接 OLAP 和数据湖等众多框架的一站式实时计算平台&#xff0c;致力于流批一体和湖仓一体的探索与实践 官网&#xff1a;Dinky 核心特性 沉浸式&#xff1a;提供专业的 DataStudio 功能&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023