关于工作中爬取网站的一些思路记录

news2024/11/26 21:33:03

声明：只是因为工作中需要，且基本不会对别人的网站构成什么不好的影响，做个思路记录！！！
尊重网站所有者、控制请求频率、遵守网站规则、尊重个人隐私

平常工作中难免会遇到需要爬取别人网站的需求，例如爬取兑换之类的流程，把接口爬取下来封装到项目中，这种一般不会对别人的网站有什么的影响，因为也是正常流程下单，例如下面的活动截图：
在这里插入图片描述

  • 1、先理解需求，从需求和界面上看，很容易知道我们基本只需要获取两个接口，一个是发送验证码接口，一个是兑换接口。当然也可能存在前置接口，具体情况具体分析
  • 2、先不要急着分析网站源码，可以先尝试找个手机号发送验证码，看看请求了哪些接口，接口的参数是什么，返回的数据是什么，例如：
    在这里插入图片描述
    在这里插入图片描述
  • 3、从请求接口的参数的返回分析，这个网站的数据部分接口需要加密，部分不需要，如果不需要加密的接口，基本很容易就获取请求参数，这里可以大胆猜测accessId、reqId可能为uuid，reqMethod为请求的方法，encrypted表示接口请求参数是否需要加密，但是光这样看有点难以看出data和dataKey是什么加密算法加密而成，dataKey大概率是解密data的关键密钥。这里建议一般情况下看一下加密后的数据的长度，是不是一些比较特殊的长度，比如36位、512位之类的长度，可以根据这个长度大胆猜测是否是平常常用的算法。
  • 4、对网站有个大概的数据交互认识之后，我们就可以知道难点基本在数据加密这一块，这时候就可以来看源码了，这里的思路我一般是直接定位到“发送验证码”的按钮上，然后找到F12控制台元素的事件监听器的click事件上，直接进入相关的代码中，就可以看到这个按钮的点击事件的代码了。
  • 5、网站的代码都是经过编译的，且一般线上是不会直接开放源代码的，这种时候如何光看编译过后的代码，有时候是比较难以理解，这种时候就需要打断点，一步步调试了，看函数的参数和返回值，以及大概的处理过程。
  • 6、前面已经分析过了，难点就在加密算法上，经过代码分析找到加密部分的代码，如下图：
    在这里插入图片描述
    从这段的代码中，存在RSA和AES的字眼，且打断点都走了这些函数，可以看出这个网站是AES+RSA结合使用进行加密的。

AES+RSA：使用RSA秘钥生成工具生成一对公钥（A）和私钥（B），前端保留A，后端保留B。
前端发送数据时，先生成一串随机16位字符串作为AES的秘钥（C），然后使用A使用RSA算法对C进行加密，得到加密后的AES秘钥（D）。将要发送的数据（E）用C使用AES加密，得到密文（F）。将D和F一同发给后端进行处理。
后端处理数据时，先用B对D使用RSA进行解密得到C，用C对F使用AES进行解密得到E，处理后得到结果G，再用C对G进行AES加密得到H，将H返回给前端。
前端接收到H后用C进行解密，得到处理的结果G。

根据AES和RSA的配合流程来看，这里没有直接返回RSA公钥，而是根据摸和指数来生成RSA公钥然后加密AES私钥，用AES私钥去加密数据进行传输，但是从前面请求参数来看，跟我们平常看到的AES和RSA字符串不一样，显然还做了相关的转换，dataKey字段只有数字和小写字母，平常看到的加密数据还有大写字母、+、/等。

  • 7、这里有一个比较难的地方就是“new no.RSAKeyPair(e,“”,t,2048)”这个对象，这个对象去加密随机生成的AES密钥生成dataKey字段，这里我也是看了半天，打断点半天，也难以理解，因为编译后很多变量是单个字母，且你需要换算成你自己项目的语言，如JAVA、Python等，有时候是比较难的，这时候你可能会想我能不能反编译一下js文件，那你可以尝试一下，比如找一些在线的网站上传文件看看能不能反编译，希望你能成功😂
  • 8、遇到难点无法继续下的时候怎么办呢？给大家提供一种思路，就是尝试直接拷贝它的js文件下来，然后在项目去执行它的函数，获取结果，我这里是使用JAVA、jdk1.8版本，由JavaScript引擎去执行js文件中的函数，根据上面的截图，我只需要执行Fp()函数即可拿到dataKey，和随机生成的AES私钥。
    当然你如果直接执行拷贝下来的js文件大概率是失败，会报各种错误，例如jdk1.8不支持ES6语法，你需要先转化成ES5语法格式（es6转es5在线网站：https://babeljs.io/repl，需要勾选左侧下面的"FORCE ALL TRANSFORMS"），其次你需要把不需要用到的代码都删掉，只留加密部分的代码，可以根据入口函数一步步找到所有需要的变量和函数等，可以根据报错一步步处理，这也是个小挑战~
public static void main(String[] args) {
        // 创建JavaScript引擎
        ScriptEngineManager manager = new ScriptEngineManager();
        ScriptEngine engine = manager.getEngineByName("js");

        try {
            // 加载JavaScript文件
            engine.eval(new FileReader("C:\\Users\\win\\Desktop\\index2.js"));
            // 执行JavaScript函数
            Object result = engine.eval("Fp()");
            
            // 这里是我习惯用serr打印测试日志，因为标红比较显眼
            System.err.println("Function Result: " + JSONObject.toJSONString(result));
            // 拿到Fp()函数返回的dataKey等数据
            JSONObject object = JSONObject.parseObject(JSONObject.toJSONString(result));
            // 要加密的数据
            String content = "{\"appId\":\"xxxx\"}";
            System.err.println("加密前的数据：" + content);
            // 加密后的数据
            String encryptAES = encryptAES(content, object.getString("key"), object.getString("iv"));
            System.err.println("加密后的数据：" + encryptAES);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * AES加密
     * @param plaintext 要加密的数据
     * @param key
     * @param iv
     */
    public static String encryptAES(String plaintext, String key, String iv) {
        try {
            SecretKeySpec secretKey = new SecretKeySpec(key.getBytes(StandardCharsets.UTF_8), "AES");
            IvParameterSpec ivParameterSpec = new IvParameterSpec(iv.getBytes(StandardCharsets.UTF_8));
            Cipher cipher = Cipher.getInstance("AES/CBC/PKCS5Padding");
            cipher.init(Cipher.ENCRYPT_MODE, secretKey, ivParameterSpec);

            byte[] encryptedBytes = cipher.doFinal(plaintext.getBytes(StandardCharsets.UTF_8));
            return bytesToHex(encryptedBytes).toUpperCase();
        } catch (Exception e) {
            log.error("AES加密异常,{}", e.getMessage());
            return "";
        }
    }

    private static String bytesToHex(byte[] bytes) {
        StringBuilder result = new StringBuilder();
        for (byte b : bytes) {
            result.append(String.format("%02X", b));
        }
        return result.toString();
    }
  • 9、终极方案：无头浏览器！！！如果上面还不能解决你的问题，你可以尝试使用无头浏览器，模拟人工点击操作，当然这比接口慢很多，但你不需要考虑网站的加密和接口调用等等，按照人工操作的流程执行即可。注意，无头浏览器你可能需要考虑代理ip和请求头问题，尽可能模拟真实的操作，一直使用同一个ip和userAgent有可能会被检测到。
/**
     * 获取浏览器驱动
     */
    private WebDriver getDriver(Param pm) {
        // 设置随机的设备 user-agent 和屏幕大小
        Map<String, Object> mobileEmulation = new HashMap<>();
        Map<String, Object> map = new HashMap<>();
        Dimension randomScreenSize = getRandomScreenSize();
        map.put("width", randomScreenSize.getWidth());
        map.put("height", randomScreenSize.getHeight());
        mobileEmulation.put("deviceMetrics", map);
        if (pm != null && Func.isNotBlank(pm.getUserAgent())) {
        	// 设置UA
            mobileEmulation.put("userAgent", pm.getUserAgent());
        }

        //谷歌浏览器设置
        ChromeOptions options = new ChromeOptions();
        // 隐藏浏览器、无头浏览器
        options.addArguments("-headless");
        options.setExperimentalOption("mobileEmulation", mobileEmulation);
        // 打开F12
//        options.addArguments("--auto-open-devtools-for-tabs");
        // 启动无沙盒模式运行，以最高权限运行
        options.addArguments("--no-sandbox");
        // 不加载图片, 提升速度
        options.addArguments("blink-settings=imagesEnabled=false");
        
        options.addArguments("--disable-dev-shm-usage");
        // 禁用gpu渲染
        options.addArguments("--disable-gpu");
        // 禁用阻止弹出窗口
        options.addArguments("--disable-popup-blocking");
        // 禁用扩展
        options.addArguments("disable-extensions");
        // 禁用默认浏览器检查
        options.addArguments("no-default-browser-check");
        // 忽略不信任证书
        options.addArguments("–ignore-certificate-errors");
        // 禁用自动化控制特性
        options.addArguments("--disable-blink-features=AutomationControlled");
        // 禁用通知
        options.addArguments("--disable-notifications");
        // 禁用信息栏
        options.addArguments("--disable-infobars");
        // 禁用日志记录
        options.addArguments("--disable-logging");

        LoggingPreferences logPrefs = new LoggingPreferences();
        logPrefs.enable(LogType.PERFORMANCE, Level.ALL);
        options.setCapability("goog:loggingPrefs", logPrefs);

        // 禁用默认应用程序
        options.addArguments("--disable-default-apps");
        // 静音
        options.addArguments("--mute-audio");
        // 禁用自动化标志
        options.setExperimentalOption("excludeSwitches", new String[]{"enable-automation"});

        // 设置代理ip
        if (pm != null && Func.isNotBlank(pm.getProxyIp())) {
            String proxyAddress = pm.getProxyIp() + ":" + pm.getProxyPort();

            Proxy proxy = new Proxy();
            proxy.setHttpProxy(proxyAddress);
            proxy.setSslProxy(proxyAddress);
            options.setProxy(proxy);
        }
        return new ChromeDriver(options);
    }

谷歌浏览器驱动路径：https://googlechromelabs.github.io/chrome-for-testing/#stable

public void handle(Param pm) {
        WebDriver driver = null;
        try {
            if (Func.isBlank(pm.getUserAgent())) {
            	// 这个工具类只是随机生成userAgent的工具类
                pm.setUserAgent(UserAgentUtil.getUserAgent());
            }
			// 谷歌浏览器驱动路径,注意驱动版本问题
            System.setProperty("webdriver.chrome.driver", "F:/chromedriver-win64/chromedriver.exe");
            driver = getDriver(pm);
//            driver.manage().window().maximize();
            // 进入页面
            driver.get("https://xxx");

            JavascriptExecutor js = (JavascriptExecutor) driver;
            //添加cookie
            if (pm.getCookies() != null && pm.getCookies().size() > 0) {
                setCookie(js, pm.getCookies());
            }
            // 隐式等待
            driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);

          	// 其他相关处理代码
          	...
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (driver != null) {
                driver.quit();
            }
        }
    }

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1053154.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

华为云云耀云服务器L实例评测 ｜ 实例评测使用之硬件性能评测：华为云云耀云服务器下的硬件运行评测

华为云云耀云服务器L实例评测 ｜ 实例评测使用之硬件性能评测：华为云云耀云服务器下的硬件运行评测

华为云云耀云服务器L实例评测 &#xff5c; 实例评测使用之硬件性能评测&#xff1a;华为云云耀云服务器下的硬件运行评测 介绍华为云云耀云服务器 华为云云耀云服务器 &#xff08;目前已经全新升级为 华为云云耀云服务器L实例&#xff09; 华为云云耀云服务器是什么华为云云耀…
阅读更多...
linux系统中wifi移植方法

linux系统中wifi移植方法

第一&#xff1a;移植wifi现象 在linux系统的RK3399中空板上&#xff0c;确认rk3399中控板linux系统已经可以正常运行。本操作是在rk3399中控板上的WIFI模块&#xff0c;linux内核加载wifi驱动后&#xff0c;再配置上正确的wifi密码&#xff0c;就可以实现rk3399中控板通过wifi…
阅读更多...
LeNet网络复现

LeNet网络复现

文章目录 1. LeNet历史背景1.1 早期神经网络的挑战1.2 LeNet的诞生背景 2. LeNet详细结构2.1 总览2.2 卷积层与其特点2.3 子采样层&#xff08;池化层&#xff09;2.4 全连接层2.5 输出层及激活函数 3. LeNet实战复现3.1 模型搭建model.py3.2 训练模型train.py3.3 测试模型test…
阅读更多...
shopify目录层级释义

shopify目录层级释义

└── theme├── assets // assets目录包含主题中使用的所有资源文件&#xff0c;包括图像、CSS和JavaScript文件。├── config // config目录包含主题的配置文件。 配置文件在主题编辑器的主题设置区域中定义设置&#xff0c;并存储它们的值。├── layout // layou…
阅读更多...
会议AISTATS(Artificial Intelligence and Statistics) Latex模板参考文献引用问题

会议AISTATS(Artificial Intelligence and Statistics) Latex模板参考文献引用问题

前言 在看AISTATS2024模板的时候&#xff0c;发现模板里面根本没有教怎么引用&#xff0c;要被气死了。 如下&#xff0c;引用(Cheesman, 1985)的时候&#xff0c;模板是自己手打上去的&#xff1f;而且模板提供的那三个引用&#xff0c;根本也没有Cheesman这个人&#xff0c…
阅读更多...
Mysql各种锁

Mysql各种锁

一.不同存储引擎支持的锁机制 Mysql数据库有多种数据存储引擎&#xff0c;Mysql中不同的存储引擎支持不同的锁机制 MyISAM和MEMORY存储引擎采用的表级锁 InnoDB存储引擎支持行级锁&#xff0c;也支持表级锁&#xff0c;默认情况下采用行级锁 二.锁类型的划分 按照数据操作…
阅读更多...
【LeetCode热题100】--21.合并两个有序链表

【LeetCode热题100】--21.合并两个有序链表

21.合并两个有序链表 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 /*** Definition for singly-linked list.* public class ListNode {* int val;* ListNode next;* ListNode() {}* ListNode(int val)…
阅读更多...
flutter开发实战-应用更新apk下载、安装apk、启动应用实现

flutter开发实战-应用更新apk下载、安装apk、启动应用实现

flutter开发实战-应用更新apk下载、安装apk、启动应用实现 在开发过程中&#xff0c;经常遇到需要更新下载新版本的apk文件&#xff0c;之后进行应用更新apk下载、安装apk、启动应用。我们在flutter工程中实现下载apk&#xff0c;判断当前版本与需要更新安装的版本进行比对判断…
阅读更多...
FFmpeg 命令：从入门到精通 | ffmpeg 命令分类查询

FFmpeg 命令：从入门到精通 | ffmpeg 命令分类查询

FFmpeg 命令&#xff1a;从入门到精通 | ffmpeg 命令分类查询 FFmpeg 命令&#xff1a;从入门到精通 | ffmpeg 命令分类查询ffmpeg -versionffmpeg -buildconfffmpeg -formatsffmpeg -muxersffmpeg -demuxersffmpeg -codecsffmpeg -decodersffmpeg -encodersffmpeg -bsfsffmpeg…
阅读更多...
LabVIEW学习笔记五：错误，visa关闭超时（错误-1073807339）

LabVIEW学习笔记五：错误，visa关闭超时（错误-1073807339）

写的串口调试工具&#xff0c;其中出现了这个错误 这是串口接收的部分&#xff0c;如果没有在很短的时间内收到外界发进来的数据&#xff0c;这里就会报错。 先在网上查了一下&#xff0c;这个问题很常见&#xff0c;我找到了官方的解答&#xff1a; VISA读取或写入时出现超时…
阅读更多...
视频高效剪辑，批量调整视频速度，让视频更加精彩

视频高效剪辑，批量调整视频速度，让视频更加精彩

你是否曾经需要调整多个视频的速度&#xff0c;但却苦于手动操作效率低下&#xff1f;如果你也遇到了这样的问题&#xff0c;那么是时候采取行动&#xff0c;使用一款高效易用的视频处理工具了。 首先&#xff0c;我们要进入好简单批量智剪&#xff0c;并在板块栏里选择“任务…
阅读更多...
26358-2022 旅游度假区等级划分 思维导图

26358-2022 旅游度假区等级划分 思维导图

声明 本文是学习GB-T 26358-2022 旅游度假区等级划分. 而整理的学习笔记,分享出来希望更多人受益,如果存在侵权请及时联系我们 1 范围 本文件规定了旅游度假区的等级划分和依据、总则、基本条件、省级和国家级旅游度假区条件。 本文件适用于旅游度假区的等级认定与复核依据…
阅读更多...
pandas数据处理之构建联邦学习数据

pandas数据处理之构建联邦学习数据

本文以天池比赛《车辆贷款违约预测》的数据为例&#xff0c;通过pandas处理数据&#xff0c;构建联邦学习数据&#xff0c;用于FATE框架联邦学习。 通过pandas处理数据 1. 读取数据 下载car_loan_train.csv数据后&#xff0c;用pandas读取数据。 import pandas as pddatapd…
阅读更多...
Transformers.js v2.6 现已发布

Transformers.js v2.6 现已发布

&#x1f92f; 新增了 14 种架构 在这次发布中&#xff0c;我们添加了大量的新架构&#xff1a;BLOOM、MPT、BeiT、CamemBERT、CodeLlama、GPT NeoX、GPT-J、HerBERT、mBART、mBART-50、OPT、ResNet、WavLM 和 XLM。这将支持架构的总数提升到了 46 个&#xff01;以下是一些示例…
阅读更多...
IntelliJ IDEA 控制台中文乱码的四种解决方法

IntelliJ IDEA 控制台中文乱码的四种解决方法

前言 IntelliJ IDEA 如果不进行配置的话&#xff0c;运行程序时控制台有时候会遇到中文乱码&#xff0c;中文乱码问题非常严重&#xff0c;甚至影响我们对信息的获取和程序的跟踪。开发体验非常不好。 本文中我总结出四点用于解决控制台中文乱码问题的方法&#xff0c;希望有助…
阅读更多...
分布式事务-TCC异常-空回滚

分布式事务-TCC异常-空回滚

1、空回滚问题&#xff1a; 因为是全局事务&#xff0c;A服务调用服务C的try时服务出现异常服务B因为网络或其他原因还没执行try方法&#xff0c;TCC因为C的try出现异常让所有的服务执行cancel方法&#xff0c;比如B的try是扣减积分 cancel是增加积分&#xff0c;还没扣减就增…
阅读更多...
【动态规划】动态规划经典例题 力扣牛客

【动态规划】动态规划经典例题 力扣牛客

文章目录 跳台阶 BM63 简单跳台阶扩展 JZ71 简单打家结舍 LC198 中等打家劫舍2 LC213中等最长连续递增序列 LC674 简单乘积最大子数组LC152 中等最长递增子序列LC300 中等最长重复子数组LC718最长公共子串NC BM66最长公共子序列LC1143 中等完全平方数LC279零钱兑换 LC322 中等单…
阅读更多...
【图像分割】图像检测（分割、特征提取）、各种特征（面积等）的测量和过滤（Matlab代码实现）

【图像分割】图像检测（分割、特征提取）、各种特征（面积等）的测量和过滤（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…
阅读更多...
基于SSM+Vue的医院住院综合服务管理系统的设计与实现

基于SSM+Vue的医院住院综合服务管理系统的设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用Vue技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…
阅读更多...
前端最新支持四级及以下结构仿企查查、天眼查关联投资机构 股权结构 tree树形结构 控股结构

前端最新支持四级及以下结构仿企查查、天眼查关联投资机构 股权结构 tree树形结构 控股结构

随着技术的发展&#xff0c;开发的复杂度也越来越高&#xff0c;传统开发方式将一个系统做成了整块应用&#xff0c;经常出现的情况就是一个小小的改动或者一个小功能的增加可能会引起整体逻辑的修改&#xff0c;造成牵一发而动全身。通过组件化开发&#xff0c;可以有效实现单…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023