爬虫实践(1)

news2024/11/13 12:09:02

这一篇只提登录模拟,主要介绍chrome开发者窗口的使用,实际上相关接口调用都是用到cookie,需要再加一篇从token到cookie,以保证实践的完整性

以migu登录为例,分析其登录过程,之后可以使用任意语言模拟登录,获取登录token

查看分析登录涉及到的URL

URL:https://passport.migu.cn/login
step1: POST https://passport.migu.cn/password/publickey
step2: POST https://passport.migu.cn/authn
在这里插入图片描述
step2 返回结果就是登录后的token
在这里插入图片描述

分析请求报文

step1:POST https://passport.migu.cn/password/publickey
无参数,尝试直接请求,可以获取到请求在这里插入图片描述
step2:POST https://passport.migu.cn/authn
发现请求参数很多,大部分是加密的
在这里插入图片描述
试着使用POSTMAN做请求,暂时发现使用以下三个参数就可以通了
在这里插入图片描述

分析参数计算逻辑

这是主要部分,大致流程:找到对应form --> 打断点 --> 分析代码

sourceID,Element搜索,尝试点两下登录,发现这个值应该是进页面初始化的

在这里插入图片描述
可以直接通过请求URL 获取
在这里插入图片描述

loginID
  1. Element搜索,可以点两下登录试试,可以看到这个值会变化,说明是动态计算的
    在这里插入图片描述
  2. 打断点
    在这里插入图片描述
  3. 点击登录按钮,触发click事件,会停在赋值的代码块,可见此时 loginID已经算出来了,并在第二个标记的地方赋值
    在这里插入图片描述
    shift + F11 往上推查找这个e在什么地方算的
    分析下面代码,发现是通过请求a.attr(“cmcc-rsaAjax”),获取到modulus, publicExponent,再通过RSA做加密,算出 loginID
    这个URL其实就是https://passport.migu.cn/password/publickey这个API的结果
    在这里插入图片描述
    有个技巧, 在打断点期间,实际上整个工作区间都到断掉位置了,可以在console 窗口直接在执行代码,比如:
    在这里插入图片描述
    RSA加密算法是自定义的,需要爬取js代码,之后再做补全 …
    主要是下面三行代码
c = new s.RSAKey;
c.setPublic(a.result.modulus, a.result.publicExponent);
var d = c.encrypt(b.val());
enpassword,步骤相似,实际上就是下面中间的代码

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1546474.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何利用FLUENT计算流体力学方法解决大气与环境领域流动问题

ANSYS FLUENT是目前全球领先的商用CFD 软件,市场占有率达70%左右,是工程师和研究者不可多得的有力工具。由于采用了多种求解方法和多重网格加速收敛技术,因而FLUENT能达到最佳的收敛速度和求解精度。灵活的非结构化网格和基于解的自适应网格技…

设置MATLAB三维绘图的视角

MATLAB三维绘图plot3在生成绘图后,默认显示视角是斜着的: 使用view(2)命令可以使其转成XoY平面(从上往下看的视角):

【第二部分--Python之基础】02

二、运算符与程序流程控制 1、运算符 1.1 算术运算符 算术运算符用于组织整数类型和浮点类型的数据,有一元运算符和二元运算符之分。 一元算术运算符有两个:(正号)和-(负号),例如&#xff1…

自动驾驶-如何进行多传感器的融合

自动驾驶-如何进行多传感器的融合 附赠自动驾驶学习资料和量产经验:链接 引言 自动驾驶中主要使用的感知传感器是摄像头和激光雷达,这两种模态的数据都可以进行目标检测和语义分割并用于自动驾驶中,但是如果只使用单一的传感器进行上述工作…

【Python】enumerate函数的使用方法,小白一看就懂

enumerate函数的使用方法: season[‘a’,‘b’,‘c’,‘d’] for i in enumerate(season): print(i) season[‘a’,‘b’,‘c’,‘d’] for i,eliment in enumerate(season): print(i,eliment) 输出结果为: 练习题: 2.给出10个学生姓名…

国内ip地址随意更换的潜在风险和策略

在数字化时代,IP地址是互联网通信的基础,而国内IP地址的随意更换可能带来一系列安全风险和问题。虎观代理小二将探讨国内IP地址随意更换的潜在影响以及如何有效应对这一挑战。 1.什么是国内IP地址? 国内IP地址是指在国内分配和使用的IP地址&…

【漏洞复现】用友U8C任意文件读取漏洞

声明:亲爱的读者,我们诚挚地提醒您,Aniya网络安全的技术文章仅供个人研究学习参考。任何因传播或利用本实验室提供的信息而造成的直接或间接后果及损失,均由使用者自行承担责任。Aniya网络安全及作者对此概不负责。如有侵权&#…

ChatGPT 对 ELT的理解

本文主要内容来自 ChatGPT 4.0 到底什么是 ETL?在数据库内部,把数据从 ODS 层加工成 DWD,再加工成 DWS,这个过程和 ETL 的关系是什么?带着这些问题,我问了一下 ChatGPT,总结如下。 数据在两个数…

工厂能耗管控物联网解决方案

工厂能耗管控物联网解决方案 工厂能耗管控物联网解决方案是一种创新的、基于先进技术手段的能源管理系统,它深度融合了物联网(IoT)、云计算、大数据分析以及人工智能等前沿科技,以实现对工业生产过程中能源消耗的实时监测、精确计…

小学科学期刊投稿邮箱论文发表

《小学科学》是由国家新闻出版总署批准的教育理论类半月刊,由长春出版传媒集团有限责任公司主管主办,旨在为广大一线科学教师、教研员和其他教育工作者提供一个展示传播、交流、研讨科学教育及教研成果的平台,促进小学科学教育工作者的沟通与…

智能楼宇3D可视化解决方案

什么是智能楼宇? 智能楼宇是为提高楼宇的使用合理性与效率,配置合适的建筑环境系统与楼宇自动化系统、办公自动化与管理信息系统以及先进的通信系统,并通过结构化综合布线系统集成为智能化系统的大楼。 面临的问题 信息孤岛,无法统一管理 各个子系统独立工作、独立管理,…

达梦数据库自动备份(全库)+还原(全库) 控制台

一 前提 1.安装达梦数据库DB8(请参照以前文章) 我的数据库安装目录是 /app/dmDB8 2.已创建实例 (请参照上一篇文章) 二 准备测试数据 三 自动备份步骤 1.开启归档模式 开启DM管理工具管理控制台 弹不出来工具的 输入命令 xhost 第一步 将服务器转换为配置状态 右键-&g…

冒泡排序 快速排序 归并排序 其他排序

书接上回.. 目录 2.3 交换排序 2.3.1冒泡排序 2.3.2 快速排序 快速排序的优化: 快速排序非递归 2.4 归并排序 基本思想 归并排序非递归 海量数据的排序问题 排序算法时间空间复杂度和稳定性总结 四. 其他非基于比较排序 (了解) 2.3 交换排序 基本思想:…

缺省和重载。引用——初识c++

. 个人主页&#xff1a;晓风飞 专栏&#xff1a;数据结构|Linux|C语言 路漫漫其修远兮&#xff0c;吾将上下而求索 文章目录 C输入&输出cout 和cin<<>> 缺省参数全缺省半缺省应用场景声明和定义分离的情况 函数重载1.参数的类型不同2.参数的个数不同3.参数的顺…

systemd-journal(二)之配置文件详解journal-remote.conf,journald.conf,journald.conf

文章目录 写在前面概述journal-remote.conf&#xff0c; journal-remote.conf.d概要配置目录和优先级选项SealSplitModeServerKeyFileServerCertificateFileTrustedCertificateFileMaxUse, KeepFree, MaxFileSize, MaxFiles journal-upload.conf&#xff0c; journal-upload.co…

mmocr安装和使用

https://github.com/open-mmlab/mmocr/blob/main/README_zh-CN.md https://mmocr.readthedocs.io/en/dev-1.x/get_started/quick_run.html 介绍 MMOCR 是基于 PyTorch 和 mmdetection 的开源工具箱&#xff0c;专注于文本检测&#xff0c;文本识别以及相应的下游任务&#xf…

Chromium 通过IDL方式添加扩展API,并且在普通网页也可以调用

先严格按照Chromium 通过IDL方式添加扩展API - 知乎、chromium 41 extensions 自定义 api 接口_chromium自定义扩展api-CSDN博客 里提到的方式&#xff0c;加入扩展api。然后最关键的地方来了&#xff1a; 到src\extensions\renderer\native_extension_bindings_system.cc \sr…

探索网络分析:图理论算法介绍及其如何用于地理空间分析

网络分析简介 出售真空吸尘器的挨家挨户的推销员列出了一个潜在客户,分布在邻近他的几个城市中。他想离开家,参观每个潜在客户,然后返回家园。他可以采取的最短、最有效的路线是什么? 这种情况被称为旅行推销员问题,它可能是优化中研究最深入的问题(旅行推销员问题,2023…

【探究图论中dfs记忆化,搜索,递推,回溯关系】跳棋,奶牛隔间, 小A和uim之大逃离 II

本篇很高能&#xff0c;如有错误欢迎指出&#xff0c;本人能力有限&#xff08;需要前置知识记忆化dfs&#xff0c;树形dp&#xff0c;bfsdp&#xff0c;tarjan&#xff09; 另外&#xff0c;本篇之所以属于图论&#xff0c;也是想让各位明白&#xff0c;dfs就是就是在跑图&am…

【JavaScript】JavaScript 程序流程控制 ⑧ ( 循环控制关键字 | continue 关键字 | break 关键字 )

文章目录 一、循环控制关键字 - continue / break1、break 关键字2、continue 关键字 一、循环控制关键字 - continue / break 在 JavaScript 中 , 通常会使用 continue 和 break 两个关键字 控制循环流程 , 在 for 循环 , while 循环 或 do…while 循环 中使用 这两个关键字 ,…