⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️
🐴作者:秋无之地🐴简介:CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大数据开发、数据分析等。
🐴欢迎小伙伴们点赞👍🏻、收藏⭐️、留言💬
本次博客内容将继续讲解关于爬虫的相关知识
一、【需求】:获取下图中列表的信息
二、【步骤】:
1、F12打开开发者调试界面,输出关键字搜索,发现没有找到
2、分析数据是html静态数据还是动态加载(ajax),先看html源代码,可以看出是没有的,所以排除 html静态数据
3、再看是否动态加载(ajax),点击“XHR”查看到有2个接口,点击其中一个,看到返回数据是加密的,这时候还判断不了这是不是我们要的数据,不过可以先对这个做一个js逆向进行解密
4、复制并搜索关键字“encrypt_data”,查找对应的js文件,可以看到刚好只有一个js文件
5、打开js文件源代码,搜索关键字“encrypt_data”,点击下一步找到“encrypt_data”对应的函数,打上断点
6、刷新页面,点击下一步,查看断点处传入加密参数“encrypt_data”的值为变量e,说明这个s函数就是我们要找的函数
7、将s函数的代码复制到pycharm上的新建的js文件,运行查看结果
8、发现报错,这时候需要一步步找到错误信息提示的函数或参数,将他们一个个复制进来文件上。回到网页,鼠标悬停在o函数上,会弹出这个框,鼠标移到蓝色的链接点击进入到0函数的代码位置
9、同样道理,将o函数的代码复制js文件上,再执行看结果,还是报错,重复上面的操作
10、最终找到全部函数和参数,执行看结果,发现正常拿到数据,并跟我们在页面看到的一样
至此,这次的js调试已完成,数据已经能够获取到了。
创作不易,如果你觉得本文对你有帮助,请给个一键三连吧!万分感谢!