前言
本文是该专栏的第3篇,后面会持续分享python爬虫案例干货,记得关注。
本文以某二手房网为例,如下图所示,采集对应城市的二手房源数据。具体思路和方法跟着笔者直接往下看正文详细内容。(附带完整代码)
正文
地址:aHR0cHM6Ly9zei5rZS5jb20vZXJzaG91ZmFuZy8=
目标:采集对应城市的二手房源数据
1. 请求方式和参数分析
浏览器打开目标链接之后,直接F12键启动控制台,并点击控制台右侧的Preserve log。接下来,用鼠标滑到页面底部的翻页按钮处,并随机点击几次翻页按钮。观察控制台右侧的Network下面的Fetch/XHR信息栏。
可以尝试点击2次翻页,右侧控制台会出现两个可疑地址。随机点击一个,并观察其Preview信息,如下图所示: