前言
本文是该专栏的第10篇,后面会持续分享python爬虫案例干货,记得关注。
本文以汽车之家新车优惠价为例,获取各车型的优惠价,示例图如下:
地址:aHR0cHM6Ly9idXkuYXV0b2hvbWUuY29tLmNuLzAvMC8wLzQyMDAwMC80MjAxMDAvMC0wLTAtMS5odG1sI3B2YXJlYWlkPTIxMTMxOTU=
需求:获取各车型优惠价
具体的详细思路以及采集方法,跟着笔者直接往下看正文详细内容。(附带完整代码)
正文
1. 请求方式和参数分析
获取目标url的方法,笔者在这里不做过多详述。不太明白的同学,可以查看本专栏上一篇文章思路即可。
拿到url之后,使用浏览器打开,然后直接按F12或者Ctrl+Shift+I组合键启动控制台。
接下来直接尝试页面底部翻页(页数随机),并观察右侧控制台区域Network下面的Fetch/XHR,会看到如下信息: