文章目录
- 前言
- 1、任务目标
- 2、抓取流程
-
- 2.1 分析网页
- 2.2 编写代码
- 2.3 思路分析
前言
本篇案例主要讲解异步加载网站如何分析网页接口,以及如何观察post请求URL的参数,网站数据并不难抓取,主要是将要抓取的数据接口分析清楚,才能根据需求编写想要的代码。
1、任务目标
目标网站:腾讯网(https://news.qq.com/)
抓取 腾讯网–要闻–热点精选,前5页的新闻标题
如:
2、抓取流程
2.1 分析网页
步骤1:
打开浏览器,进入目标网站:https://news.qq.com/,
右键检查或F12
,打开浏览器抓包工具,先刷新网页更新数据接口,因为是异步刷新的网站,我们直接在在Network-Fetch/XHR
下查找我们需要的数据接口