今天我们来进行 Python 爬虫实战，学以致用嘛，这也是咱们不断学习的动力！
我们要爬取的网站是YY直播，不知道有多少朋友知道，反正小编以前是不知道的，真的不知道~
那么为什么我们选择这个网站呢，因为小编在网站找文章素材的时候，无意中发现了一个超级棒的 api，可以直接返回该网站上的主播视频
https://api-tinyvideo-web.yy.com/home/tinyvideosv2
我们没有访问该地址，返回的结果都会变化，那么好了，我们只需要使用 Python 模拟网络请求，然后再解析对应的返回数据既可以了。
模拟请求
相信大家都不陌生，使用大名鼎鼎的 requests 库即可
url = 'https://api-tinyvideo-web.yy.com/home/tinyvideosv2'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
response = requests.get(url=url, headers=headers)
data = response.json()
这样，变量json_data里面就是我们上面在浏览器中看到的数据，接下来就是解析该数据
解析数据
在上面的数据中，我们可以看出，resurl当中保存着视频连接，那么我们只需要拿出该参数，再通过 requests 库请求即可
for d in data_list:
video_title = str(d['yyNum']) + '.mp4'
video_url = d['resurl']
video_content = requests.get(url=video_url, headers=headers).content
变量video_content当中保存的就是视频信息，我们可以直接保存
保存视频
保存视频也比较简单，通过 open 函数完成
with open('video\\' + video_title, mode='wb') as f:
f.write(video_content)
print('保存完成:', video_title)
效果如下
保存到本地的视频如下
循环下载
前面我们也说了，每次访问该 api，都会返回不同的数据，所以我们可以反复多次访问，然后下载更多的视频
url = 'https://api-tinyvideo-web.yy.com/home/tinyvideosv2'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
for _ in range(page+1):
response = requests.get(url=url, headers=headers)
data = response.json()
data_list = data['data']['data']
print(data_list)
技术提升
技术要学会分享、交流，不建议闭门造车。
好的文章离不开粉丝的分享、推荐，资料干货、资料分享、数据、技术交流提升，均可加交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。
方式①、添加微信号：dkl88191，备注：来自CSDN
方式②、微信搜索公众号：Python学习与数据挖掘，后台回复：加群
完整代码
import requests
def fire(page):
url = 'https://api-tinyvideo-web.yy.com/home/tinyvideosv2'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
for _ in range(page+1):
response = requests.get(url=url, headers=headers)
data = response.json()
data_list = data['data']['data']
print(data_list)
for d in data_list:
video_title = str(d['yyNum']) + '.mp4'
video_url = d['resurl']
video_content = requests.get(url=video_url, headers=headers).content
with open('video\\' + video_title, mode='wb') as f:
f.write(video_content)
print('保存完成:', video_title)
if __name__ == '__main__':
fire(10)
