python爬虫实战案例——抓取B站视频，不同清晰度抓取，实现音视频合并，超详细！（内含完整代码）

news2024/11/30 14:45:27

文章目录

1、任务目标
2、网页分析
3、代码编写

1、任务目标

目标网站：B站视频（https://www.bilibili.com/video/BV1se41117WP/?vd_source=e8e376ccbc5aa4cfd88e6a7917adfd1a），用于本文测验
要求：抓取该网址下的视频，将其存入本地，如下：

在这里插入图片描述

2、网页分析

在分析网页前，我们需要明白爬取的数据是什么，因为b站的视频跟音频是分开存放的，所以我们需要分别找到视频和音频的url，然后在对其发起请求将视频和音频保存至本地；最后将两者合并在一起，才能形成完整的视频文件

打开目标网站，大家可以先登录B站，这样才能下载高清视频，打开浏览器开发者模式，刷新网页，寻找数据接口
经过分析，在Network-Doc下发现了一个文件，该文件源码中就存放了视频和音频的url地址，所以我们需要向该文件接口发起请求，将视频和音频的url地址解析出来

在这里插入图片描述

得到该数据接口的请求url和请求参数
找到所需的数据接口后，我们可以先分析一下网页源码，我们发现视频url存放在一个 <script>标签下的 video下
我们需要获取的是 video下的 baseurl，但我们会发现这种url在video下有许多，他们其实代表着不同清晰度和不同编码，这里我教大家如何区分，首先id相同的表示是同一个清晰度的视频url，codes 代表着不同的编码格式；大家可以根据第3步图中信息判断清晰度，id=80就代表高清1080p，因为我没有会员，这里最高只显示高清1080p的baseurl，所以我们就抓取它即可
音频的url同样也在<script>标签下，我们向下翻，发现音频url在 audio 下的 baseUrl中，且下面有3种类型的baseurl，我们同样根据id来选择，视频url为高清1080p，所以音频就选择id=30280的baseurl

3、代码编写

编写代码前，需要大家安装一个第三方工具ffmpeg，用于合并视频和音频
安装教程：https://blog.csdn.net/qq_45956730/article/details/125272407

完整代码:

'''
目标站点：https://www.bilibili.com/video/BV1se41117WP/?vd_source=e8e376ccbc5aa4cfd88e6a7917adfd1a B站
任务：抓取网址下的视频，将其存入本地
'''

# 导入模块
import requests
import re
import json
from jsonpath import jsonpath
from bs4 import BeautifulSoup
import os

# 1、站点信息

# 目标网站
url = 'https://www.bilibili.com/video/BV1se41117WP/'

# 身份信息，若cookie值失效，刷新网页更换即可
header = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
    "Referer":"https://www.bilibili.com/",
    "Cookie":"i-wanna-go-back=-1; buvid4=3347E997-02D2-04C8-A7BF-156C62FCF90B88409-022070218-vps4PunhlmjD%2FldTeJtIPg%3D%3D; buvid_fp_plain=undefined; DedeUserID=131564301; DedeUserID__ckMd5=cd1905451e79f724; CURRENT_BLACKGAP=0; buvid3=256ABE92-A581-24BC-8E24-6FF290D67AAD49841infoc; b_nut=1698501949; b_ut=7; _uuid=E716FD102-B224-3AF5-BF13-7FFF9888B73450357infoc; rpdid=|(um)~|)kk)k0J'uYm)l|um~u; PVID=1; header_theme_version=CLOSE; enable_web_push=DISABLE; fingerprint=561ef2aee0e68972fc241f5969acd97b; hit-dyn-v2=1; FEED_LIVE_VERSION=V_WATCHLATER_PIP_WINDOW3; CURRENT_FNVAL=4048; buvid_fp=561ef2aee0e68972fc241f5969acd97b; SESSDATA=33cf5dfb%2C1744988952%2Cb57ab%2Aa1CjBKimVs0wevrn9Ta4wYyhdBx-INz-37PGOJXhzOdeCNbnP3by5al9qZYhWgDs8BqO0SVk5MQzdsRzNWbWNaTHhWX3E1d1RKbl9WS3BGWjVudnpjd0d6NnV0ZWxYSU9FREktWlY0d2pMaU1LU1JVSUNZWFFtdDk1OEMyWFNickFCOFlncy1RYXR3IIEC; bili_jct=f6fe7d7a9e53628a226c3b5635076cbf; bp_t_offset_131564301=990413587237306368; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3Mjk2OTY0MzcsImlhdCI6MTcyOTQzNzE3NywicGx0IjotMX0.6xy7DMJZDMBJycpOYWnXejp5ihkcRy4mE85OBVgjUFU; bili_ticket_expires=1729696377; bmg_af_switch=1; bmg_src_def_domain=i0.hdslb.com; sid=6az7b526; CURRENT_QUALITY=64; home_feed_column=4; browser_resolution=1279-700; b_lsid=61131031F_192AE3E6666",
}

# 请求参数、
param = {
    "vd_source":"e8e376ccbc5aa4cfd88e6a7917adfd1a",
}

# 2、请求网站
def get():
    response = requests.get(url,headers=header,params=param) # 发起请求
    if response.status_code == 200:
        html_data = response.text # 返回网页源码
        data = re.findall('<script>window.__playinfo__=(.*?)</script>',html_data,re.S)[0] # 用正则将网页中script标签内的数据匹配出来
        json_data = json.loads(data) # 将匹配的数据转换为json格式，字典
        return html_data,json_data

# 3、解析数据
def parse(html_data,json_data):
    soup = BeautifulSoup(html_data,'lxml') # 生成解析对象
    title = soup.select('div.title-txt')[0].string # 获取视频标题，有多种方法，大家自行选择
    # print(title)
    video_url = jsonpath(json_data,'$..data.dash.video..baseUrl')[0] # 获取视频链接
    # print(video_url)
    audio_url = jsonpath(json_data,'$..data.dash.audio..baseUrl')[0] # 获取音频链接
    # print(audio_url)
    return title,video_url,audio_url

# 4、将视频存放至本地
def save(title,video_url,audio_url,path):
    print('视频和音频开始下载')
    video = requests.get(video_url,headers=header).content # 下载视频
    audio = requests.get(audio_url,headers=header).content # 下载音频
    # 保存视频
    with open(f'{path}{title}.mp4','wb') as f1: # 将视频保存至指定路径下
        f1.write(video)
    print('视频下载完成')

    # 保存音频
    with open(f'{path}{title}.mp3','wb') as f2: # 将音频保存至指定路径下
        f2.write(audio)
    print('音频下载完成')

# 5、合并视频和音频
def craft(path,title):
    # 使用第三方工具ffmpeg，合成视频和音频的命令，参考：https://blog.csdn.net/bangongzhushou/article/details/140019824
    cmd = fr"ffmpeg -i {path}{title}.mp4 -i {path}{title}.mp3 -c:v copy -c:a aac -strict experimental -map 0:v -map 1:a {path}csdn\{title}.mp4 -loglevel quiet" # -loglevel quiet 表示隐藏日志，不加问题不大
    os.system(cmd) # 调用windows命令
    print('视频和音频合并完成') # 合并后会生成新的.MP4文件
    os.remove(f'{path}{title}.mp4') # 删除原有的视频文件
    os.remove(f'{path}{title}.mp3') # 删除原有的音频文件
    print(f'已删除原有的视频和音频文件')
    print('---'*10)

# 6、启动函数
def start(path):
    # 依次调用定义的函数，完成视频抓取
    html_data, json_data = get()
    title, video_url, audio_url = parse(html_data, json_data)
    save(title, video_url, audio_url, path)
    craft(path, title)

if __name__ == '__main__':
    path = 'F:/videoDownload/' # 视频存放的路径，大家自定义
    start(path)