背景:想学习NVIDIA官网上的培训视频,但视频没有字幕,桑希望能离线观看,以下的操作步骤
涉及到的功能:
1.m3u8视频的下载及转换
2.whisper的使用
3.ffmpeg字幕的使用

一.视频网站

二.如何获取视频的原始链接

三.下载视频的脚本【生成output.mp4】

#!/bin/bash

# 下载m3u8索引文件
wget https://vod.nvidia.cn/s/hls/p/2935771/sp/293577100/serveFlavor/entryId/1_kpe8g8f4/v/11/ev/8/flavorId/1_wo6zmhel/name/a.mp4/index.m3u8?__hdnea__=st=1718065127~exp=1718151527~acl=/s/hls/p/2935771/sp/293577100/serveFlavor/entryId/1_kpe8g8f4/v/11/ev/8/flavorId/1_*~hmac=5d616800c6cc5b3a48d8f11e2f7b7d2583f9fc419d3f463a6a287afc0caa1f7b -O index.m3u8

# 解析m3u8文件,下载所有的ts文件
for f in `cat index.m3u8 | grep "https"`
do
   name=`echo $f | sed -n 's/.*\(seg-[0-9]*-v[0-9]*-a[0-9]*\.ts\).*/\1/p'`
   echo $name
   wget $f -O $name   
done

# 替换m3u8中的文件名
sed  's/.*\(seg-[0-9]*-v[0-9]*-a[0-9]*\.ts\).*/\1/p' index.m3u8 > index_new.m3u8

# 安装ffmpeg
apt install ffmpeg -y

# 将m3u8转mp4
ffmpeg -i index_new.m3u8 -c:v libx264 -c:a aac output.mp4

四.安装whisper环境【语音识别生成英文字幕】

conda create -n whisper python=3.10
conda activate whisper
pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install git+https://github.com/openai/whisper.git

五.下载whisper模型

wget https://openaipublic.azureedge.net/main/whisper/models/81f7c96c852ee8fc832187b0132e569d6c3065a3252ed18e56effd0b6a73e524/large-v2.pt -O large-v2.pt

六.生成英文字幕【输出merge.mp4】

#提取音频
ffmpeg -i output.mp4 -vn  output.mp3
#生成字幕
whisper --model_dir ./ --model large-v2 --output_format srt --language English output.mp3
#合并字幕
ffmpeg -i output.mp4 -vf subtitles=output.srt merge.mp4

七.提取场景变化的帧保存成图片序列【场景变化率大于0.1的帧】

mkdir extracted_frames
ffmpeg -i merge.mp4 -vf "select='gt(scene,0.1)'" -vsync vfr extracted_frames/frame_%04d.png

八.图片序列转PPT

pip install python-pptx
tee im2ppt.py <<-'EOF'
from pptx import Presentation
from pptx.util import Inches
import os

def create_ppt_from_frames(folder_path, output_pptx):
    prs = Presentation()
    image_files = [f for f in os.listdir(folder_path) if f.endswith('.png')]    
    for image_file in sorted(image_files):
        slide = prs.slides.add_slide(prs.slide_layouts[0])  # 使用空白幻灯片布局
        img_path = os.path.join(folder_path, image_file)
        slide.shapes.add_picture(img_path, Inches(1), Inches(1), width=Inches(8), height=Inches(4.5))
    prs.save(output_pptx)
if __name__ == "__main__":
    folder_path = "extracted_frames"
    output_pptx = "output_presentation.pptx"
    create_ppt_from_frames(folder_path, output_pptx)	
EOF	
python im2ppt.py