文章目录
- 概要
- 工具讲解
- 安装流程
- 1. 安装Python
- 2. 安装FFmpeg
- 3. 安装Sadtalker
- 4. 导入模型
- 使用流程
- 1. 生成语音
- 2. 上传图片跟语音
- 3. 点击生成,漫长等待
- 4. 虚拟内存
- 小结
概要
sadtalker,可以根据图片以及语音,生成动态视频,跟现在的数字人直播电商差不多,制作成视频后加个推流到直播间即可。本章节,主要记录从无到有搭建sadtalker环境,期间也出现了多个问题,也做了相应的记录。
工具讲解
这里把安装包都集成了,需要的可以自行下载,也可以根据官网提示自行下载…
百度网盘:此处
- python-3.10.6-amd64:必须是这个版本,github官网也是这样说的
- Everything 64位_1.4.1.1024:用于寻找本地文件的,找到pip.ini文件,并且删除,避免其他源造成环境污染
- 7-Zip 64位_23.1.0.0:用于解压文件,系统自带的话可不用安装
- checkpoints:模型文件,解压到sadtalker 根目录即可 {{sadtalkerDir}}/checkpoints
- ffmpeg-release-full:用于数字人运行环境
- SadTalker-main:数字人运行文件
安装流程
sadtalker github:此处
官方流程简化版
- 安装Python 3.10.6,选中“将 Python 添加到 PATH”。
- ffmpeg按照此说明安装。
- 下载我们的 SadTalker 存储库。.
- 下载checkpoint以下gfpgan ↓。
- 进入根目录,执行
webui.bat
文件。
1. 安装Python
下载地址:Python 3.10.6
需要选中下方复选框,将环境添加到系统中...
2. 安装FFmpeg
官方下载地址:FFmpeg
官方傻瓜式教程:此处
太多步骤了,简单来说就是下载后,添加到环境变量...
略…
3. 安装Sadtalker
下载
解压
运行webui.bat
这里报错了
ERROR: Could not find a version that satisfies the reguirement torch==1.12.1+cu113 (from versions: 2.0.0, 2.0.1)
ERROR: No matching distribution found for torch==1.12.1+cu113
检测后发现是其他python版本3.11.x 问题,重新安装python3.10.6即可…
- 卸载其他版本,并且删除遗留的配置文件
- 安装python3.10.6
- 重启电脑
- 删除sadtalker文件夹
- 重新解压运行webui.bat
再次运行webui.bat
好家伙,又失败了…
这边用everything,清空了其他的python环境,并且将之前设置的清华源配置文件删除了,删了SadTalker-main 文件夹,重新来一遍。
并且在上面那个步骤,用了科学上网然后就可以了…
删除配置文件
效果如下:
又报错了...到这里就可以正常打开了,但是呢,不可以生成,因为还没有导入模型...
打开命令行CMD,看看报错信息
4. 导入模型
官网上也可以找到,这边直接放在网盘了,解压即可
使用流程
1. 生成语音
2. 上传图片跟语音
3. 点击生成,漫长等待
等不了了,太慢了,还是手动下载 (缺啥下啥就好了)
ctrl+鼠标左键,然后科学上网下载。。。
在把科学上网关闭,重新打开 webui.bat
,重新生成视频,如下:
短一点的语音没问题,我放了30s的语音就报错了,可能是内存原因,如果你报错了,可以继续执行第四步…
4. 虚拟内存
终于可以了~~~
小结
本章节到这里就结束了,下一步尝试接入opengpt,干就完事了…