只需3步，使用Stable Diffusion无限生成AI数字人视频

news2024/11/30 0:50:21

基本方法

搞一张照片，搞一段语音，合成照片和语音，同时让照片中的人物动起来，特别是头、眼睛和嘴。

语音合成

语音合成的方法很多，也比较成熟了，大家可以选择自己方便的，直接录音也可以，只要能生成一个语音文件就行了。

如下图所示 ：输入你的文字，选择播音员，填写验证码，点击转换按钮。

生成速度挺快的，然后在左边这里可以试听和下载。

照片生成

这里介绍的方法需要使用比较真实的照片，如果太二次元了，视频人脸的效果会比较差。大家可以使用自己真实的照片，也可以使用Stable Diffusion生成一张，也可以使用图生图稍微改造下自己的照片，总之要尽量真实一些。

另外这张照片尽量正面一些，侧脸生成的视频可能会出现头和身体拼接不太好的情况，所以如果有证件照是最好的。

我这里演示生成一张真实照片，看AI生成的美女都有些厌倦了，今天我们生成个帅哥。

（1）生成工具使用 Stable Diffusion WebUI，模型选择 realisticVisionV20，这个模型生成的图片看起来比较真实。

提示词：best quality, front photo of a young man, chinese, portrait,black t-shirt, short hair, (looking at viewer), Sense of technology, in an office, computers, screen, books, upper body,

反向提示词： easy_negative, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),

（2）采样器这里选择DPM++ 2M SDE Karras，选择别的也没问题，只要生成一张人物照片就可以了。

采样步数根据采样器选择，这里是40，建议20-40，以实际出图效果为准。

尺寸这里选择竖版，放到手机里会比较合适。

生成次数：建议先把提示词写好了，然后一次多生成几张，从里边选择最好的，节省时间。

（3）这里我选择一张自认为看起来还不错的图片，把这张图下载下来备用。

视频合成

这是最关键的一步，这里还是使用Stable Diffusion WebUI，不过只是使用其中的一个插件，这个插件的名字就是SadTalker。

SadTalker是Github上开源的，主要成员也都是国内的技术大佬，地址：github.com/OpenTalker/…

这里默认大家都安装好Stable Diffusion WebUI了，如果还没安装过的朋友，建议去AutoDL上租一个服务器体验下，方便不贵，选择A5000规格的就差不多了，安装教程网上应该挺多的，这里就不啰嗦了，还不会的可以联系我。

关于SadTalker插件的安装方法我这里介绍两种。

安装方法一

适合访问Github或者外网比较顺畅的用户，因为需要自动下载很多东西。

在SD WebUI中通过扩展插件页面安装，如下图所示：

这个插件需要下载的文件很多，有的文件还比较大，请耐心等待。如果不确定是不是出问题了，可以看看控制台输出的内容，有没有错误。

安装完了，不要忘了重启Stable Diffusion，要整个重启，不要只重启WebUI。

安装方法二

适合访问外网不太方便的用户，把这个插件需要的文件通过别的方式提前下载好，比如迅雷下载，只要上传到指定的目录就行了。

  • 主程序：

放到 stable-diffusion-webui/extensions/SadTalker

github.com/OpenTalker/…

  • 视频模型：

放到 stable-diffusion-webui/extensions/SadTalker/checkpoints

github.com/OpenTalker/…

github.com/OpenTalker/…

github.com/OpenTalker/…

github.com/OpenTalker/…

  • 修脸模型：

放到 stable-diffusion-webui/extensions/SadTalker/gfpgan/weights 和 stable-diffusion-webui/models/GFPGAN

github.com/xinntao/fac…

github.com/xinntao/fac…

github.com/TencentARC/…

github.com/xinntao/fac…

为了方便使用这种方式部署，我也把相关的文件做了一个打包，大家不用一个一个下载。关注/公/众/号：萤火遛AI，发消息：数字人，即可获得下载地址。

（1）首先把文件下载到本地或者你的云环境，这里以AutoDL为例，我把它放到 /root 目录中。

（2）然后解压文件到 stable diffusion webui的扩展目录，并拷贝几个文件到SD模型目录：

tar -xvf /root/SadTalker.tar -C /root/stable-diffusion-webui/extensions
cp -r /root/stable-diffusion-webui/extensions/SadTalker/gfpgan/weights/* /root/stable-diffusion-webui/models/GFPGAN/

看到下边的结果，就基本上差不多了。

扩展目录下边有这个文件夹：

SD models 目录下有这几个文件：

部署完毕，不要忘了重启。

使用方法

在SD WebUI的Tab菜单中找到SadTalker，按照下边的顺序进行设置。

1、上传人物照片。

2、上传语音文件。

3、选择视频人物的姿势：实际就是人说话时头部的动作，个人感觉有点摇头晃脑，可以使用不同的数字看看。

4、分辨率：512的视频分辨率比256大。

5、图片处理方法：corp是从图片截取头部做视频，resize适合大头照或者证件照，full就是全身照做视频，extcorp和extfull没做细致研究，大家自己对比下。

6、Still Model：让头部不要动作太大，以致偏离身体，负面效果是头不怎么动了。

7、GFPGAN：修脸，说话时嘴和眼的动作可能让脸有些变形，选上他让脸部好看一些。

最后点击“生成”，根据硬件的运行速度和你的勾选设置，可能需要几分钟的时间，耐心等待。

我这里生成的视频（视频太占地，截个图算了)：

图片

可能遇到的问题

(1) 启动的时候报错：SadTalker will not support download…

这个错误就是模型下载不下来，告诉我们要去手动下载。

这里有两个方法：

  • 执行下边的命令触发下载，注意 cd 之后的路径替换成你自己的SadTalker安装路径：
cd stable-diffusion-webui/extensions/SadTalker
chmod 755 scripts/download_models.sh
scripts/download_models.sh
  • 下载所有的模版，然后手工上传到相关目录，上边安装方法二中已经介绍过，可以使用我打包好的文件包。

(2) 合成视频时报错：No module named ‘xxx’

使用 pip install xxx 就可以了，注意如果使用了python虚拟环境，需要先激活它，比如这里要先执行source xxx。

source /root/stable-diffusion-webui/venv/bin/activate
pip install librosa

（3）合成视频时报错：No such file or directory: ‘/tmp/gradio/xxx’，创建目录就可以了：

mkdir -p /tmp/gradio

（4）如果提示找不到 ffmpeg，我这里没遇到，如果出现请先下载安装：ffmpeg.org/download.ht…

以上就是本文的主要内容了，使用这种方法就可以无限制作自己的AI专属数字人，想要什么样的风格都可以，想做多少个都可以，有兴趣的快去试试吧。

注意要遵纪守法，不要搞出事情来。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1529674.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Linux TCP参数——tcp_allowed_congestion_control

Linux TCP参数——tcp_allowed_congestion_control

tcp_allowed_congestion_control 设置允许普通进程使用的拥塞控制算法。这个参数的值阈是tcp_available_congestion_control参数的子集。默认值为"reno"加上tcp_congestion_control参数设置的算法。 reno 慢启动阶段：在开始的时候，cwnd按指数…
阅读更多...
创建自己的“百度网盘”（部署owncloud）

创建自己的“百度网盘”（部署owncloud）

[rootlocalhost html]# cd /root/[rootlocalhost ~]# wget https://download.com/server/stable/owncloud-10.12.0.zip --no-check-certificate #下载当前的owncloud代码包[rootlocalhost ~]# yum -y install unzip #安装解压工具[rootlocalhost ~]# unzip owncloud-10.12.0.zi…
阅读更多...
BetterDisplay Pro for Mac(显示器校准软件) v2.0.11激活版

BetterDisplay Pro for Mac(显示器校准软件) v2.0.11激活版

BetterDisplay Pro是一款由waydabber开发的Mac平台上的显示器校准软件，可以帮助用户调整显示器的颜色和亮度，以获得更加真实、清晰和舒适的视觉体验。 软件下载：BetterDisplay Pro for Mac v2.0.11激活版 以下是BetterDisplay Pro的主要特点&…
阅读更多...
【数据分析可视化】动态生成柱状图

【数据分析可视化】动态生成柱状图

import pandas as pd import matplotlib.pyplot as plt import matplotlib.ticker as ticker from matplotlib.animation import FuncAnimation import matplotlib.patches as mpatches from matplotlib.animation import FFMpegWriter# 定义一个函数，用于生成…
阅读更多...
开源模型应用落地-安全合规篇-模型输出合规性检测（三）

开源模型应用落地-安全合规篇-模型输出合规性检测（三）

一、前言 为什么我们需要花大力气对用户输入的内容和模型生成的输出进行合规性检测，一方面是严格遵守各项法规要求，具体如下：互联网信息服务深度合成管理规定https://www.gov.cn/zhengce/zhengceku/2022-12/12/content_5731431.htm ​ 其次，受限于模型本身的一些缺陷，…
阅读更多...
智能合约 之 ERC-20介绍

智能合约 之 ERC-20介绍

什么是ERC20 ERC20全称为Ethereum Request for Comment 20，是一种智能合约标准，用于以太坊网络上的代币发行 姊妹篇 - 如何部署ERC20 ERC20的应用场景 代币化资产，例如：USDT 是一种以美元为背书的ERC20代币，每个USDT代…
阅读更多...
Unity 实现双屏或多屏内容展示

Unity 实现双屏或多屏内容展示

在某些应用场景，一个应用可能需要使用多个显示器显示。 Unity支持最多8个不同显示器同时显示应用程序中八个摄像头的视图，如下图： 具体实现如下： 1、在Hiearchy面板上点击鼠标右键->Camera,创建多一个Camera,如图&#xff1a…
阅读更多...
Android Studio Gradle设置查看全部task

Android Studio Gradle设置查看全部task

如果你在 Android Studio 的 Gradle 窗口中看不到所有的任务，你可以尝试以下步骤来解决这个问题 android studio 版本： Android Studio Iguana | 2023.2.1 Build #AI-232.10227.8.2321.11479570, built on February 22, 2024 打开 Android Studio 的设置…
阅读更多...
深入探讨Python中的文件操作与文件IO操作【第141篇—Python实现】

深入探讨Python中的文件操作与文件IO操作【第141篇—Python实现】

👽发现宝藏 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 深入探讨Python中的文件操作与文件IO操作 在Python编程中，文件操作和文件IO操作…
阅读更多...
maven手动上传的第三方包 打包项目报错 Could not find xxx in central 解决办法

maven手动上传的第三方包 打包项目报错 Could not find xxx in central 解决办法

背景: 在Maven私服手动上传了第三方的jar包, 只有jar包, 没有pom文件, 项目在ide中可以正常编译启动,但打包报错无法找到jar包 解决办法: 上传jar包的时候, 点击生成pom. 则打包的时候不会报错
阅读更多...
RHCE——三：Web服务器(内网穿透实验）

RHCE——三：Web服务器(内网穿透实验）

RHCE—第三天：Web服务器 一、WWW简介1、常见Web服务程序介绍：2、服务器主机3、主要数据4、浏览器5、网址及HTTP简介URL 二、部署Nginx1、常用命令systemctl系列nginx自带命令nginx配置文件 2、实验操作实验1（ 快速搭建网站）实验2&…
阅读更多...
OCP NVME SSD规范解读-13.Self-test自检要求

OCP NVME SSD规范解读-13.Self-test自检要求

4.10节Device Self-test Requirements详细描述了数据中心NVMe SSD自检的要求，这一部分规范了设备自身进行各种健康检查和故障检测的过程。自检对于确保SSD的正常运行和提前预防潜在故障至关重要。 在进行设备自检时，设备应当确保不对用户数据造成破坏&am…
阅读更多...
python字典：打印字典中的键、值、打印所有字典、python遍历字典

python字典：打印字典中的键、值、打印所有字典、python遍历字典

1.定义 字典以花括号（{}）括起来，里面的元素是成对出现的，不同对元素用逗号（,）分开；一对元素用 冒号（：）分割。 2.解读 字典里的每一对元素准确的来说是键值对&…
阅读更多...
架起桥梁，畅享流通：如何使用私有Registry实现镜像跨源同步与管理

架起桥梁，畅享流通：如何使用私有Registry实现镜像跨源同步与管理

在Docker容器化世界中，镜像作为构建和运行应用的基础单元，其管理与分发对于企业级应用至关重要。私有Registry作为存储和管理Docker镜像的中心仓库，不仅可以保障企业数据的安全性，更能通过镜像同步功能实现跨源镜像的统一管理和高…
阅读更多...
三维指静脉生物识别成像设备设计和多视图验证研究

三维指静脉生物识别成像设备设计和多视图验证研究

文章目录 三维指静脉生物识别成像设备设计和多视图验证研究总结摘要介绍多视角指静脉识别模型结构内容特征编码Transformer(CFET)主导特征选择模块(DFSM) 实验和结果数据集实施细节视角研究池化层的作用消融实验和SOTA方法比较 论文: Study of 3D Finger Vein Biometrics on I…
阅读更多...
金蝶云星空——插件dll重新发布报错：鏃犳硶鏄剧ず椤甸潰锛屽洜涓哄彂鐢熷唴閮ㄦ湇鍔″櫒閿欒銆�

金蝶云星空——插件dll重新发布报错：鏃犳硶鏄剧ず椤甸潰锛屽洜涓哄彂鐢熷唴閮ㄦ湇鍔″櫒閿欒銆�

项目场景： 金蝶插件开发 问题描述 今天更新了插件dll然后重启IIS金蝶就报如下错误： 解决方案： 折腾了一天结果发现是给自己挖坑了，这次更新我担心插件代码有问题就把原dll重命名了然后把最新dll更新到金蝶bin文件中&#xff0c…
阅读更多...
QT-绘制动态曲线

QT-绘制动态曲线

QT-绘制动态曲线 pro文件中添加chart 在串口工程中添加控件 将控件功能提升为QChartView 点击添加 添加相关的头文件和变量
阅读更多...
【CSS练习】万年历 html+css+js

【CSS练习】万年历 html+css+js

效果图 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><title>Document</title><style>bod…
阅读更多...
蓝桥杯决赛2023 RE CyberChef2

蓝桥杯决赛2023 RE CyberChef2

思路很清晰&#xff0c;爆IV 各种格式转换和删除padding非常麻烦&#xff0c;不过终于还是调出来了 #Cyber2 wp from Crypto.Cipher import DES, AES from Crypto.Util.Padding import pad, unpad key_des b0a0b0c0d cipher bytes.fromhex("416935cabeb8e30cd9b56d…
阅读更多...
day0 3r文档docker部署

day0 3r文档docker部署

3R编码 | 3R教室 - 最好的数字游民学习与交流俱乐部! (3rcd.com) window安装wsl下载不下来&#xff0c;正好有个服务器&#xff0c;就用linux吧密钥长度不匹配&#xff0c;设置一下长度即可 文档启动不成功&#xff0c;单独下载了下nginx&#xff0c;docker pull nginx:latest …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023