数字人已不是什么新鲜名词了。在许多领域,尤其是媒体和娱乐领域,经常可以看到卡通形象的人物或逼真的虚拟主持人。在Stable Diffusion中,我们可以上传一段录制好的音频文件,然后使用SadTalker插件,将音频和图片相结合,让图片上的角色开口说话。
在 WebUI中单击 “SadTalker”选项卡,在 “上传图像”窗口中上传角色图片,在“上传音频或TTS”窗口中上传音频文件,如图所示。
在右侧的“设置”窗口中选择脸部模型的分辨率,勾选“使用GFPGAN增强面部” 复选框,然后单击“生成”按钮,如图所示。
提 示:
上传的音频时 长决定了生成视频的时长,在 绘世启动器进程窗口的底部可 以查看生成进度。
视频生成完毕后,我们可以在下方的窗口中预览视频效果。单击WebUI上方的“设 置”选项卡,在左侧的列表中单击“SadTalker”,就能看到视频文件的输出路径,如图所示。
相对于其他插件来说 , SadTalker的配置较为复杂。如果配 置出现问题导致在输出路径中找不到 视频文件,则可以单击预览窗口右上 角的 按钮手动保存处理好的视频文 件,如图所示。
在“预处理”选项组中有5 个选项,其中“裁剪”和“裁剪 后扩展”选项会把上传的原图裁 剪成只留下角色的面部,让头部 运动看起来更加自然,如图所示。
“完整”选项不对参考图进行裁 剪,因此当角色的头部运动较大时, 可能出现脖子区域撕裂的问题。此时 需要勾选“静止模式”复选框,以 减少角色的头部运动。“缩放”选项 让参考图的背景和角色的身体产生缩 放和平移运动,脖子区域的撕裂问题 仍然存在,并且运动的效果也不够自 然。另外,选择“填充至完整”选项 会用参考图填充头部以外的区域,但 如果参考图的宽高比不是1:1,可能会出现严重的画面撕裂,如图所示。
本期内容就到此啦,下期讲解如何快速打造瞬息全宇宙,关注我不迷路,有机会白嫖书籍哦!
本文摘自《解密AI绘画与修图:Stable Diffusion+Photoshop》,获出版社和作者授权发布。
解密AI绘画与修图:Stable Diffusion+Photoshop——jd