安全验证 - 知乎知乎,中文互联网高质量的问答社区和创作者聚集的原创内容平台,于 2011 年 1 月正式上线,以「让人们更好的分享知识、经验和见解,找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容,聚集了中文互联网科技、商业、影视、时尚、文化等领域最具创造力的人群,已成为综合性、全品类、在诸多领域具有关键影响力的知识分享社区和创作者聚集的原创内容平台,建立起了以社区驱动的内容变现商业模式。https://zhuanlan.zhihu.com/p/665898585数字人可分为3D和2D,3D比较出名的是虚幻引擎的meta human,背后的技术涉及blendshape,类似sadtalker,wav2lip属于2d,根据输入的不同,进一步分为视频+音频,wav2lip和geneface,只生成新的口型,另一类是输入是图片+音频,sadtalker属于这一类,不仅生成新的口型,还生成头部运动,复杂度较高。本文主要介绍口型生成,唇形驱动的方法。
1.wav2lip
2.DINet
3.MuseTalk
4.Diffused heads
5.DiffTalk
6.TalkLip
7.GeneFace++
8. IP_LAP
9.HyperLips
10.video retalking
11.ER_NeRF
12.RADNerf
13.SyncTalk
14.FaceChain-ImageineID