论文总结：EXPRESSIVE SPEECH-DRIVEN FACIAL ANIMATION WITH CONTROLLABLE EMOTIONS

news2024/12/23 20:46:52

存在的问题：现有的语音驱动面部动画方法可以产生令人满意的嘴部运动和嘴唇同步，但在情感表达和情感控制方面存在不足。
在这里插入图片描述
作者使用wav2vec2.0和transformer encoder来获取文本向量和全局风格向量。将其拼接起来通过Auido2FLAME模块来预测flame的参数，Auido2FLAME由多层CNN组成。在此阶段，将主要关注嘴唇同步，并确保嘴部运动的精确性。引入了一个情感控制模块，其中包括一个基于双 LSTM 的情感预测器，后跟一个嵌入层来生成情感相关的潜在特征，以及一个基于 CNN 的情感增强网络来增强 FLAME 参数的表达能力基于情感特征。
在这里插入图片描述

Emotion Control Module：在训练阶段，为了使网络看到输入中的情感变化，我们利用基于图像的情感识别模型来获取帧级情感信息作为情感先验，以方便模型训练。这个作者使用DAN来获取情感先验。作者使用最后一个softmax层之前的logits（包含快乐、愤怒等七种情绪的七维向量）与感知的情绪强度高度一致，所以将其作为情感先验。通过最大化音频和视频之间的互信息（mutual information）(互信息用于衡量两个随机变量之间的相关性，这里用来衡量音频和视频中的情感信息之间的关联)来训练双向LSTM，从而提高情感识别的性能。在生成阶段，通过bi-LSTM网络从音频中提取情感先验，并通过用户输入的情感类别和强度进行更改。用户提供的情感条件转化为一个独热向量（one-ho

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1119603.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！