【AIGC数字人】EchoMimic:基于可编辑关键点条件的类人音频驱动肖像动画

GitHub：https://github.com/BadToBest/EchoMimic

论文： https://arxiv.org/pdf/2407.08136

comfyui： https://github.com/smthemex/ComfyUI_EchoMimic

方法

网络结构

Echomimic的基础成分是Denoising UNet，为了网络吸收多样化输入的能力，Echomimic集成了三个模块：Reference UNet用于编码参考图片；Landmark Encoder用于使用脸部关键点引导网络；Audio Encoder用于编码声音输入。

Denoising UNet

去噪 U-Net 旨在增强在不同条件下由噪声破坏的多帧潜在表示，从完善的 SDv1.5 架构中汲取灵感，并在每个 Transformer 中加入三个不同的注意力层.最初的参考注意层促进了对当前帧和参考图像之间关系的熟练编码，而第二个音频注意层捕获视觉和音频内容之间的交互，在空间维度上运行。此外，Temporal-Attention 层部署了一种时间自注意力机制来破译连续视频帧之间的复杂时间动态和关系。这些增强对于跨网络的空间和时间关系的细微理解和集成至关重要.

Reference U-Net

参考图像对于在 EchoMimic 框架内保持面部身份和背景一致性至关重要。为了促进这一点，我们引入了专门的模块 Reference U-Net，它反映了 SDv1.5 的架构设计，并与去噪 U-Net 并行运行。在参考 U-Net 的每个 Transformer 块中，自注意力机制用于提取参考图像特征，随后用作去噪 U-Net 中相应 Transformer 块参考注意力层中的键和值输入。参考 U-Net 的唯一函数是对参考图像进行编码，确保没有引入噪声，并且扩散过程中只执行单独的前向传递。此外，为了防止引入无关信息，将空文本占位符输入 ReferenceNet 的交叉注意力层。这种细致的设计确保了参考图像的本质在生成过程中的准确捕获和无缝集成，促进了高保真输出的创建。

Audio Encoder

合成人物的动画主要是由语音中发音和音调的细微差别驱动的。我们通过使用预训练的 Wav2Vec 模型 [17] 的各种处理块连接从输入音频序列中提取的特征来导出相应帧的音频表示嵌入。字符的运动可能会受到未来和过去的音频片段的影响，需要考虑时间上下文。为了解决这个问题，我们通过连接相邻帧的特征来定义每个生成帧的音频特征。随后，我们在去噪 U-Net 中使用 Audio-Attention 层来实现潜在代码和每个参考注意层输出之间的交叉注意机制，有效地将语音特征集成到生成过程中。这确保了合成字符的运动被精细调整到伴随音频的动态微妙之处，从而增强输出的真实感和表现力。

Landmark Encoder

利用每个面部地标图像及其相关目标帧之间的鲁棒空间对应关系，集成了地标编码器在我们的 EchoMimic 框架中。地标编码器，实例化为流线型卷积模型，负责将每个面部地标图像编码为与潜在空间维度对齐的特征表示。随后，编码后的面部地标图像特征在摄取到去噪U-Net之前通过元素相加直接与多帧潜伏期集成。该策略能够无缝地结合精确的空间信息，这对于在生成过程中保持准确的解剖结构和运动至关重要，最终提高输出序列的保真度和连贯性。

Temporal Attention Layer

为了生成时间连贯的视频序列，EchoMimic 结合了时间注意层来编码视频数据中固有的时间动态。这些层通过重塑隐藏状态并沿帧序列的时间轴应用自我注意机制，熟练地捕获连续帧之间的复杂依赖关系。具体来说，给定一个隐藏状态 h ∈ Rb×f ×d×h×w，其中 b、f、d、h 和 w 表示批量大小、帧数、特征维度、高度和宽度。我们的 Temporal Attention 层擅长捕捉连续帧之间的复杂依赖关系。这是通过首先将隐藏状态重塑为 h ∈ R(b×h×w)×f ×d 来实现的，从而能够沿帧序列的时间轴应用自注意力机制。通过这个过程，时间注意层识别和学习细微的运动模式，确保合成帧中的平滑和谐过渡。因此，视频序列表现出高度的时间一致性，反映自然运动和流体运动，提高生成内容的视觉质量和真实性。

Spatial Loss

由于潜在空间的分辨率(512 * 512图像的64 * 64)相对较低，无法捕捉细微的面部细节，因此提出了一种时间步感知的空间损失，直接在像素空间中学习人脸结构。特别是，预测的潜在 zt 首先通过采样器映射到 z0。然后通过将 z0 传递给 vae 解码器来获得预测图像。最后，在预测图像及其对应的基本事实上计算 mse 损失。除了 mse 损失外，还采用了 LPIPS 损失来进一步细化图像的细节。此外，由于模型在时间步长 t 很大时很难收敛，我们提出了一个时间步感知函数来减少目标 t 的权重。详细的目标函数如下所示：

训练细节

我们在之前的工作之后采用了两阶段训练策略。我们提出了包括随机地标选择和音频增强在内的有效技术来促进训练过程。

第一阶段

在第一阶段，参考 unet 和去噪 unet 在单帧数据上进行训练以学习图像-音频和图像-姿势之间的关系。特别是，在阶段1中，时间注意层没有插入到去噪中。

第二阶段

在阶段2中，时间注意层被插入到去噪UNet中。整个管道是在12帧视频上训练的，用于最终的视频生成。只有时间模型的训练，而其他部分在阶段2被冻结。

随机关键点选择

为了实现鲁棒的基于地标的图像驱动，我们提出了一种随机地标选择(RLS)技术。特别是，脸被分成几个部分，包括眉毛、眼睛、瞳孔、鼻子和嘴巴。在训练过程中，我们随机地放弃面部的一个或几个部分。

空间损失和音频增强

在实验中，我们发现两个关键技术可以显著提高生成视频的质量。一是上述提出的空间损失，它迫使扩散模型直接从像素空间学习空间信息。另一种是音频增强，它在原始音频中插入噪声和其他扰动，以实现与图像类似的数据增强。

推理

对于音频驱动的情况，推理过程很简单。而对于姿势驱动或音频+姿势驱动的情况，重要的是根据以前的作品将姿势与参考图像对齐。尽管提出了几种运动对齐技术，但挑战仍然存在。例如，现有的方法通常采用全面透视的翘曲仿射，而忽略了面部部位的匹配。为此，我们提出了一个发展版本的运动校准称为部分感知运动同步。

部分感知运动同步

实验

实验细节

硬件：8个NVIDIA A100GPU。训练分为两个过程，每个过程30000步。这些步骤在批处理大小为4的情况下执行，处理以512 × 512像素的分辨率格式化的视频数据。在第二阶段的训练中，每次迭代生成14个视频帧，将从运动模块导出的潜在变量与最初的2个实际视频帧进行整合，以确保叙事的一致性。在整个训练阶段，始终保持1e-5的学习率。运动模块使用来自Animatediff模型的预训练权重进行初始化，以加快学习过程。为了引入可变性并提高模型的生成能力，在训练过程中以5%的概率随机忽略参考图像、引导音频和运动帧等元素。在推理阶段，系统通过将被噪声干扰的潜在变量与运动模块中前一步最新的2个运动帧提取的特征表示合并来保持序列相干性。这种策略保证了连续视频序列之间的无缝过渡，从而提高了生成视频的整体质量和连续性。

数据

我们从互联网上收集了大约540小时(每个视频片段约15秒长，总计约130,000个视频片段)的说话头视频，并补充了HDTF[26]和CelebV-HQ[27]数据集来训练我们的模型。为了维护严格的训练数据标准，我们实施了细致的数据清理程序。这个过程的重点是保留那些以一个人说话为特征的视频，这些视频在嘴唇运动和伴随的音频之间有很强的相关性，同时丢弃那些有场景过渡、明显的镜头运动、过度表达的面部动作或完全以侧面为导向的观点的视频。我们使用MediaPipe[9]提取训练视频的面部地标。

评估指标

用于评估肖像图像动画方法性能的指标包括FID(初始距离)，FVD(视频距离)，SSIM(结构相似性指数测量)和E-FID(表达-FID)。FID和FVD衡量的是合成图像与实际数据的接近程度，分数越低，表现越逼真。SSIM指数衡量真实视频和生成视频之间的结构相似性。此外，E-FID利用盗梦空间网络的功能来严格评估生成图像的真实性，提供更精细的图像保真度标准。首先，E-FID采用人脸重构方法提取表情参数，详见[2]。然后，计算这些提取参数的FID，定量评估面部表情之间的差异