字节跳动开源基于SD1.5的 MagicAnimate 一张照片秒变真人舞蹈视频

news2025/1/11 20:57:57

项目地址：https://github.com/magic-research/magic-animate

显卡要求：12G

MagicAnimate是一项利用先进的扩散模型实现人体图像动画的创新性项目。其核心优势在于确保生成内容的时间一致性，通过提供预训练的稳定扩散V1.5和MSE微调的VAE基础模型，使用户能够轻松入门。

使用MagicAnimate只需要一张照片和一组动作。用户可以选择一张喜欢的小姐姐的照片，然后通过输入一组动作，让AI根据这些信息生成一个舞蹈视频。这个舞蹈视频看起来非常逼真，几乎可以让人误以为是真实人物在跳舞。

为使用MagicAnimate，用户需下载稳定扩散V1.5和MSE微调的VAE预训练基模型，并按照提供的结构组织检查点。安装简便，仅需Python（3.8以上版本）、CUDA(11.3以上版本)和FFmpeg。可通过conda或pip安装依赖项。

推理过程:

MagicAnimate提供了用户友好的推理过程。用户可通过提供的bash脚本在单个GPU上运行推理，或使用另一个脚本在多个GPU上运行，以优化性能。这种简便的推理方式确保了从初学者到经验丰富的研究人员的广泛可访问性。

前几日，阿里研究团队构建了一种名为 Animate Anyone 的方法，只需要一张人物照片，再配合骨骼动画引导，就能生成自然的动画视频。不过，这项研究的源代码还没有发布。

让钢铁侠动起来。

其实在 Animate Anyone 这篇论文出现在 arXiv 上的前一天，新加坡国立大学 Show 实验室和字节联合做了一项类似的研究。他们提出了一个基于扩散的框架 MagicAnimate，旨在增强时间一致性、忠实地保留参考图像并提升动画保真度。并且，MagicAnimate 项目是开源的，目前推理代码和 gradio 在线 demo 已经发布。

论文地址：https://arxiv.org/pdf/2311.16498.pdf
项目地址：https://showlab.github.io/magicanimate/
GitHub 地址：https://github.com/magic-research/magic-animate

为了实现上述目标，研究者首先开发了一个视频扩散模型来编码时间信息。接着为了保持跨帧的外观连贯性，他们引入了新颖的外观编码器来保留参考图像的复杂细节。利用这两个创新，研究者进一步使用简单的视频融合技术来保证长视频动画的平滑过渡。

实验结果表明，MagicAnimate 在两项基准测试上均优于基线方法。尤其在具有挑战性的 TikTok 跳舞数据集上，本文方法在视频保真度方面比最强基线方法高出 38％以上。

我们来看以下几个 TikTok 小姐姐的动态展示效果。

除了跳舞的 TikTok 小姐姐之外，还有「跑起来」的神奇女侠。

戴珍珠耳环的少女、蒙娜丽莎都做起了瑜伽。

除了单人，多人跳舞也能搞定。

与其他方法比较，效果高下立判。

还有国外网友在HuggingFace上创建了一个试用空间，创建一个动画视频只要几分钟。不过这个网站已经404了。

图源：https://twitter.com/gijigae/status/1731832513595953365

接下来介绍 MagicAnimate 的方法和实验结果。

方法概览

给定参考图像 I_ref 和运动序列

，其中 N 是帧数。MagicAnimate 旨在合成连续视频

。其中出现画面 I_ref，同时遵循运动序列

。现有基于扩散模型的框架独立处理每个帧，忽略了帧之间的时间一致性，从而导致生成的动画存在「闪烁」问题。

为了解决该问题，该研究通过将时间注意力（temporal attention）块合并到扩散主干网络中，来构建用于时间建模的视频扩散模型

。

此外，现有工作使用 CLIP 编码器对参考图像进行编码，但该研究认为这种方法无法捕获复杂细节。因此，该研究提出了一种新型外观编码器（appearance encoder）

，将 I_ref 编码到外观嵌入 y_a 中，并以此为基础对模型进行调整。

MagicAnimate 的整体流程如下图 2 所示，首先使用外观编码器将参考图像嵌入到外观嵌入中，然后再将目标姿态序列传递到姿态 ControlNet

中，以提取运动条件

。

在实践中，由于内存限制，MagicAnimate 以分段的方式处理整个视频。得益于时间建模和强大的外观编码，MagicAnimate 可以在很大程度上保持片段之间的时间和外观一致性。但各部分之间仍然存在细微的不连续性，为了缓解这种情况，研究团队利用简单的视频融合方法来提高过渡平滑度。

如图 2 所示，MagicAnimate 将整个视频分解为重叠的片段，并简单地对重叠帧的预测进行平均。最后，该研究还引入图像 - 视频联合训练策略，以进一步增强参考图像保留能力和单帧保真度。

实验及结果

实验部分，研究者在两个数据集评估了 MagicAnimate 的性能，分别是 TikTok 和 TED-talks。其中 TikTok 数据集包含了 350 个跳舞视频，TED-talks 包含 1,203 个提取自 YouTube 上 TED 演讲视频的片段。

首先看定量结果。下表 1 展示了两个数据集上 MagicAnimate 与基线方法的定量结果比较，其中表 1a 显示在 TikTok 数据集上，本文方法在 L1、PSNR、SSIM 和 LPIPS 等重建指标上超越了所有基线方法。

表 1b 显示在 TED-talks 数据集上，MagicAnimate 在视频保真度方面也更好，取得了最好的 FID-VID 分数（19.00）和 FVD 分数（131.51）。

再看定性结果。研究者在下图 3 展示了 MagicAnimate 与其他基线方法的定性比较。本文方法实现了更好的保真度，展现了更强的背景保留能力，这要归功于从参考图像中提取细节信息的外观编码器。

研究者还评估了 MagicAnimate 的跨身份动画（Cross-identity animation），以及与 SOTA 基线方法的比较，即 DisCo 和 MRAA。具体来讲，他们从 TikTok 测试集中采样了两个 DensePose 运动序列，并使用这些序列对其他视频的参考图像进行动画处理。

下图 1 显示出 MRAA 无法泛化到包含大量不同姿态的驱动视频，而 DisCo 难以保留参考图像的细节。相比之下，本文方法忠实地为给定目标运动的参考图像设置动画，展示了其稳健性。