在线教程丨与 Sora 技术路线相似！全球首个开源文生视频 DiT 模型 Latte 一键部署

news2024/11/20 1:22:31

自OpenAI推出 Sora 以来，「文生视频」概念及相关应用备受瞩目。而伴随 Sora 的大热，其背后的关键技术，DiT(Diffusion Transformers) 也被「考古挖掘」了出来。

事实上，DiT 是一个文生图模型，该模型于两年前开源，其研发人员分别是 Peebles 和谢赛宁，其中 Peebles 也是 Sora 的项目领导者之一。

在 DiT 模型提出之前，Transformer 以其强大的特征提取和上下文理解能力，几乎在自然语言处理领域独霸一方。而 U-Net 则以其独特架构和优越的性能，在图像生成和扩散模型领域占据主导地位。DiT 最大的特点是把扩散模型里的 U-Net 架构换成了 Transformer 架构。 有趣的是，这项工作成果在 2023 年曾被 CVPR 拒稿，理由是缺乏创新点。

与 U-Net 相比，Transformer 具有更好的拓展性，它能够学习全局依赖关系，通过自注意力机制 (Self-Attention Mechanism) 处理序列数据中的长距离依赖问题，在处理图像全局特征方面有很大的优势。此外，基于 Transformer 架构的 DiT 在计算效率和生成效果上也有明显的提升，进一步推动了图像生成的规模化应用。

然而，由于视频数据的高度结构化与复杂性，如何将 DiT 扩展到视频生成领域却是一个挑战。对此，来自上海人工智能实验室的研究团队在 2023 年底便开源了全球首个文生视频 DiT：Latte。作为一款与 Sora 技术相似的自研模型，Latte 可以自由部署， 对于想要探索文生视频技术的小伙伴来说，开源的 Latte 无疑为大家提供了实践的机会。

Latte 模型结构及其四种变体 (a, b, c, d)

首先，Latte 通过预训练的变分自编码器 (VAE) 将输入视频编码为潜在空间中的特征，并从中提取出 Tokens 。接着，利用上述某种变体中对应的 Transformer 结构对这些 Tokens 进行编码和解码。在生成过程，模型会依据学习到的反向扩散过程，在潜在空间中逐步还原出低噪声的视频帧表示，并最终重构为连续、逼真的视频内容。

值得注意的是，Latte 的背后的研发团队上海人工智能实验室曾联合中央广播电视总台，共同推出了首部中国原创文生视频 AI 系列动画《千秋诗颂》，并在 CCTV-1 综合频道上播出。 业内人士分析，随着国内首部 AI 动画的开播，我国文生视频应用的落地有望加速，未来可能会重新塑造影视行业的制作流程，推动影视动画制作、游戏开发和广告设计的革命性发展。

小编用文本「a dog with sunglasses」生成了一个戴墨镜的小狗视频，还挺帅气的！

动图封面