前言
考虑到文生视频开始爆发，比如
- 今年，作为最早探索视频生成领域的领头羊之一，Runway 先后发布Gen-1、Gen-2 模型(runway也是Stable Diffusion 开发商之一)，特别是Gen-2带来了电影级别的高清晰度，令人瞩目，并称视频生成的一致性得到了重大改进
但是，这种一致性的提升似乎是以牺牲视频动态性为代价的。从 Gen-2 的官方宣传视频中可以看出，尽管集合了多个短片段，但每个片段的动态性相对较弱，难以捕捉到人物、动物或物体的清晰动作和运动 - 近期，Meta 也发布了视频生成模型 Emu Video。从 Emu Video 的官方示例中可以看出，其视频的动态性比 Gen-2 有明显提高，但仍然局限于较为简单的动作
- 和runway合作开发出了 Stable Diffusion 的公司 Stability.ai，也于近日发布了开源视频生成模型 Stable Video Diffusion (SVD)
SVD 效果能和 Gen-2 相当，通过测试样例能看出 SVD 生成的视频也相对缺少动态性
加之不止一个B端客户找到七月，希望帮其做文生视频的应用，故我司第一项目组准备在AIGC模特之后，做文生视频项目，最终把文生3D、文生数字人都串起来
当然，我司还是三大项目组
- 除了已经对外发布的AIGC模特生成系统外，文生图 视频 3D 数字人，都在第一项目组
- 论文审稿GPT(目前正在迭代第二版)，包括后续的AI agent商用项目，在第二项目组
- 企业多文档的知识库问答(目前正在解决各种已知问题中)，则在第三项目组
第一部分 文生视频的iPhone时刻：Runway先后发布Gen-1、Gen-2
1.1 Runway发布首个AI编辑模型Gen-1
在今年2月，Runway就提出了首个AI编辑模型Gen-1， Gen-1对应的论文为：Structure and Content-Guided Video Synthesis with Diffusion Models，顺带说一嘴，有的文章会把这篇论文混淆成Gen2的论文，但实际上，runway只对外发布了Gen-1的论文，2的论文还没对外发，大家注意
顾名思义，Gen-1可以在原视频的基础上，编辑出咱们想要的视频。无论是粗糙的3D动画，还是用手机拍出来的摇摇晃晃的视频，Gen-1都可以升级出一个不可思议的效果
比如用几个包装盒，Gen-1就可以生成一个工厂的视频，化腐朽为神奇，就是这么简单
1.2 Gen-2获得了史诗级的升级——可以从头开始生成视频
而相比Gen-1，Gen-2获得了史诗级的升级——可以从头开始生成视频。如果说去年发布的stable diffusion/midjourney是文生图的代表，那今年Runway发布的Gen2便是文生视频的第一个代表
这是runway对Gen-2介绍的页面：https://research.runwayml.com/gen2
1.2.1 基于Gen-2生成视频的8种模式
- Text to Video
- Text + Image to Video
- Image to Video
- Stylization
- Storyboard
- Mask
- Render
- Customization
// 待更
第二部分 Stable Video Diffusion (SVD)
// 待更
第三部分 PixelDance
上述示例表明，生成有高度一致性且有丰富动态性的视频，让视频内容真正地动起来，是目前视频生成领域中的最大挑战。
在这方面，最新的研究成果 PixelDance 迈出了关键性的一步，其生成结果的动态性显著优于目前现有的其它模型，引起了业界的关注。
3.1 PixelDance的两种视频生成模式
在官网（https://makepixelsdance.github.io）中，PixelDance 给出了两种不同的视频生成模式。
- 第一种是基础模式（Basic Mode），用户只需要提供一张指导图片+文本描述，PixelDance 就可以生成有高度一致性且有丰富动态性的视频，其中指导图片可以是真实图片，也可以利用现有的文生图模型生成。
从展示的结果来看，真实风格、动画风格、二次元风格、魔幻风格，PixelDance 通通都可以解决，人物动作、脸部表情、相机视角控制、特效动作，Pixeldance 也都可以很好的完成
- 第二种是高级魔法模式（Magic Mode），给了用户更多发挥想象力和创造力的空间。在这种模式下，用户需要提供两张指导图片+文本描述，可以更好地生成更有难度的各种炫酷特效镜头
除此之外，官网还展示了完全使用 PixelDance 制作的 3 分钟故事短片：非常震撼的一点是，使用 PixelDance 能按照用户预想的一个故事，制作每一个场景和对应的动作。不管是真实场景（如埃及、长城等），还是虚幻场景（如外星球），PixelDance 都能生成细节丰富、动作丰富的视频，甚至各种特效镜头也不在话下
并且，主人公北极熊先生的黑色礼帽和红色领结形象，在不同的场景中都得到了很好的保持。长视频生成再也不是简单的拼凑弱相关的短视频片段了
而达到这样拔群的视频生成效果，并没有依赖复杂的数据集和大规模的模型训练，PixelDance 在公开的 WebVid-10M 数据集上仅用 1.5B 大小的模型就达到了上述效果。
3.2 论文解读：Make Pixels Dance: High-Dynamic Video Generation
在相应的论文《Make Pixels Dance: High-Dynamic Video Generation》中(论文地址：https://arxiv.org/abs/2311.10982，demo 地址：https://makepixelsdance.github.io)，作者指出了视频生成难以做出好效果的原因：相比于图片生成，视频生成具有特征空间显著更大、动作多样性显著更强的特点。这就导致了现有的视频生成方法难以学到有效的时域动作信息，生成的视频虽然图片质量较高，但动态性非常有限。
如国内媒体机器之心所说，针对上述问题，PixelDance 提出了基于文本指导 + 首尾帧图片指导的视频生成方法，使得模型更充分地关注和学习视频的动态信息。
其中，首帧图片指导为整个视频内容提供了框架和素材。此外，通过将上一个视频片段的尾帧拿来作为下一个视频片段的首帧指导，可以生成更长的视频。文本描述提供了对视频动作的描述。尾帧图片指导为视频生成过程提供了结束状态的信息。作者提出了适配的方法，使得模型能接收比较粗糙的图片作为指导，这使得用户可以使用基本的图片编辑工具获得尾帧图片指导。
官网的信息显示，目前还在积极地迭代模型效果中，未来 2-3 个月内就会放出人人可以试用的模型。目前，作者也提供了途径支持大家发送想要测试的样例，目前官网中已经放出了一些用户的测试样例：
如此看来，有了 PixelDance，只要有天马行空的想象力，人人都可以成为「百万特效大师」
// 待更
参考文献
- 视频生成新突破：PixelDance，轻松呈现复杂动作与炫酷特效
- ..
