b 站视频合集
【AI+X组队学习】Sora原理与技术实战：Sora技术路径详解
Sora 技术报告（OpenAI）
huggingsd 文生图视频系列的一个开源项目
最强视频生成模型Sora相关技术解析

惊艳效果：

• 长视频
• 高清
• 视频融合能力
• 同一场景的多角度/镜头的生成能力

TeText-to-video: 文生视频
Image-to-video: 图生视频
Video-to-video: 改变源视频风格or场景
Extending video in time: 视频拓展(前后双向)
Create seamless loops: Tiled videos that seem like they never endImage generation: 图片生成 (size最高达到 2048 x 2048)
Generate video in any foformat: From 1920 x 1080 to 1080 x 1920 视频输出比例自定义
Simulate virtual worlds: 链接虚拟世界，游戏视频场景生成Create a video: 长达60s的视频并保持人物、场景一致性

要做世界模拟器。

DDPM 扩散模型
ViT 把完整的图片 Patch 化，把单个图片的patch 序列化。

为了处理视频，提出了 ViViT,用 Transformers 来处理视频的一个模型.

包含时空信息的patch。
如何进行样本取样？

Sora， 通过 patch，预测下一个patch，构建一个自回归的方式来进行的。而不是之前那种预测关键帧，插帧的方式。
DALLE 2 也是通过文本的方式。