openai 12天的发布会
remix:对视频处理
可以改变视频的元素和内容,打开一扇门的例子(打开门是太空,打开门是丛林)
recut:重新生成或者重新剪辑,给一个视频前后做扩展
storyboard:可以对每一帧进行剪辑和生成新的
loop:视频头尾剪辑生成一个无限循环的视频,不停翻卷的海浪
blend:合并两个视频,视频转换很自然,比如雪花变成树叶
style preset:定义一个style,能把视频都变成这个style.以前可能每个style都要训练一个模型,现在只需要给出prompt,就可以得到想要的效果,简化了视频制作的速度
sora价格 20刀每个月50个视频和200刀每个月500个视频(不在意时间的时候,可以无限生成视频)
快手的可灵kling反响也不错
meta10月份也放了movie gen的论文,腾讯12月出了混元video论文内容非常详实,效果也都不错
12.9 sora才来,一周之后google 出了自家的Veo2视频生成模型,反响也很好。
Veo2(deepmind.google/technologies/veo/veo-2/)
Pika runway 即梦 minimax视频生成 混元
=================
(openai.com/index/sora-system-card/)中:
所有的东西都变成token然后输入到模型,这样就比较容易训练了。对于视频,是把视频patches先放到一个压缩成低维度latent space,然后在latent space中,把表示成时空的patches.
sora大概用了三种数据,一个是公开的数据,一个是通过合作伙伴得到的私有数据,一个是内部使用的数据。
=================
meta:movie gen2024.10是一系列底座模型用来生成高质量的视频,可以和音频同步。基于用户做成personalized video.多个模型创新和简化.首先看下数据,他们用的数据对于video来说是1一亿左右的量级,对于图像来说更多。原始数据是4s到2min,数据各种各样,有人和自然。经过clip-prompt后得到4s-16s长,这样比较好。图9中有数据清洗的详细过程。视频的分辨率过滤,长视频或者宽视频比例等