Google重磅发布视频生成模型Lumiere 据说后续会开源
亮点1.支持文本到视频与图像到视频
亮点2.画风迁移
亮点3.运动蒙版
亮点4.视频编辑
亮点5.视频修复


谷歌视频模型可以生成80帧的片段！不仅画质好、质量高，而且时长更长。

视频局部编辑

这项功能可以让剪辑师快速针对视频画面当中的物体进行替换。

视频画面修复

除了修改画面的内容，甚至还可以针对损失局部画面的视频进行填充修补。

文本生成视频

除了视频编辑功能，谷歌Lumiere自然也支持从文本生成视频片段

图像生成视频

谷歌Lumiere另外一个非常好用的功能，便是将静态图像转换为动态视频。
输入提示词「姑娘微笑和眨眼」😉，戴珍珠耳环的少女从名画中走出，咧嘴笑了起来。
梵高《星空》，以令人不可思议的方式流动起来。

图像风格化迁移生成视频

除了一般的“图生视频”，谷歌Lumiere模型还能根据参考图生成特定风格的动态艺术视频。
比如，传一张夜光蘑菇图🍄，生成各种散发荧光的动物。

运动笔刷

随意选中静态图当中的某个对象，让它立即动起来。

全新UNet架构带来的突破

谷歌的这个新架构则是让AI先掌握物体的运动逻辑。采用这种方法，能够以16FPS生成80帧的连贯动画,产生了更多的全局连贯运动。

具体可以在他们官网上了解详情

https://lumiere-video.github.io/