独家 | Gen-1——可以改变视频风格的AI模型

news2025/1/8 19:55:06

f812cd37779b681c04ad6fc9e78a7681.png

翻译:吴振东校对:张睿毅

本文约1000字,建议阅读3分钟
本文简单介绍了Runway公司的发展史,以及他们新推出的生成式AI模型Gen-1,可用于通过应用文本提示或者参考图像所指定的任意风格,将现有视频转换为新视频。

Runway公司新推出了一款名为Gen-1的模型,可以用来改变视频或电影的现有视觉风格。

生成式AI(AIG)初创公司Runway在去年合作开发了Stable Diffusion,这是具一款有突破意义的文本到图像模型。该公司现在发布了名为Gen-1的人工智能模型,可以通过应用文本提示或者参考图像所指定的任意风格,将现有视频转换为新视频。

在其官方网站发布的一段演示视频中,Runway展示了他们的软件如何将街道上的行人变成黏土木偶,将桌子上的书变成夜晚的风景。Runway希望Gen-1能够像Stable Diffusion在图像领域上的那样,为视频领域做出贡献。Runway公司CEO兼联合创始人Cristóbal Valenzuela表示:“我们曾见证过图像生成模型的大爆发,我坚信2023年会是属于视频生成模型的一年。”

Runway成立于2018年,多年来致力于人工智能视频编辑软件的研发。抖音和YouTube用户以及主流电影和电视剧工作室都在使用他们的工具。斯蒂芬-科尔伯特(扣扣熊)主持的《深夜秀》的制作人使用Runway软件来编辑节目画面;热门电影《瞬息全宇宙》的视觉效果团队利用Runway公司的技术创建了一些场景。

2021年,Runway与慕尼黑大学的研究人员合作开发了第一代Stable Diffusion。总部位于英国的初创公司Stability AI随后参与该项目,承担了在更多数据上训练模型所需的计算费用。2022年,Stability AI使得Stable Diffusion成为主流,将其从一个研究项目转变成一个全球现象。

然而现在两家公司已不再合作。Getty公司目前正在对Stability AI采取法律诉讼,声称该公司未经允许就在Stable Diffusion的训练集中使用了Getty的图片。如此一来Runway选择和他们保持距离。

视频下载地址:

https://wp.technologyreview.com/wp-content/uploads/2023/02/2-Storyboard-Mode.mov

Gen-1对于Runway来说是全新的开始。他们在去年发布了一个类似于文本转视频的模型,就像Meta的Make-a-Video和谷歌的Phenaki模型一样,这些种模型都可以从头生成非常短的视频片段。该模型也与谷歌在上周发布的生成式AI模型Dreamix有些相似,后者可以通过应用特定的风格从现有视频中创建出新的视频。不过根据Runway的实际演示视频来看,Gen-1的视频质量似乎有所提升。因为它可以转换现有的一组镜头,也可以制作比之前那些模型所生成的时长长得多的视频(该公司表示,未来几天将在官网上发布更多关于Gen-1的细节)。

与Meta和谷歌不同的是,Runway所制作的模型都是以客户为出发点的。Valenzuela表示:“这是首批与视频制作者社区密切合作开发的模型之一,得益于多年来对电影制片人和视觉特效剪辑师如何进行后期制作的深入了解。”

Gen-1模型正在云端运行,通过Runway的网站,现在向少数受邀客户开放,几周后将会向等候名单上的用户开放。

去年生成式AI技术呈爆发式增长,得益于数百万人第一次接触到如此强大的创意工具,他们愿意将自己使用的成果分享给他人。Valenzuela希望将Gen-1交到有创造力的专业人士手中,从而很快在视频界产生类似效果的影响。

Valenzuela说道:“我们已经非常接近制作完整的故事片了。我们即将实现这一目标:到那时候你们在网上看到的大部分内容都是生成式(AIG)的。”

原文标题:

The original startup behind Stable Diffusion has launched a generative AI for video

原文链接:

https://www.technologyreview.com/2023/02/06/1067897/runway-stable-diffusion-gen-1-generative-ai-for-video/

封面视频:

https://wp.technologyreview.com/wp-content/uploads/2023/02/Scuba-Example.mp4

编辑:于腾凯

校对:林亦霖

译者简介

5ba97fdd18bd387255f0aaf8df1dc739.jpeg

吴振东,法国洛林大学计算机与决策专业硕士。现从事人工智能和大数据相关工作,以成为数据科学家为终生奋斗目标。来自山东济南,不会开挖掘机,但写得了Java、Python和PPT。

翻译组招募信息

工作内容:需要一颗细致的心,将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生,或在海外从事相关工作,或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到:定期的翻译培训提高志愿者的翻译水平,提高对于数据科学前沿的认知,海外的朋友可以和国内技术应用发展保持联系,THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利:来自于名企的数据科学工作者,北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。

点击文末“阅读原文”加入数据派团队~

转载须知

如需转载,请在开篇显著位置注明作者和出处(转自:数据派ID:DatapiTHU),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。

发布后请将链接反馈至联系邮箱(见下方)。未经许可的转载以及改编者,我们将依法追究其法律责任。

481e1e0463a7aa3abad966c52fa115f6.png

点击“阅读原文”拥抱组织

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/374236.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

php mysql高校教材管理系统

我的目标就是在于开发一个功能实用、操作方便,简单明了的管理系统;其能够录入教师个人的信息,教导主任信息,在操作上能够完成诸如添加、修改、删除、按各种条件进行查询、等方面的工作,基本满足学校的日常业务的需求. …

System V|共享内存基本通信框架搭建|【超详细的代码解释和注释】

前言 那么这里博主先安利一下一些干货满满的专栏啦! 手撕数据结构https://blog.csdn.net/yu_cblog/category_11490888.html?spm1001.2014.3001.5482这里包含了博主很多的数据结构学习上的总结,每一篇都是超级用心编写的,有兴趣的伙伴们都支…

string和自动推断类型

欢迎来观看温柔了岁月.c的博客目前设有C学习专栏C语言项目专栏数据结构与算法专栏目前主要更新C学习专栏,C语言项目专栏不定时更新待C专栏完毕,会陆续更新C项目专栏和数据结构与算法专栏一周主要三更,星期三,星期五,星…

【项目管理】项目进度管理中的逻辑关系

项目的进度管理是项目核心管理之一,通过合理的进度安排,制定出科学可行的分项工期表,并条理清晰的显示出项目进度之间的逻辑关系。 1、目标是计划的灵魂 进度计划必须按照确定的项目总进度要求进行编制,了解项目总目标和整体安…

网络安全——数据链路层安全协议(2)

作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。 座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​​ 目录 前言 一.局域网数据链路层安全协议 1.IEEE 802.10 (1)IEE…

JavaWeb HTTP和Maven

4、Http 4.1、什么是HTTP HTTP(超文本传输协议)是一个简单的请求-响应协议,它通常运行在TCP之上。 文本:html,字符串,~ ….超文本:图片,音乐,视频,定位&am…

登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10

人工智能太疯狂,传统劳动力和内容创作平台被AI枪毙,弃尸尘埃。并非空穴来风,也不是危言耸听,人工智能AI图像增强框架ControlNet正在疯狂地改写绘画艺术的发展进程,你问我绘画行业未来的样子?我只好指着Cont…

jdbc模板的基本使用

1.JdbcTemplate的开发步骤 <1>导入spring-jdbc和spring-tx坐标 <2>创建数据库表和实体 <3>创建JdbcTemplate对象 <4>执行数据库 2.JdbcTemplate快速入门 <1>导入坐标 <dependency><groupId>org.springframework</groupId><…

【Python学习笔记】第十七节 Python 异常处理

Python 异常在任何一种编程语言中&#xff0c;都会有异常处理机制&#xff0c;python也不例外&#xff0c;它提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。Python 异常处理异常的概念&#xff1a;在程序运行过程中&#xff0c;由于代码错误或者运行环境…

Java数据结构与算法——手撕LRULFU算法

LRU算法 力扣146&#xff1a;https://leetcode-cn.com/problems/lru-cache/ 讲解视频&#xff1a;https://www.bilibili.com/video/BV1Hy4y1B78T?p65&vd_source6f347f8ae76e7f507cf6d661537966e8 LRU是Least Recently Used的缩写&#xff0c;是一种常用的页面置换算法&…

Typora图床配置:Typora + PicGo + 阿里云OSS

文章目录一、前景提要二、相关链接三、搭建步骤1. 购买阿里云对象存储OSS2. 对象存储OSS&#xff1a;创建Bucket3. 阿里云&#xff1a;添加OSS访问用户及权限4. 安装Typora5. 配置PicGo方法一&#xff1a;使用PicGo-Core (Command line)方法二&#xff1a;使用PicGo(app)6. 最后…

C语言深度剖析:关键字

C语言深度剖析:关键字C语言深度剖析:关键字前言定义与声明&#xff08;补充内容&#xff09;最宏大的关键字-auto最快的关键字-register关键字static被冤枉的关键字-sizeof整型在内存中的存储原码、反码、补码大小端补充理解变量内容的存储和取出为什么都是补码整型取值范围关于…

多线程的初识和创建

✨个人主页&#xff1a;bit me&#x1f447; ✨当前专栏&#xff1a;Java EE初阶&#x1f447; ✨每日一语&#xff1a;知不足而奋进&#xff0c;望远山而前行。 目 录&#x1f4a4;一. 认识线程&#xff08;Thread&#xff09;&#x1f34e;1. 线程的引入&#x1f34f;2. 线程…

【计算机网络:自顶向下方法】Chapter4 网络层:数据平面

Chapter44.1 网络层概述4.1.1 网络层服务4.1.2 网络层的主要功能转发&#xff08;局部&#xff09;路由选择&#xff08;全局&#xff09;4.1.3 控制平面和数据平面传统方式SDN方式4.1.4 网络服务模型4.2 路由器组成4.2.1 路由器结构概况4.2.2 转发方式4.2.3 输入端口处理与基于…

什么是api应用程序接口?

API:应用程序接口(API:Application Program Interface) 应用程序接口是一组定义、程序及协议的集合&#xff0c;通过 API 接口实现计算机软件之间的相互通信。API 的一个主要功能是提供通用功能集。程序员通过调用 API 函数对应用程序进行开发&#xff0c;可以减轻编程任务。…

【华为OD机试模拟题】用 C++ 实现 - TLV 编码(2023.Q1)

最近更新的博客 【华为OD机试模拟题】用 C++ 实现 - 去重求和(2023.Q1) 文章目录 最近更新的博客使用说明TLV 编码题目输入输出描述示例一输入输出说明Code使用说明 参加华为od机试,一定要注意不要完全背诵代码,需要理解之后模仿写出,通过率才会高。 华为 OD 清单查看…

大数据技术之Hadoop

第1章 Hadoop概述1.1 Hadoop是什么1.2 Hadoop发展历史&#xff08;了解&#xff09;1.3 Hadoop三大发行版本&#xff08;了解&#xff09;Hadoop三大发行版本&#xff1a;Apache、Cloudera、Hortonworks。Apache版本最原始&#xff08;最基础&#xff09;的版本&#xff0c;对于…

模型类的编写有没有什么靠谱的优化方法?

模型类的编写需要私有属性&#xff0c;setter...getter...方法、toString方法 和构造函数。虽然这些内容不难&#xff0c;同时也都是通过IDEA工具生成的&#xff0c;但是过程还是必须得走一遍&#xff0c;那么对于模型类的编写有没有什么优化方法?可以通过Lombok来实现优化。L…

C语言--指针进阶2

目录前言函数指针函数指针数组指向函数指针数组的指针回调函数前言 本篇文章我们将继续学习指针进阶的有关内容 函数指针 我们依然用类比的方法1来理解函数指针这一全新的概念&#xff0c;如图1 我们用一段代码来验证一下&#xff1a; int Add(int x, int y) {return xy;…

idea报错idea start filed

今天遇到idea启动失败的问题 问题分析&#xff1a; address already in use&#xff1a;bind idea需要的端口被占用 解决 重启就行&#xff0c;重启会重新分配端口。 官方解决 查看给的网站地址&#xff0c;这里官方给出的原因&#xff08;访问好慢&#xff0c;搭梯子我才…