Gen-2颠覆AI生成视频!一句话秒出4K高清大片,网友:彻底改变游戏规则

news2024/12/24 2:39:18

这,绝对称得上是生成式AI进程中的里程碑。

就在深夜,Runway家标志性的AI视频生成工具Gen-2,迎来了“iPhone时刻”般的史诗级更新——

依旧是简单一句话输入,不过这一次,视频效果一口气拉到了4K超逼真的高度!

话不多说,我们直接来看炸裂的效果:

不难看出,这一次AI生成视频的效果已经克服了以往“一眼AI”的缺点,即不连贯、闪烁变形以及低清等等。

而这也正是Gen-2这次史诗级更新的内容重点:

在文生视频和图生视频中,为结果的保真度一致性带来了重大改进。

在这里插入图片描述

虽然Runway在官方说法中只是轻描淡写地描述为“发布了一项更新”,但在许多网友看来,这堪比一个大版本的迭代。

在这里插入图片描述

很多人在看到视频效果之后,已然是处于沸腾、燃爆的状态。

例如一位人工智能电影制作人将其称之为**“彻底改变游戏规则”**。

在这里插入图片描述

另一位生成式AI专家也认为:

这是生成式AI的关键时刻。

在这里插入图片描述

要知道,现在距离Gen-2正式发布也仅仅过了4个月(今年6月)而已,这不得不让人感慨AI进步、迭代的速度。

正如公众号“数字生命卡兹克”给出的评价:

人间一天,AI一年。

值得一提的是,Gen-2此次的重磅更新,是在网站和APP上同步进行的。

那么接下来,我们继续深入体验一下新Gen-2的炸裂效果。

0成本生成超级大片

现在,无论你是在网站或是APP上体验,只要用的是Gen-2,那么生成视频的结果,就是基于它最新的能力。

这不,一位网友就火速拿着Gen-2,配上小曲儿,秒生成了一部高级感满满的时尚广告大片

这颜色,这模特,这角度,广告大片算是被Gen-2稳稳拿捏住了。

还有下面这种高级MV镜头既视感的视频,也是不在话下:

再如这种脑洞大开、创意十足的科幻电影片段

讲真,当看到这些Gen-2生成的逼真4K视频,我们也是被狠狠地吸引住了。

于是乎,我们也决定亲自体验一把。

操作上可以说是极其的简单,进入Runway官网,点击**“Text to Video”**,再选择“Gen-2”,便可来到文本输入界面:

在这里插入图片描述

我们测试的文本内容是这样的:

Interstellar travel,surreal.
星际旅行,超现实主义。

在静候几秒之后,AI视频就出炉了:、

有一说一,其实Gen-2的结果跟我们原本在脑海中的设想是有些出入(以为会是宇宙星空背景的星舰)的。

但无论是场景亦或是飞船的样式,都给人一种耳目一新、别出心裁的感觉。

这对于创意工作者来说可谓是一种福利了,灵感枯竭的时候,不妨让Gen-2帮你想想。

而在图生视频(Image to Video)能力上,有网友拿着PIKA这位AI生成视频顶流,跟Gen-2做了一番比较。

从整体结果上来看,Gen-2目前无论是在画质的清晰度,视频的流畅度等方面,都是更胜一筹。

BTW,手机体验最新Gen-2也是相当方便的哦~

在这里插入图片描述

半年彻底改写游戏规则

本次里程碑式更新,虽然没有带来新的功能,但在真实性和一致性上的飞跃,使得最新版本的Gen-2依旧是一款划时代的产品。

虽然Gen-2的有关论文还是coming soon,但可以确定它是在Gen-1的基础模型之上改进得到的。

在这里插入图片描述

相比于传统的文本控制扩散模型,Gen通过文本、图像、视频混合的训练模式,提高了生成视频的质量和一致性,同时还降低了训练消耗。

同时,Runway还提出了延时扩散模型,在预训练的扩散模型中引入时序层,使得模型在推理阶段具有更高的时间一致性。

Runway在宣传片中用三组对比展示了Gen-2的这种显著变化。

尽管官方还未给出具体的测试数据,但Gen-1的用户偏好在Runway的一项用户调查中就已经击败了Stable Diffusion 1.5和Text2Live。

在这里插入图片描述

Gen-2是于今年3月开始测试,6月正式向公众发布的。

与Gen-1不同的是,前者通过现有的视频片段结合文字指导进行合成,而Gen-2则可以只用文字、图片或两者结合来生成。

在这里插入图片描述

此外,Gen-1中的风格变换、蒙版、模型定制等功能也在Gen-2中得到了保留。

在这里插入图片描述

发布半年以来,Gen-2已经经历了多次更新。

8月,Runway将Gen-2生成视频的最大长度从4秒提升到了18秒,这样的长度在AI视频生成工具中前所未有。

9月,Runway又官宣Gen-2新增了导演模式,可以控制“镜头”的位置和移动速度。

在这里插入图片描述

此后不久,Gen-2又新增了“Motion Slider”的功能,可以调节视频中的动作幅度。

在这里插入图片描述

这几次大大小小的更新,让这款视频生成工具走向顶流,最终震撼了整个行业。

创始人:创意软件已死

随着Gen-2的更新,对影视和创意行业带来了不小的冲击。

Runway创始人兼CEO Cristóbal Valenzuela更是在𝕏中表示,“创意软件已死”

在这里插入图片描述

Valenzuela进一步解释到,尽管过去人们可以手工“操纵像素”,但人工智能创作工具可以让人们只用自然语言和参数调节就完成创作,这是传统的(创意)软件无法做到的。

最后,Valenzuela再次强调,一个激动人心的新(创意)时代就要开始了。

在这里插入图片描述

在Valenzuela的这篇帖子中,有很多网友表示了赞同,直言这些模型现在就画笔。

在这里插入图片描述

而这位创作者虽然没有直接夸赞,但回忆起了以往每次花六个月制作视频的经历,仿佛一切尽在不言之中……

在这里插入图片描述

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

123?spm=1001.2014.3001.5501)这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1651932.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

WordPress原创插件:当日24小时发布文章标题变红

WordPress原创插件&#xff1a;当日24小时发布文章标题变红 <?php// 添加自定义样式 function title_red_plugin_styles() {$current_time time();$post_time get_the_time(U);$time_difference $current_time - $post_time;if ($time_difference < 86400) {echo&l…

【doghead】mac与wsl2联通

mbp 设置为发送端,那么要能与windows上 wsl2的ubutnu通信。 mbp的 uv 构建ok zhangbin@zhangbin-mbp-2  ~/tet/Fargo/zhb-bifrost/Bifrost-202403/worker/third_party/libuv   main clion使用lldb cmake构建 更新git2.45.0啊

无人机+垂直起降:微型共轴双旋翼无人机技术详解

微型共轴双旋翼无人机技术是一种独特的无人机设计&#xff0c;它结合了垂直起降&#xff08;VTOL&#xff09;能力和微型无人机的灵活性。这种设计允许无人机在无需跑道的情况下垂直起降&#xff0c;并具备在空中悬停和执行各种飞行动作的能力。 适用于集群控制&#xff0c;荷载…

SAP-ABAP-操作透明表06

1、操作透明表-查询 查询0条数据只做判断 SELECT COUNT(*) FROM ZHY_XYXX_01 WHERE ZBJ = 202404. IF SY-SUBRC = 0. WRITE 班级存在. ELSE. WRITE 班级不存在. ENDIF. 查询一条数据 *查询一条数据 SELECT SINGLE ZBJ, ZXH INTO @GS_Z…

【数据库原理及应用】期末复习汇总高校期末真题试卷07

试卷 一、填空题&#xff08;每空1分&#xff0c;共10分&#xff09; 1.数据库管理系统在外模式、模式和内模式这三级模式之间提供了两层映象&#xff0c;其中 映象保证了数据的逻辑独立性。 2. 数据模型通常由 、数据操作和完整性约束三部分组…

不盖CNAS的证书就是无效的?证书哪些信息是“非必要”?

做设备校准的企业&#xff0c;大多数都是为了拿到仪器校准证书&#xff0c;而说起校准证书&#xff0c;很多人优先就是想到CNAS&#xff0c;CNAS作为校准行业重要的核心资质&#xff0c;无论是校准机构实力的证明&#xff0c;还是满足企业年审的需要&#xff0c;基本上都是关键…

启动任何类型操作系统:不需要检索 ISO 文件 | 开源日报 No.243

netbootxyz/netboot.xyz Stars: 7.7k License: Apache-2.0 netboot.xyz 是一个方便的平台&#xff0c;可以不需要检索 ISO 文件就能启动任何类型操作系统或实用工具磁盘。它使用 iPXE 提供用户友好的 BIOS 菜单&#xff0c;让您轻松选择所需的操作系统以及特定版本或可引导标志…

羊大师:羊奶儿童骨骼发育的助力者

羊大师&#xff1a;羊奶儿童骨骼发育的助力者 羊奶&#xff0c;这一传统而珍贵的营养饮品&#xff0c;羊大师发现羊不仅是美味的象征&#xff0c;更是儿童骨骼发育的助力者。它以其独特的营养价值和易于吸收的特点&#xff0c;为孩子们的健康成长提供了坚实的支持。 儿童时期…

数据库、OS内核安全等精彩继续!龙蜥大讲堂 5 月直播预告来袭

「龙蜥大讲堂」5 月精彩预告来了&#xff0c;点击下方海报抢先了解。本月又是满满的技术干货分享&#xff0c;多位大咖带你共享技术盛宴&#xff01;直播地址&#xff1a;http://live.bilibili.com/24798267 5 月精彩分享直达 &#x1f447; 直播主题及内容介绍 一&#xff1…

vue项目基于WebRTC实现一对一音视频通话

效果 前端代码 <template><div class"flex items-center flex-col text-center p-12 h-screen"><div class"relative h-full mb-4 fBox"><video id"localVideo"></video><video id"remoteVideo">…

团队执行力差,多半都是管理的问题

在日常管理中&#xff0c;我们习惯用“执行力好不好”来评价一个团队的表现&#xff0c;但实际上&#xff0c;执行力更应该是一个管理者需要思考和解决的问题&#xff0c;而非单纯归咎于团队。 我们需要明确一点&#xff1a;执行力不是团队的问题&#xff0c;而是管理者的问题…

MySQL迁移data目录

MYSQL数据库有时候安装好了&#xff0c;想移动一下data目录&#xff0c;但是又不想重新安装一下&#xff0c;就只能想办法把这个目录迁移一下。 先找到my.ini配置文件&#xff0c;可以全局搜索一下&#xff0c; 找到之后&#xff0c;把这个地方修改一下&#xff0c;就把data目…

Linux中文乱码

背景介绍 通过unzip命令解压后中文命名的文件显示乱码 中文名称文件显示乱码 原因 这是因为Linux没有设置对中文的支持 解决办法 编辑~/.bashrc添加export LC_ALLC.UTF-8 使更改的配置生效 source ~/.bashrc查看系统字体编码格式 locale查看中文名称的文件显示是否正常…

落地护眼灯十大品牌哪款性价比高?品牌排行榜前十名全面揭晓!

落地护眼灯十大品牌哪款性价比高&#xff1f;落地护眼灯已经逐渐成为孩子日常使用率较高的电器之一&#xff0c;它的优点非常突出&#xff0c;对于学习、工作、绘画等环境都能够提供良好的健康环境&#xff0c;同时还携带多种智能调节功能&#xff0c;例如&#xff1a;入座感应…

基于大数据+Hadoop的豆瓣电子图书推荐系统实现

&#x1f339;作者主页&#xff1a;青花锁 &#x1f339;简介&#xff1a;Java领域优质创作者&#x1f3c6;、Java微服务架构公号作者&#x1f604; &#x1f339;简历模板、学习资料、面试题库、技术互助 &#x1f339;文末获取联系方式 &#x1f4dd; 系列文章目录 基于大数…

使用STM32CubeMX进行STM32F4的定时器配置

目录 1. Pin脚2. 配置2.1 时钟配置2.2 RCC配置2.3 Timer配置2.4 输出文件 3. 代码3.1 使能定时器3.2 回调函数 1. Pin脚 2. 配置 2.1 时钟配置 timer3时钟挂载在APB1上&#xff1a; 时钟配置如下&#xff1a; 外部使用8MHz晶振 开启内部16MHz晶振 使用锁相环 开启最高100MHz。…

【零基础】system generator①设置卡解析

1.在matlab中我们输入的是双精度浮点型数据&#xff0c;经过gateway后变成定点型。十六位十四个小数位&#xff0c;整个数据有十六位&#xff0c;其中十四位给了小数 2.fixed-point定点型&#xff1b;signed有符号&#xff1b;2’s comp补码 3.量化误差 truncate&#xff0c;舍…

图像涂哪就动哪!Gen-2新功能“神笔马良”爆火,网友:急急急

AI搞视频生成&#xff0c;已经进化到这个程度了&#xff1f;&#xff01; 对着一张照片随手一刷&#xff0c;就能让被选中的目标动起来&#xff01; 明明是一辆静止的卡车&#xff0c;一刷就跑了起来&#xff0c;连光影都完美还原&#xff1a; 原本只是一张火灾照片&#xff0…

一个账号玩遍ChatGPT/Claude-3/Midjourney 省钱又省力

当 OpenAI 的闭源 GPT-4 和 Meta 的开源 LLaMA 3 70B 模型在 Chatbot Arena Elo Score、MMLU 和 MT Benchmark 测试中表现出相当的性能时&#xff0c;选择更昂贵的专有模型&#xff08;其成本高出 58 倍&#xff09;的论据是&#xff1a; NVIDIA GPU Inference 上的运行速度比 …

Ubuntu下halcon软件的下载安装

由于工作需求&#xff0c;点云配准需要使用halcon进行实现&#xff0c;并且将该功能放入QT界面中 1.下载halcon 进入halcon官网进行下载 官网链接&#xff1a;https://www.mvtec.com/products/halcon/ 注意&#xff1a;要注册登陆之后才能进行下载 接着点击Downloads->H…