AI 视频编辑革新:GEN-1 / GEN-2 引领新风潮

news2024/10/5 19:15:00

在早先的一篇文章中《AI 学习心得速览(3月)》,提到过一家AI视频公司RunWay,公司专注于 AI 视频处理,在二月份发布了第一个人工智能视频编辑模型 Gen-1,对视频素材进行转换成相应的风格。

bc4c0dacf38226c6fdb6878d069c66ef.png

RunwayML

今天来聊聊Runway推出的手机App——RunwayML,已经在App Store上架,iPhone用户可以下载体验,有免费版和标准付费版、专业付费版三个版本。免费版提供初始积分,使用完之后只能升级版本才能继续使用。

fed79966467381e362824e5b5cbfe6b1.jpeg

目前只有GEN-1版本可用,GEN-2视频及图片工具正在推进中,相信马上就可以面世使用;免费版对视频时长的要求是3秒钟,多余部分会被自动裁剪。14aa87dd013aab2f35b28aba273f7741.jpeg

对于要风格化的视频,内置了六种图像风格,同时也可以提供图片参考或文字描述,用于更加精确的图片处理(见下图)。

  • 粘土

  • 云景

  • 纸折纸

  • 水彩

  • 纸和墨

  • 木炭素描

33e20f61ed67843dee25c0cc83b7cd23.jpeg

处理之后的视频会存储在自己的Library里面,基于不同版本,存储的容量也不同,也可以保存在本地手机内存里面。

23ad0025bc4ef8470a5ae3993ae73027.jpeg

下面来看一看我用一段海浪生成的四段视频效果(中间是原视频):

GEN-1与GEN-2有何区别,官方给出的答案是:

  • GEN-1使用扩散模型的结构和内容来引导视频合成,也就是Vedio to Vedio,依赖原始视频素材

  • GEN-2使用文本驱动视频生成,即是Text to Vedio,摆脱原始视频素材依赖,直接由文字生成视频,工具性更强

911b4f7003232484d2a326fa1d01b36d.png[未来生成视频还会很复杂、繁琐吗?]

Runway 工具箱

39eb5e22a9b517e216005d07403252aa.pngRunway官方推出的27个工具集,主要功能集中于图片、视频的AI生成式处理,包括但不限于:

  • 图片擦除与替换

  • 图片蒙版

  • 视频慢动作

  • 图像扩展

  • 图像变体

  • 黑白图色彩化

  • 自动模糊视频中人脸

  • 自动模糊视频背景

  • 自动去除视频背景

  • 自动替换视频背景音乐

  • 从视频中删除物体或人物

54d80dd0246a004fe76f622220a3600f.jpeg

Runway 知名度虽然不如 Midjourney,但实力不凡,相信在 AI 视频领域,未来也是一个难以撼动的巨人。

39fad668de220f1b535d99acff844d4b.png


扩展阅读:

  • AI 学习心得速览(3月)

  • 基于 AI大模型训练自己的小模型

  • 站在山巅看 GPT 推动的井喷式 AI 浪潮

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/494092.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C#学习系列之throw new ApplicationException

C#学习系列之throw new ApplicationException 啰嗦问题解决总结 啰嗦 在项目的解码过程中使用到throw new ApplicationException语句,之前一致没有意识到这句话会带来很多问题。项目中使用这句话来捕捉解码过程中的解码异常问题。 问题 在使用throw new Applicati…

(二)【平衡小车制作】电机驱动(超详解)

一、硬件设计 1.直流减速电机   直流减速电机,即齿轮减速电机,是在普通直流电机的基础上,加上配套齿轮减速箱。齿轮减速箱的作用是,提供较低的转速,较大的力矩。  简单的来说,STM32分配两个IO口给一个…

LeetCoed 2, 23, 25, 112, 113

文章目录 1. 两数相加2. K 个一组翻转链表3. 合并 K 个升序链表4. 路径总和I5. 路径总和II 1. 两数相加 题目详情见: LeetCode2. 两数相加 题目描述相对来说比较绕, 我们可以直接理解为两个多位的整数相加, 只不过整数的每一位都是通过链表进行存储; 比如, 整数 342, 通过链表…

使用Webpack搭建项目(vue篇)

本篇承接使用Webpack搭建项目(react篇) 由于大部分配置一样,我们从上一篇react项目中,复制webpack.dev.js以及webpack.prod.js 开发模式 1.删除ReactRefreshWebpackPlugin 2.自动补充拓展名修改为.vue文件,同时处理…

每天一道算法练习题--Day21 第一章 --算法专题 --- ----------位运算

我这里总结了几道位运算的题目分享给大家,分别是 136 和 137, 260 和 645, 总共加起来四道题。 四道题全部都是位运算的套路,如果你想练习位运算的话,不要错过哦~~ 前菜 开始之前我们先了解下…

【linux的学习与软件安装】

文章目录 linux的学习一、工具安装与联网?二、Linux软件安装1.安装jdk2.安装MySQL安装redis linux的学习 一、工具安装与联网? 1.1安装好VM后 进入vi /etc/sysconfig/network-scripts/ifcfg-ens33 然后ip addr 查看ip 1.2打开IDEA的tools 二、Linux软…

网络编程 | 多进程多线程并发服务器代码实现

欢迎关注博主 Mindtechnist 或加入【Linux C/C/Python社区】一起学习和分享Linux、C、C、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,滤波估计、多传感器信息融合,机器学习,人工智能等相关领域的知识和…

5.5 Mybatis Update标签实战,返回值是什么? 教你通常处理做法

本文目录 前言一、update标签实战① 在UserMapper接口中新增update方法② MybatisX插件生成update标签③ 写update SQL 语句 二、update sql返回值是什么?三、Mybatis update标签返回值是什么?四、实现简易的修改密码API1. dal层2. service层3. web层自测通过 五、Git提交最后…

vue - 常见的移动端rem适配方案

移动端rem适配方案 rem适配原理方案1:rem媒体查询方案2:jsrem方案3:vwrem(不用查询屏幕宽度) 移动端适配经常使用的就是 rem; 主要有以下几种方案: 1:rem 媒体查询(media&#xff0…

蓝桥杯最后一战

目录 分巧克力_二分 题目描述 输入格式 输出格式 输入输出样例 说明/提示 代码: 巧克力 - 优先队列 题目描述 输入格式 输出格式 输入输出样例 说明/提示 代码: 思路分析: 秘密行动_dp 蓝桥杯算法提高-秘密行动 题目描述 …

Unity之OpenXR+XR Interaction Toolkit 安装和配置

前言 XR Interaction Toolkit 是Unity基于OpenXR标准,发布的一套XR工具,目的是方便我们快速接入XR相关的SDK,并且做到兼容不同VR设备的目的,目前流行的VR设备如Oculus,Metal,HTC Vive,Pico等统…

改进YOLOv8 | 主干网络篇 | YOLOv8 更换骨干网络之 MobileNetV3 | 《搜寻 MobileNetV3》

论文地址:https://arxiv.org/abs/1905.02244 代码地址:https://github.com/xiaolai-sqlai/mobilenetv3 我们展示了基于互补搜索技术和新颖架构设计相结合的下一代 MobileNets。MobileNetV3通过结合硬件感知网络架构搜索(NAS)和 NetAdapt算法对移动设计如何协同工作,利用互…

【天秤座区块链】元宇宙知识普以及简单解读清华研究报告

本节目录 温馨提示关于分栏【天秤座区块链】由来提前感受元宇宙区块链的两个注意点区块链革命简单认识清华大学报告解读(元宇宙)前传《雪崩》元宇宙具体是什么?元宇宙不是什么?那为什么要冲击元宇宙呢? 小补充及感谢 温…

前端搭建打字通游戏(内附源码)

The sand accumulates to form a pagoda ✨ 写在前面✨ 打字通功能介绍✨ 页面搭建✨ 样式代码✨ 功能实现 ✨ 写在前面 上周我们实通过前端基础实现了名言生成器,当然很多伙伴再评论区提出了想法,后续我们会考虑实现的,今天还是继续按照我们…

java基础入门-06-【面向对象进阶(多态包final权限修饰符代码块)】

Java基础入门-06-【面向对象进阶(多态&包&final&权限修饰符&代码块)】 14、面向对象进阶(多态&包&final&权限修饰符&代码块)1.1 多态的形式1.2 多态的使用场景1.3 多态的定义和前提1.4 多态的运行…

嵌入式设备逆向所需的工具链

导语:本文介绍了嵌入式设备逆向所需的工具链。 相关的应用程序或工具有: UART(Universal Asynchronous Receiver Transmitter,通用异步收发器): UBoot; Depthcharge; SPI (Serial Peripheral Interface…

利用文本描述替换万物(Inpaint-Anything-Description)

文章目录 引言安装Demo github: https://github.com/Atlas-wuu/Inpaint-Anything-Description 引言 前段时间看了万物分割SAM、文生图Stable Diffusion、开集检测Grounding DINO,它们之间可以互相补充,AIGC变得更加可控。Inpaint Anything将…

RK3568平台开发系列讲解(网络篇)Linux 的 socket 套接字

🚀返回专栏总目录 文章目录 一、套接字的数据结构1.1、struct socket 数据结构1.2、struct sock 数据结构二、套接字的初始化三、套接字与文件四、Socket Buffer沉淀、分享、成长,让自己和他人都能有所收获!😄 📢 Linux 内核支持的套接字如下: 我们创建套接字时,可以…

PCIe物理层弹性缓存机制(详细)解析-PCIe专题知识(四)

目录 前言一、简介二、详细解析2.1 实例解析2.2 具体实现过程 三、总结四、其他相关链接1、PCI总线及发展历程总结2、PCIe物理层总结-PCIE专题知识(一)3、PCIe数据链路层图文总结-PCIe专题知识(二)4、PCIe物理层链路训练和初始化总…

国产ChatGPT命名图鉴

很久不见这般热闹的春天。 随着ChatGPT的威名席卷全球,大洋对岸的中国厂商也纷纷亮剑,各式本土大模型你方唱罢我登场,声势浩大的发布会排满日程表。 有趣的是,在这些大模型产品初入历史舞台之时,带给世人的第一印象其…