在早先的一篇文章中《AI 学习心得速览(3月)》,提到过一家AI视频公司RunWay,公司专注于 AI 视频处理,在二月份发布了第一个人工智能视频编辑模型 Gen-1,对视频素材进行转换成相应的风格。
RunwayML
今天来聊聊Runway推出的手机App——RunwayML,已经在App Store上架,iPhone用户可以下载体验,有免费版和标准付费版、专业付费版三个版本。免费版提供初始积分,使用完之后只能升级版本才能继续使用。
目前只有GEN-1版本可用,GEN-2视频及图片工具正在推进中,相信马上就可以面世使用;免费版对视频时长的要求是3秒钟,多余部分会被自动裁剪。
对于要风格化的视频,内置了六种图像风格,同时也可以提供图片参考或文字描述,用于更加精确的图片处理(见下图)。
粘土
云景
纸折纸
水彩
纸和墨
木炭素描
处理之后的视频会存储在自己的Library里面,基于不同版本,存储的容量也不同,也可以保存在本地手机内存里面。
下面来看一看我用一段海浪生成的四段视频效果(中间是原视频):
GEN-1与GEN-2有何区别,官方给出的答案是:
GEN-1使用扩散模型的结构和内容来引导视频合成,也就是Vedio to Vedio,依赖原始视频素材
GEN-2使用文本驱动视频生成,即是Text to Vedio,摆脱原始视频素材依赖,直接由文字生成视频,工具性更强
[未来生成视频还会很复杂、繁琐吗?]
Runway 工具箱
Runway官方推出的27个工具集,主要功能集中于图片、视频的AI生成式处理,包括但不限于:
图片擦除与替换
图片蒙版
视频慢动作
图像扩展
图像变体
黑白图色彩化
自动模糊视频中人脸
自动模糊视频背景
自动去除视频背景
自动替换视频背景音乐
从视频中删除物体或人物
Runway 知名度虽然不如 Midjourney,但实力不凡,相信在 AI 视频领域,未来也是一个难以撼动的巨人。
扩展阅读:
AI 学习心得速览(3月)
基于 AI大模型训练自己的小模型
站在山巅看 GPT 推动的井喷式 AI 浪潮