媲美Sora,免费使用!带物理模拟的,文生视频模型

news2024/11/8 11:44:40

6月13日,知名3D建模平台Luma AI发布最新文生视频模型Dream Machine,向所有用户免费开放使用。

Dream Machine除了支持文本之外,还可使用图片作为引导来生成视频,其生成的视频质量、动作一致性、色彩、光影、饱和度、运镜等方面,可以媲美OpenAI的Sora。

Dream Machine的另外一个技术特点是支持物理模拟,这意味着生成的视频更能体现出物理世界的特点,包括重力下落、碰撞、光影变化等。


 


 


 

为什么物理模拟,对文生视频很重要

目前,国内外文生视频赛道都主打“物理模拟”这个技术特点,可以确保生成的视频不仅看起来非常真实,并在时间和空间上保持连贯性、一致性。

麻省理工学院、斯坦福大学、哥伦比亚大学和康奈尔大学联合开源的3D交互视频模型就深度介绍过该技术。

动态模拟与物理一致性是大模型生成高质量视频的核心技术之一,要想实现这两点,就需要理解和模拟现实世界中的物理规律

动态模拟指的是视频生成过程中对物体和场景的运动进行精确的模拟。在一个视频片段中,物体的运动轨迹、速度和加速度需要符合现实世界的物理定律。

例如,当一盆花在风中左右摇摆时,视频中的每一帧都必须展示花盆和花朵按照风力的作用进行摆动,花盆由于重力和风力的交互作用而略微倾斜,然后在风力减弱时逐渐恢复到垂直状态。

这种模拟需要对物体的运动状态进行连续的计算和更新,确保视频前后帧之间的连贯性


 

物理一致性是视频中的物体和场景遵循现实世界的物理规律,包括重力、碰撞、摩擦力、空气阻力等。

这不仅仅是对单个物体运动的模拟,还包括物体之间的相互作用。例如,在生成两辆车相撞的场景时,模型需要模拟碰撞时的力和反作用力,考虑车体的变形和碎片飞散的方向和速度。这种物理一致性使得生成的视频更加逼真和可信。


 

所以,为了实现动态模拟与物理一致性,文生视频模型通常会使用大量包含了现实世界中物体运动和相互作用的视频数据和互作用实例

通过学习这些数据,模型可以捕捉到物体运动的规律和相互作用的模式,并将其应用到新的视频生成过程中。

此外,有的视频模型可能还会加入物理引擎,将场景中的物体和环境参数输入到模拟器中,然后通过数值计算来模拟这些物体在受力后的运动和变化。

例如,当生成一个描述风吹动树叶的视频时,物理模拟引擎会计算风力对树叶的影响,包括风的速度、方向对树叶的摆动和飘落的影响。可以让大模型生成的视频不仅在视觉上逼真,而且在物理行为上也是一致的。

Dream Machine生成案例展示

由于Dream Machine免费开放使用,使用的人非常非常多,目前生成的效率比较差。

官方宣称生成一个视频是120秒左右,实际是几分钟甚至10分钟左右才能生成一个视频,效果还是相当好的。


 

那就先为大家展示一下其他人已经生成好的视频作品。

例如,一个真实的废墟场景拍摄镜头。这个生成的视频有点像虚幻引擎5游戏里的场景,已经非常真实了。


 

一辆飞奔在高速公路上的跑车。虽然这个视频只有5秒钟,但是它的运镜、场景切换浮动很大,而且连贯、丝滑,这比Gen-2、Pika等同类产品生成的效果更好。


 

下面这个是图片生成视频的案例,本身是一张静止的图片,加上图片和文本描述轻松就动起来了,可以看到运动性的幅度依然很大。


 

也有一些接受过内测邀请的,通过Dream Machine做了不少微电影。例如,下面这个做的《Tales of the Other Side》电影预告。


 

制作的人类在未来与机器人关系的微电影。

一部关于怪物的卡通动漫视频

今年年初OpenAI发布的Sora确实很惊艳,但将近4个月的时间还在封闭测试中,无疑极大打击了用户的热情。

而国内快手发布的“可灵”和今天最新的Dream Machine已经全面开放使用,并且在生成的视频质量方面不输Sora,文生视频赛道的竞争格局将会像文本一样更加激烈。

免费体验地址:https://lumalabs.ai/dream-machine/creations

本文素材来源lumalabs.ai官网,如有侵权请联系删除

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1819241.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CentOS系统自带Python2无法使用pip命令

Linux运维工具-ywtool 目录 一. 系统环境二.解决三.验证四.备注(1)输入"yum install -y python-pip",提示没有可用 python-pip包(2)安装完pip后进行升级 一. 系统环境 centos7系统自带的python2.7无法使用pip命令 二.解决 yum install python-pip -y三.验证 pip…

【QT5】<知识点> QT串口编程

目录 前言 一、串口编程步骤 0. 添加串口模块 1. 自动搜索已连接的串口 2. 创建串口对象 3. 初始化串口 4. 打开串口 5. 关闭串口 6. 发送数据 7. 接收数据 二、简易串口助手 1. 实现效果 2. 程序源码 3. 实现效果二 前言 本篇记录QT串口编程相关内容&#xff0…

Yolo-World训练过程中使用wandb进行可视化

训练过程可视化有两种方式:wandb和tensorboard,这里我采用的是wandb,想要在训练过程中调用wandb只需要在要训练的配置文件(如yolo_world_v2_l_vlpan_bn_sgd_1e-3_40e_8gpus_finetune_coco.py)中加上一行代码即可&#…

k8s+springboot+redis部署配置连接

1 springboot 配置k8s中的redis服务名 #tomcat访问端口 # 应用名称 spring.application.namedemo # 应用服务Web访问端口 server.port8089 server.envtest #缓存关闭 spring.thymeleaf.cachefalse #可选配置 management.endpoints.enabled-by-defaulttrue management.endpoint…

SpringBoot接入RS-232串口通讯实现数据交互

目录 一、什么是RS-232? 先看看硬件通讯接口长啥样 RS-232 二、方案一 1.前期准备 a.配置 RXTX 1)下载 RXTX 包并解压 2)拷贝动态库到对应的jdk目录下 Windows平台 Linux平台 3)在工程根目录下创建 lib 文件夹&#x…

提升网络安全韧性:从基础防护开始

随着信息技术的迅猛发展,互联网已深刻融入社会的各个层面,从日常生活到企业运营,再到国家基础设施。与此同时,网络威胁和攻击也呈现出多样化和复杂化的趋势,给网络安全带来了严峻挑战。 一、背景 随着信息技术的迅猛发…

力扣每日一题 6/13 反悔贪心算法

博客主页:誓则盟约系列专栏:IT竞赛 专栏关注博主,后期持续更新系列文章如果有错误感谢请大家批评指出,及时修改感谢大家点赞👍收藏⭐评论✍ 2813.子序列最大优雅度【困难】 题目: 给你一个长度为 n 的二…

使用pyqt对yolov5进行简答部署

YOLOv5是一种高效的实时目标检测算法,广泛应用于各类计算机视觉任务中。为了实现便捷的图形用户界面(GUI),我们采用了PyQt框架。PyQt是一个Python绑定的Qt库,用于创建跨平台的应用程序。 在本研究中,我们首…

LINUX网络FTP服务

一、FTP服务 FTP服务:file transfer protocol :文件传输协议。在网络上进行双向传输,也是一个应用程序。不同的操作系统有不同的FTP软件,但使用的协议是一样的。 FTP协议基于TCP协议,有两个端口,即20和21。 20端口&…

GTX的64B66B编码(高速收发器十九)

点击进入高速收发器系列文章导航界面 前文讲解了8B10B的原理,8B10B的开销比较大,每传输10位数据,就需要发送2位无效数据。为了减小8B10B编码的开销,同时保留编码方案的优点,提出了64B66B编码。 64B66B编码与8B10B编码方…

批量记录收支明细,轻松掌握财务动向,查看并统计上个月收支明细

在这个快节奏的时代,财务管理已经成为我们生活中不可或缺的一部分。然而,面对繁琐的收支明细记录,很多人感到头痛不已。今天,我们为您推荐一款高效的财务管理工具——晨曦记账本,让您轻松实现批量记录收支明细&#xf…

HTML|01HTML初识

HTML初识 1.html标签&#xff1a;所有html中标签的一个根节点 2.head标签&#xff1a;用于存放&#xff1a;title,meta,base,style,script,link 3.title标签&#xff1a;显示网站标题 4.body标签&#xff1a;显示主体 HTML骨架语法 <html> <head> <title>…

数据防泄密知识集锦|5个有效防止数据泄露的方法,你知道吗?

以下是五个有效防止数据泄露的方法&#xff0c;它们涵盖了从加强员工意识到技术实施等多个方面。 1.部署数据安全防护系统&#xff1a;安企神软件 专业的企业数据防泄密软件能够全方位地保护企业数据的安全。 该系统通常具有强大的文件加密功能、实时监控和异常检测、灵活的权…

使用 PNPM 从零搭建 Monorepo,测试组件并发布

1 目标 通过 PNPM 创建一个 monorepo&#xff08;多个项目在一个代码仓库&#xff09;项目&#xff0c;形成一个通用的仓库模板。 这里以在该 monorepo 项目中搭建 web components 类型的组件库为例&#xff0c;介绍从仓库搭建、组件测试到组件发布的整个流程。 这个仓库既可…

eclipse 老的s2sh(Struts2+Spring+Hibernate) 项目 用import导入直接导致死机(CPU100%)的解决

1、下载Apache Tomcat - Apache Tomcat 8 Software Downloads 图中是8.5.100的版本&#xff0c;下面的设置用的是另一个版本的&#xff0c;其实是一样。 2、先将Server配好&#xff0c;然后再进行导入操作。 2、选择jdk 当然&#xff0c;这里也可以直接“Download and instal…

Vue指令的使用以及自定义指令

文章目录 1. 指令概述2.常用指令的分类2.1 内容渲染指令2.1.1 v-text2.1.2 插值语法{{ }}2.1.2.1 插值语法{{}}可以写什么2.1.2.2 插值语法可以解决什么 2.1.3 v-html 2.2 属性绑定指令(v-bind)2.3 事件绑定指令(v-on)2.4 双向绑定指令(v-model)2.4.1 v-bind和v-model的区别和联…

【Java】解决Java报错:IllegalStateException during HTTP Request

文章目录 引言一、IllegalStateException的定义与概述1. 什么是IllegalStateException&#xff1f;2. IllegalStateException在HTTP请求中的常见触发场景3. 示例代码 二、解决方案1. 确保响应只被提交一次2. 正确管理Servlet的生命周期3. 避免重复访问输入流和输出流4. 使用框架…

光储充行业市场前景以及未来发展趋势

光储充行业作为新能源汽车产业链的重要环节&#xff0c;其市场前景广阔&#xff0c;未来发展趋势也呈现出积极向上的态势。随着新能源汽车市场的不断扩大&#xff0c;光储充设施的需求也日益增长&#xff0c;为行业的发展提供了强大的动力。 从未来发展趋势来看&#xff0c;光储…

基于FreeRTOS+STM32CubeMX+LCD1602+MCP4251(SPI接口)的数字电位器Proteus仿真

一、简介&#xff1a; MCP4251是一款SPI接口的8位数字电位器。 二、主要技术参数&#xff1a; 属性参数值抽头数257接口类型SPI通道数2供电电压1.8V~5.5V精度20%温度系数(典型值)150ppm/℃工作温度-40℃~125℃ 三、引脚定义 &#xff1a; 四、内部原理框图&#xff1a; 五、电…

Github2024-06-12 开源项目日报 Top10

根据Github Trendings的统计,今日(2024-06-12统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Python项目4JavaScript项目2Lua项目1PHP项目1Blade项目1非开发语言项目1TypeScript项目1Shell项目1从零开始构建你喜爱的技术 创建周期:2156 天…