从 Sora 制作的短片看AI生成视频的优势与局限性解析

news2024/11/26 23:54:19

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

在人工智能社区中,OpenAI 的视频生成工具 Sora 以其流畅、逼真的视频效果让人眼前一亮,仿佛领先于竞争对手好几条街。然而,在 Sora 精心策划的首次亮相中,许多细节并未透露,而这些细节则是由一位获得早期使用权限的电影制作人在创建短片“air head”过程中所填补的。

多伦多的数字制作团队 Shy Kids 被 OpenAI 选中,成为为 OpenAI 宣传目的制作短片的几个团队之一。尽管他们在创作过程中拥有相当大的自由度,但在与视觉效果新闻网站 fxguide 的一次采访中,后期制作艺术家 Patrick Cederberg 描述了他“实际使用 Sora” 的经历。

也许对大多数人来说,最重要的一点是:虽然 OpenAI 的帖子让人们以为这些短片几乎是 Sora 完全生成的,但实际上这些都是专业制作的,包括详尽的分镜头脚本、编辑、色彩校正和后期工作,如转描和视觉特效。就像苹果公司说的“用 iPhone 拍摄”,但并未展示摄影棚设置、专业照明和事后的色彩处理一样,Sora 的帖子只是讨论了它能让人们做什么,而不是他们实际如何做到的。

Cederberg 在采访中提供了一些关于使用 Sora 的有趣细节,显示出尽管 Sora 令人印象深刻,但它可能并不像我们想象的那样是一个巨大的飞跃。

控制仍然是目前最令人向往同时也最难以捉摸的东西。他们能做的最接近的事情是在提示中非常详细地描述。例如,解释角色的衣服以及气球的类型,是他们解决连贯性问题的方法,因为从一镜到下一镜、从一次生成到下一次生成,还没有一套完整的控制连贯性的功能。

换句话说,在传统电影制作中很简单的事情,如选择一个角色的衣服颜色,在生成系统中需要复杂的变通方法和检查,因为每个镜头都是独立创建的。这显然可以改变,但目前显然要费力得多。

使用 Sora 生成的输出也必须小心不想要的元素:Cederberg 描述了如何模型会常规生成主角气球头上的脸,或者前面挂着的绳子。如果他们无法通过提示排除这些元素,这些就必须在后期删除,这是另一个耗时的过程。

角色或摄像机的精确时机和动作实际上是不可能的:“在实际生成中,这些不同动作发生的时间有一点时间控制,但不是精确的……这更像是摸黑。” Cederberg 说。

例如,像挥手这样的手势的定时是一个非常大致的、建议驱动的过程,不像手动动画那样。并且向上扫过角色身体的镜头可能不会反映出电影制作者想要的效果——因此,在这种情况下,团队渲染了一个竖向构图的镜头,并在后期进行了剪辑移动。生成的剪辑也常常无缘无故地慢动作。

实际上,使用电影制作的日常语言,如“向右平移”或“跟踪镜头”总是不一致的,这让团队感到相当惊讶。Cederberg 说:“在接触艺术家使用这个工具之前,研究人员并没有真正像电影制作者那样思考。”结果,团队进行了数百次生成,每次10到20秒,最终只使用了少数几次。Cederberg 估计比例是300:1——但当然,我们可能都会对普通拍摄的比例感到惊讶。

团队实际上还制作了一个介绍他们遇到的一些问题的幕后视频,如果你感兴趣的话。像许多与 AI 相关的内容一样,评论中对整个企创业格调相当批评——尽管没有我们最近看到的那个 AI 辅助广告那样尖刻。

最后一个有趣的细节涉及版权:如果你要求 Sora 给你一个“星球大战”剪辑,它会拒绝。如果你试图用“穿着长袍的人在复古未来主义飞船上挥舞激光剑”的方式绕过它,它也会拒绑,因为通过某种机制,它识别出你的企图。它也拒绝进行“Aronofsky 风格的镜头”或“希区柯克变焦”。

一方面,这很有道理。但这也引发了一个问题:如果 Sora 知道这些是什么,是否意味着模型在训练时使用了那些内容,以更好地识别这是侵权行为?OpenAI 保留其训练数据的细节,到了几乎荒谬的程度——正如 CTO Mira Murati 在与 Joanna Stern 的采访中所表现的那样——他们几乎肯定永远不会告诉我们。

至于 Sora 及其在电影制作中的用途,它显然是一个强大而有用的工具,但其位置并不是“完全创造电影”。至少现在不是。就像另一个恶棍曾经名言:“那会在以后。”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1631891.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

R语言的基本图形

一&#xff0c;条形图 安装包 install.packages("vcd") 绘制简单的条形图 barplot(c(1,2,4,5,6,3)) 水平条形图 barplot(c(1,2,4,5,6,3),horiz TRUE) 堆砌条形图 > d1<-c("Placebo","Treated") > d2<-c("None",&qu…

聚类分析:使用R语言对Iris数据集进行K均值聚类

引言 聚类分析是一种常用的无监督学习技术&#xff0c;旨在将数据集中的样本分成具有相似特征的组。K均值聚类是其中一种常见的方法&#xff0c;它通过将数据点划分为K个簇&#xff0c;并使每个数据点与其所属簇的中心点距离最小化来实现聚类。本文将介绍如何使用R语言执行K均…

matlab求时间序列的时间滞后相关性

matlab求时间序列的时间滞后相关性 自相关、互相关、加权相关、滞后相关等相关性分析&#xff0c;在时间序列分析中经常被用到&#xff0c;可以量化两个时间序列的相关程度&#xff0c;特别对于有季节性趋势的序列中这个分析尤为必要。下面介绍一个Matlab函数&#xff0c;用于进…

FPGA实现图像处理之【直方图均衡-寄存器版】

FPGA实现直方图统计 一、图像直方图统计原理 直方图的全称为灰度直方图&#xff0c;是对图像每一灰度间隔内像素个数的统计。即对一张图片中每隔二灰度值的像素数量做统计&#xff0c;然后以直方图的形式展现出来。图下的亮暗分布在直方图中就可以一目了然&#xff0c;直方图…

分布式系统事务一致性解决方案(基于事务消息)

参考&#xff1a;https://rocketmq.apache.org/zh/docs/featureBehavior/04transactionmessage/ 文章目录 概要错误的方案方案一&#xff1a;业务方自己实现方案二&#xff1a;RocketMQ 事务消息什么是事务消息事务消息处理流程事务消息生命周期使用限制使用示例使用建议 概要 …

WPF —— MVVM 指令执行不同的任务实例

标签页 设置两个按钮&#xff0c; <Button Content"修改状态" Width"100" Height"40" Background"red"Click"Button_Click"></Button><Button Content"测试"Width"100"Height"40&…

java案例-读取xml文件

需求 导入依赖 <dependencies><!-- dom4j --><dependency><groupId>dom4j</groupId><artifactId>dom4j</artifactId><version>1.6.1</version></dependency> </dependencies>代码 SAXReader saxReade…

BERT一个蛋白质-季军-英特尔创新大师杯冷冻电镜蛋白质结构建模大赛-paipai

关联比赛: “创新大师杯”冷冻电镜蛋白质结构建模大赛 解决方案 团队介绍 paipai队、取自 PAIN AI&#xff0c;核心成员如我本人IvanaXu(IvanaXu GitHub)&#xff0c;从事于金融科技业&#xff0c;面向银行信用贷款的风控、运营场景。但我们团队先后打过很多比赛&#xf…

Vue后台系统demo小计

创建项目 1.报错 Error: command failed: npm install --loglevel error --legacy-peer-deps 措施1&#xff1a;node.js文件夹属性 》高级 》选择第一个允许 Users(XXX\Users) &#xff08;对我无用&#xff09; 措施2&#xff1a;PowerShell(以管理员身份运行) 》 cd 想存…

C++ | Leetcode C++题解之第55题跳跃游戏

题目&#xff1a; 题解&#xff1a; class Solution { public:bool canJump(vector<int>& nums) {int n nums.size();int rightmost 0;for (int i 0; i < n; i) {if (i < rightmost) {rightmost max(rightmost, i nums[i]);if (rightmost > n - 1) {r…

【Leetcode每日一题】 动态规划 - 简单多状态 dp 问题 - 打家劫舍 II(难度⭐⭐)(67)

1. 题目解析 题目链接&#xff1a;213. 打家劫舍 II 这个问题的理解其实相当简单&#xff0c;只需看一下示例&#xff0c;基本就能明白其含义了。 2.算法原理 这个问题是经典的“打家劫舍”问题的变种&#xff0c;原问题是在单排房屋中进行偷窃&#xff0c;而这个问题则是在…

利用Triple U.Net结构对冷冻切片HE染色组织学图像进行核实例分割

利用Triple U.Net结构对冷冻切片H&E染色组织学图像进行核实例分割 摘要IntroductionRelated WorksDatasetProposed MethodologyDataset PreparationSegmentation BranchLoss FunctionWatershed Algorithm Nuclei Instance Segmentation of Cryosectioned H&E Stained H…

JavaScript全套检验系统(LIS)源码C# + MVC + SQLserver + Redis 云LIS系统源码 区域医疗云LIS系统源码

JavaScript全套检验系统&#xff08;LIS&#xff09;源码C# MVC SQLserver Redis 云LIS系统源码 区域医疗云LIS系统源码 实验室信息系统&#xff08;Laboratory Information System&#xff0c;缩写LIS&#xff09;是一类用来处理实验室过程信息的软件。这套系统通常与其他信…

ArcGIS基础:便捷分享图层包和地图包

1、分享图层包&#xff1a; 首先&#xff0c;选中要分享的数据&#xff0c;右键创建图层包&#xff0c;修改保存路径。 找到项目描述那一栏&#xff0c;将摘要、标签、描述都填写分享图层包的相关内容。 一切设置好之后&#xff0c;点击右上角的【分析】按钮。 点击分析之后…

vue2集成ElementUI编写登录页面

目录 1. 整理目录文件&#xff1a; a. app.vue文件如下&#xff1a; b. Login.vue文件如下&#xff1a; c. router/index.js文件如下&#xff1a; d. 删除components中的文件&#xff1a; e. 最终项目目录整理如下&#xff1a; 2. 集成ElementUI编写登录页面 a. 安装El…

MCU自动测量单元:自动化数据采集的未来

随着科技的飞速发展&#xff0c;自动化技术在各个领域中的应用日益广泛。其中&#xff0c;MCU(微控制器)自动测量单元以其高效、精准的特性&#xff0c;成为自动化数据采集领域的佼佼者&#xff0c;引领着未来数据采集技术的革新。本文将深入探讨MCU自动测量单元的原理、优势以…

详解进程控制

目录 一、进程创建 fork() 写时拷贝 fork的应用场景 二、进程退出 什么是进程退出码&#xff1f; 退出码的含义 进程退出方法 三、进程等待 进程等待的必要性 进程等待的方法 wait waitpid status 阻塞与非阻塞 四、进程替换 替换原理 替换函数 命名理解 简…

大数据005-hadoop003-了解MR及Java的简单实现

了解MapReduce MapReduce过程分为两个阶段&#xff1a;map阶段、reduce阶段。每个阶段搜键-值对作为输入和输出。 要执行一个MR任务&#xff0c;需要完成map、reduce函数的代码开发。 Hellow World 【Hadoop权威指南】中的以分析气象数据为例&#xff0c;找到每年的最高气温。…

【论文笔记】Language Models are Few-Shot Learners B部分

Language Models are Few-Shot Learners B 部分 回顾一下第一代 GPT-1 &#xff1a; 设计思路是 “海量无标记文本进行无监督预训练少量有标签文本有监督微调” 范式&#xff1b;模型架构是基于 Transformer 的叠加解码器&#xff08;掩码自注意力机制、残差、Layernorm&#…

Spark核心名词解释与编程

Spark核心概念 名词解释 1)ClusterManager&#xff1a;在Standalone(上述安装的模式&#xff0c;也就是依托于spark集群本身)模式中即为Master&#xff08;主节点&#xff09;&#xff0c;控制整个集群&#xff0c;监控Worker。在YARN模式中为资源管理器ResourceManager(国内…