游戏引擎在进化,下一代3D创建引擎#a16z

news2024/10/5 19:09:01

这是一篇发表在a16z的文章,文中的观点非常值得我们学习。我花了点时间对原文进行梳理,挑选/补充了一些信息,分享给大家。

a16z.com/unbundling-the-game-engine

解开游戏引擎:下一代3D创作引擎的崛起

作者:Troy Kirwin和Jonathan Lai

a1e16d9d0f138d20dc77344ed443d75a.jpeg

今天,新的3D创作引擎(游戏引擎)有一个独特的机会,可以彻底改变我们创建游戏、电影、虚拟世界等数字内容的方式。

我们看下主流的3D引擎:Unity3D(2005)、Unreal Engine(1998)、Roblox(2006)和Godot(2014),最老的有都有25年历史,他们在不同的计算时代而被设计开发。

NEW

生成式人工智能、云计算和新空间平台的出现将颠覆3D内容的创建。

(ps:Unity3D最近的定价变化,也让其使用者在寻找替代方案)

游戏引擎简史

人类一直渴望构建和探索我们脑海中想象的世界。从远古神话到我们今天视频、游戏所呈现的数字世界,今天这些世界的仿真度,已经能提供接近身临其境的体验。

再加上有了人工智能的加持,可能性被进一步打开。

到目前为止,将超凡的虚拟世界带入我们的屏幕只是少数才华横溢的创作者——像宫本茂(任天堂游戏的缔造者)、James Cameron(阿凡达电影导演)和George Lucas(星球大战电影制片人)这样的传奇人物。

今天,我们正在进入一个创意技术赋能每个个体,每个人都可以自由地创造虚拟世界的时代。

( 每个人都可以成为超级个体 )

游戏引擎是构建和渲染这些实时3D互动世界的容器。他们整合了3D资产(角色、道具/对象、环境等)、动画(如何移动)、代码(如何工作)、物理(如何互动)、声音效果、粒子效果(烟雾、火、液体等)和叙述/语音(故事)。

在2010年之前,大多数工作室开发了自己的内部引擎来构建他们的游戏。现在,几乎所有的游戏都是使用下图所示的第三方引擎构建的。

8b0f31af53584d775e3b0ed5489ce6fa.jpeg

今天,“游戏引擎”不仅用于编写视频游戏,还用于任何虚拟模拟——因此我们将游戏引擎,称为3D创建引擎。

在计算机图形学的前半个世纪,技术、工具和渲染管道被分叉(很像分科而学),以开发游戏和其他需要高视觉保真度的东西:动画/VFX、建筑可视化、广告等。虽然游戏根据输入在最终用户设备上实时渲染,但VFX/动画镜头是离线渲染并“预制”。

在线vs离线,所带来的体验完全不一样。

现在,随着游戏引擎的图形能力接近逼真,前面提到的分叉开始回归到一起,行业和工具集正在互相集成、整合。

什么是下一代3D创建引擎?

关键技术:


1/ 人工智能原生引擎以思维的速度释放创造力

我们正走向一种新的可能,在这种可能下,创建将从一个简单的文本框开始,以生成您项目的初稿 —— 新创作者的进入门槛大大降低。

3D体验是艺术、声音、动画、代码、物理等的融合,人工智能原生的引擎不会孤立地调用底层生成模型,模型将是多模态的,利用语义场景或世界理解作为输入。

想象一个场景:

您将办公桌资产放置在办公室环境中。然后,一名人工智能副驾驶建议用适当的办公家具(如椅子、电脑、书架和办公用品)“自动填充”场景。掉进房间的角色对设置有基于物理的理解,并且天生就知道应该滚动椅子并坐在上面的动画,而开发人员无需选择和应用特定的动画文件。然后实时生成相关的声音效果。

几个关键转变:

在人工智能的帮助下,创作体验转向自动驾驶,但创作者应该始终能够干预并进行控制(导演)。内容创建不再是项目的瓶颈,项目的瓶颈会转变为团队协作和内容评估。工作室中的创作者角色将从极端专业化(例如环境艺术家、纹理画家)转向创意通才。

2/ 云原生引擎、最大化定制

引擎应该是高度模块化的,建立在微服务和API的基础上,允许开发人员为特定项目组装合适的引擎。此外,开发人员可以弹性地扩展计算以完成特定任务。资产可以从云端逐步流式传输,而不需要构建一个大型的静态安装包。

3/ 多人共同创建,由分布式团队进行快速迭代

有非常多的工具已经转移到云原生应用程序(Google Suite、Figma、Canva、Replit、Sequence等),但游戏开发落后了。云原生引擎将能够通过浏览器从任何地方使用任何设备创建3D体验。它将允许创作者轻松、即时地与全球分布式团队实时协作,从而提高迭代速度。版本控制系统将原生构建,就像谷歌文档一样。

4/ 适应创作者的用户体验

云原生应用程序的UX可以适应不同角色的需要。游戏工作室里有很多角色:从艺术家到拥有不同技术知识水平的开发人员。然而,尽管3D创建引擎(游戏与VFX等)有不同的角色和许多不同的用例,但编辑器UX保持不变。对于一个新手来说,这可能非常令人生畏。基于云的模块化应用程序可以提供许多不同的用户体验。当用户进阶时,编辑器可能会逐渐向用户引入更多的功能和可控性。该引擎还可能有一个第三方编辑器UX市场,每个市场都是为服务于特定的用例而构建的。

5/ 开箱即用社区模块

下一代引擎应该被设计成一个开箱即用的模块化环境,开发人员可以选择将其扩展到最终用户创建者。由于编辑器、资产和数据将保存在云中,开发人员可以选择将安全和可控的云沙盒环境扩展到工作室以外的创作者,就像他们用来开发原始游戏的环境一样。

下一代创造引擎将如何出现?

下一代引擎可能会通过传统游戏引擎分叉的几个方向出现,而不是与现有引擎竞争,试图为每个用例提供服务:

  • 垂直焦点:在服务特定游戏类型或艺术风格上是一流的

  • 新平台:针对特定平台进行优化

  • 人工智能世界生成器:构建面向消费者的人工智能世界构建平台

0b2791caebc43c8fd9d0aefa7dc8927c.jpeg

现任引擎的优势在于拥有数百万开发人员,他们接受过可以入职的培训。他们拥有庞大的第三方插件、组件和集成市场。论坛、教科书和教程视频中记录了丰富的知识和学习材料。

为了突破新引擎,我们更有可能看到一个以几个特定用例为重点的拆分。

垂直焦点

下一个广泛使用的引擎可能会从围绕特定游戏类型或艺术风格的改装和垂直创作平台开始,而不是通用的水平引擎。

想想《堡垒之夜》的虚幻编辑器,而不是虚幻引擎。

很难说服开发人员在新的第三方引擎上构建。

虚幻引擎诞生于Epic的游戏虚幻和虚幻锦标赛的开发。

甚至Unity也源于一个名为Gooball的失败游戏。在引擎开源之前,Godot被引擎创建者用于运送游戏近10年。

因此,作为证明引擎的一种方式,我们可能会看到开发人员在平台上构建第一款游戏(或系列游戏)。

在人工智能的推动下,开发游戏的时间和成本会变得很小。

第一款内容不一定需要大受欢迎。它只需要播下种子并启动创建者飞轮,直到发现病毒式打击。

今年,Epic推出了Fortnite的虚幻编辑器(“UEFN”),这是一个围绕Fortnite的垂直UGC平台。创建工具从UE中抽象出了许多复杂功能。

值得注意的是,UGC平台的消费者的价值远远超过游戏引擎。Roblox要求30%的收入佣金,而UE是5%。

如果从一开始就在技术上正确构建,而不是有两个单独的创建工具集(UEFN和UE),下一代引擎可以允许创建者将mod/游戏发布到UGC平台或从同一工具外部自行发布。

模块化引擎可以适应项目的任何要求。当Roblox开发人员准备“升级”,在平台外自行发布自己的游戏时,他们就会离开生态系统,而不得不去学习Unity或Unreal。但有了下一代UGC平台和引擎,那就没有必要了。

我们可能会看到一系列垂直的平台的出现。UEFN:大逃杀/第三人称射击游戏爱好者服务的地方,您可能会看到等效的实时策略、体育、派对或2D游戏。

例如,

Pahdo Labs正在围绕它建立一个动漫ARPG游戏和创作平台。

Roboto Games正在开发一个生存制作游戏和模组平台。

Omni Creator Products正在围绕其沙盒游戏构建一个UGC平台。

我们可能会看到的一种垂直创建平台将围绕配备AI NPC的AI原生游戏,以及运行时的资产、语音和声音生成。拥有一款旗舰游戏为底层系统和人工智能模型如何最好地协同工作铺平了道路,将为其他创作者设计更好的游戏创造一个很好的起点。

事实上,在某些方面,我们已经在AI Town上看到了这种情况的早期迹象,AI Town是一款带有自主代理的AI“模拟娃娃屋”游戏。

b2695858ff05e3da74532b6019cbf268.png

像Zaranova这样的作品正在构建基础项目框架,作者开发了一款名为Thus Spoke Zaranova的游戏,玩家扮演一个潜入虚拟空间The Nexus的人类,寻找能让人类在与人工智能斗争中占上风的ZetaMaster代码。作者的目标是探索如何在视频游戏中最好地使用生成AI,以及如何使生成AI游戏对广大受众有趣。。

Incite Interactive正在构建一个平台来构建基于人工智能原生叙事的游戏。

a8f46c9b498c57380b0171e2f56087f7.png

Incite Interactive是一家新的AI原生游戏工作室,致力于创建让玩家每个决策都对故事产生重要影响的游戏。他们的AI UGC平台让玩家可以轻松创建自己的AI角色和情节,并与朋友分享。他们正在建设一个包含各种冒险的目的地。

其中一些创建平台可能从头开始构建引擎,或者它们可能会分叉一个开源引擎,类似于The Mirror在Godot上构建平台的方式。然而,每个平台都需要将人工智能深深地融入到创作工作流程中,以使新创作者更容易10倍,并启动飞轮。虽然您不太可能从一开始就看到当前的专业工作室在这些新引擎的基础上构建,但新的工作室将出现,他们原生于工具就像我们在手机上看到的Roblox和现在的UEFN一样。

新的目标平台

Unity和Unreal也将面临新引擎的竞争,这些引擎最适合为XR等新目标平台或3D Web等服务不足的平台提供服务。虽然Unreal和Unity试图支持所有平台,实现跨平台开发,但他们用一刀切的方法对引擎进行性能权衡。Unity和Unreal都有繁重的运行时间,因此向低功率XR设备和浏览器提供高性能3D体验具有挑战性。为这些设备设计一个适合低水平的引擎,将最大限度地提高图形性能。举几个例子,Ambient.Run希望支持浏览器游戏,Wonderland支持WebXR。

我们还将看到沉浸式/空间3D创建应用程序的出现。从2D屏幕开发空间计算体验可能会很痛苦。在XR中拥有设备原生的创作体验,在实现全部设计意图方面具有变革性。某些3D艺术工具,如网格雕刻,感觉是为空间计算量身定制的,手势输入更类似于物理世界的雕刻。Volumetrics正在为空间应用程序构建一个原生的3D创作平台和引擎。

我们之前预测,部分由WebGPU、WebAssembly、WebXR等驱动的基于浏览器的游戏将增加。一个更轻的引擎,可以在浏览器中达到峰值性能,可以赢得市场份额。

人工智能世界发电机

正如3D创作被拆开和简化一样,我们将同时看到新的面向消费者的工具的出现,这些工具重新想象了我们所知道的3D世界建设。这些工具看起来非常非正统,以至于许多游戏开发人员最初会认为它是一个“玩具”,因为这正是它。事实上,“游戏”可能不会在输出中,而是在创造体验本身中。

想象一下,拍摄一张照片或文本提示,并实时生成3D场景。你走进现场,可能使用VR耳机,无休止地探索。看到你不喜欢的东西了吗?部分或全部重新提示场景。在引擎下,当你移动时,每个帧都是实时生成的,而不是在传统的计算机图形范式中呈现。

今天,我们对这种体验最接近的表现是使用Luma或Polycam等扫描应用程序捕获的静态场景,这些应用程序允许您进入您在现实世界中观察到的封闭环境,时间冻结。近几个月来,我们看到了生成性人工智能在实现这一用例方面的巨大技术飞跃。8月发布的3D Gaussian Splatting是对神经辐射场(NeRFs)3D捕获方法的有意义的改进,提供了更快的渲染速度、更高的可编辑性和更好的质量。

然而,很快,新的应用程序将出现,使我们能够使场景变得动态,首先是通过重新动画捕获的角色或通过内绘将新对象放入场景中。然后,我们将能够扩展到捕获的场景之外,本质上是外绘画,并允许模型产生无尽的幻觉。这些模型甚至可能开始理解物理定律,这将允许你与环境实际互动。

随着时间的推移,这些场景将不是通过在现实世界中捕获所需场景的数百张图像来生成的,而是通过单个图像或文本提示来生成的。用你童年的图像呈现模型,并像时间机器一样重新进入世界。

很难预测这种3D世界建设潜力所解锁的用例。从消费者方面来看,富有想象力地构建世界、重现记忆或探索梦幻般的环境的行为将是开创性的。随着工具的成熟和可控性的完善,专业用例将得到发展。从为电影创建虚拟舞台到建筑可视化和演练,这些工具将从玩具箱转移到企业。

那么这一切意味着什么?

未来十年,3D创作引擎的格局将发生巨大变化,这反过来将改变整个娱乐业的面貌。

我们将目睹内容多样性的寒武纪爆炸

随着创造成本接近零,唯一的限制是想象力,而不是所需的技术技能。我们将看到新游戏和互动娱乐体验的寒武纪爆炸。

暴雪的《魔兽争霸II》有一个由改装者使用的世界编辑器来创建“Aeon of Strife”,这是一款MOBA风格的游戏,后来启发了“Eul”在《魔兽争霸III》的编辑器中创建DotA,最终导致了标志性的MOBA游戏英雄联盟。

游戏和电影变得无法区分

在文化上,好莱坞和游戏行业已经与今年最受欢迎的电视节目之一(《最后生还者》)和源于游戏的电影(超级马里奥兄弟)发生碰撞,而今年最受欢迎的新游戏之一是霍格沃茨遗产。

技术堆栈也一直在与3D创建引擎合并,用于VFX/动画预可视化,然后是虚拟制作,并很快根据最初的RenderMan愿景进行最终渲染。

从制作的角度来看,很快《最后生还者》或《哈利·波特》可能不需要单独的3D资产来制作电影与游戏。电影摄制组将能够用相机捕捉场景,然后使用人工智能和“虚拟相机”从不同的有利位置生成场景。如果他们不喜欢剪辑——演员如何阅读台词,临时演员如何移动等——导演可以通过文本提示在后期制作中修复它。

从消费者的角度来看,Netflix(或颠覆者)可能会附带一个运行时播放器,我们可以随时暂停,进入霍格沃茨的世界并探索虚拟世界。随着时间的推移,我们甚至能够进行自己的任务,并与我遇到的AI NPC互动,这些NPC就像好莱坞演员一样逼真。

未来是互动的

游戏和娱乐世界的一切都会改变。我们的想象力带我们去的任何世界都可以在屏幕上被描绘出来。

这不会在一夜之间发生,因为有许多挑战需要克服:研究问题仍未解决,计算需求巨大,需要发明新的商业模式,可能最重要的是,创始人需要发现正确的人工智能原生创造用户体验,以平衡易用性与力量和深度。

AI原生

模块化

新的创作体验

聚集新的消费者

—— 

新的内容品类

499dcbc34acadace1e605e14b5956706.jpeg

交流社群

82c3e610637b80f80811c61f840f6063.jpeg

入群备注:AI游戏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1418636.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Windows11搭建GPU版本PyTorch环境详细过程

Anaconda安装 https://www.anaconda.com/ Anaconda: 中文大蟒蛇,是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。从官网下载Setup:点击安装,之后勾选上可以方便在普通命令行cmd和PowerShell中使用…

计网Lesson12 - UDP客户服务器模型和UDP协议

文章目录 丢个图在这,实在不是很明白在讲啥,等学完网编的我归来狠狠拿下它

【IM】如何保证消息可用性(二)

请先阅读第一篇:【IM】如何保证消息可用性(一) 在第一篇文章中我们了解了保证消息可用性的挑战与目标,现在我们来对于具体的技术方案进行探讨。 1. 上行消息 消息上行过程指的是客户端发送消息给服务端 我们需要先辨析几个概念…

Vue学习笔记之生命周期函数

生命周期示意图如下所示: beforeCreate:组件初始化之前触发该事件created:组件初始化完毕触发该事件beforeMount:Vue应用对象挂载DOM结点之前触发该事件mounted:DOM结点挂载成功之后触发该事件beforeUpdate&#xff1a…

如何使用docker compose安装APITable并远程访问登录界面

文章目录 前言1. 部署APITable2. cpolar的安装和注册3. 配置APITable公网访问地址4. 固定APITable公网地址 正文开始前给大家推荐个网站,前些天发现了一个巨牛的 人工智能学习网站, 通俗易懂,风趣幽默,忍不住分享一下给大家。 …

大创项目推荐 题目:基于机器视觉的图像矫正 (以车牌识别为例) - 图像畸变校正

文章目录 0 简介1 思路简介1.1 车牌定位1.2 畸变校正 2 代码实现2.1 车牌定位2.1.1 通过颜色特征选定可疑区域2.1.2 寻找车牌外围轮廓2.1.3 车牌区域定位 2.2 畸变校正2.2.1 畸变后车牌顶点定位2.2.2 校正 7 最后 0 简介 🔥 优质竞赛项目系列,今天要分享…

Pytest单元测试框架

第一章、pytest概述 Pytest is a framework that makes building simple and scalable tests easy. Tests are expressive and readable—no boilerplate code required. Get started in minutes with a small unit test or complex functional test for your application or l…

Onvif协议5: 预置位的操作

目录 1. 介绍 2. GetPreset 3. SetPreset 4.预置位的索引 5. GotoPreset 1. 介绍 球机的云台预置位控制主要包含的内容有:预置位的设置、预置位的调用、预置位的删除以及预置位的名称修改等 云台预置位的设置:调用Onvif协议中云台预置位设置接口&a…

CH395Q之CH395Q简介(一)

本节主要介绍以下内容: 1、TCP/IP协议栈是什么(了解) 2、CH395Q是什么(了解) 3、CH395Q工作命令(熟悉) 4、CH395Q & W5500 一、TCP/IP协议栈是什么 是一系列网络协议的总和&#xff0…

如何使用宝塔面板搭建MySQL 5.5数据库并实现公网远程连接

文章目录 前言1.Mysql服务安装2.创建数据库3.安装cpolar3.2 创建HTTP隧道 4.远程连接5.固定TCP地址5.1 保留一个固定的公网TCP端口地址5.2 配置固定公网TCP端口地址 前言 宝塔面板的简易操作性,使得运维难度降低,简化了Linux命令行进行繁琐的配置,下面简单几步,通过宝塔面板cp…

微信小程序|摇骰子

目录 简介设计与功能需求确定用户界面设计确定摇骰子动画效果确定随机数生成算法编码实现实现摇骰子动画测试与优化进行功能测试进行性能测试说明简介 制作一个摇骰子小程序是一个有趣且具有挑战性的项目。通过这个项目,你可以学习如何运用编程技术来模拟骰子的摇动和结果显示…

【全程录屏GPT3.5升级4.0】2024最新GPT4升级订阅详细指南

前言:为什么要升级GPT4.0,下图是来自GPT4.0的官方回答,可以看出,GPT4无愧于是一个大版本升级的。 一、视频教程 记录了普通用户使用WildCrad从GPT3.5升级到4.0的全部过程,感兴趣可以前往观看:https://www.…

qemu 抓取linux kernel vmcore

一、背景 在qemu调试linux kernel时 有时我们会遇到dump 情况,这时可以通过gdb 方式连接分析dump, 但实际中我们用得更多的是离线dump 分析,分析的文件通常是vmcore(linux kernel panic 生成的coredump文件)或者ramdu…

合并有序链表---链表OJ---归并思想

https://leetcode.cn/problems/merge-two-sorted-lists/?envTypestudy-plan-v2&envIdtop-100-liked 将两个有序的链表合并为一个新的有序链表,那不就是和归并排序中最后合并的思想一样吗?只不过那里合并的是数组,这里合并的是链表。 首先…

构建知识图谱:从技术到实战的完整指南

目录 一、概述二、知识图谱的基础理论定义与分类核心组成历史与发展 三、知识获取与预处理数据源选择数据清洗实体识别 四、知识表示方法知识表示模型RDFOWL属性图模型 本体构建关系提取与表示 五、知识图谱构建技术图数据库选择Neo4jArangoDB 构建流程数据预处理实体关系识别图…

C++类和对象引入以及类的介绍使用

文章目录 一、面向过程和面向对象的初步认识二、类的引入2.2 类的引入 三、类的访问限定符及封装3.3 访问限定符3.4 【面试题】C中struct和class的区别3.5 类的两种定义方式 四、封装【面试题】面向对象的三大特性 五、类的作用域六、类的实例化七、类对象模型7.1 类对象的存储…

[嵌入式系统-5]:龙芯1B 开发学习套件 -2- LoongIDE 集成开发环境集成开发环境的安装步骤

目录 一、LoongIDE(龙芯开发工具集成环境)概述 1.1 概述 二、软件开发环境的安装过程 2.0 注意事项 2.1 步骤1:MingW运行环境 2.2 步骤2:安装LoongIDE 2.3 步骤3:安装MIPS工具链 2.4 配置工具链 2.5 重启电脑…

做什么副业比较靠谱,这五个正规项目,记得收藏

人这一生不易,每个阶段都会有压力和烦恼,尤其是成年人,上有老下有小的,生活的重担都在一个人身上,压得人喘不过气。生活的方方面面都需要钱,仅靠工资已经很难维持一家人的开支了。所以很多人打算利用业余时…

基于YOLOv7算法和FLIR数据集的高精度实时红外行人目标检测系统(PyTorch+Pyside6+YOLOv7)

摘要:基于YOLOv7算法和FLIR数据集的高精度实时红外行人目标检测系统可用于日常生活中检测与定位自行车、汽车、狗和行人目标,此系统可完成对输入图片、视频、文件夹以及摄像头方式的目标检测与识别,同时本系统还支持检测结果可视化与导出。本…

Alexa Fluo350 NHS 酯,AF350活性酯,可用于标记胺修饰的寡核苷酸

您好,欢迎来到新研之家 文章关键词:AF350 Succinimidyl Ester,AF350 NHS Ester,Alexa Fluo350 NHS 酯,AF350活性酯 一、基本信息 产品简介:AF 350 is a blue fluorescent dye. AF 350 dye is used for s…