去年九月,Cocos CreatorXR v1.0.1 版本支持了 VR 内容创作,成为率先支持 XR 的国产引擎,今年三月,Cocos CreatorXR v1.1.0 版本实现了对 AR 内容开发的支持。在完成基本功能的建设后,更多开发者开始尝试使用 Cocos CreatorXR 创作出属于自己的 XR 内容,我们也收获了不少开发者的意见和建议,再次向所有开发者表示感谢。
在我们收获的反馈中,被反复提及一个问题是如何更好地实现跨平台 XR 开发,许多开发者也提到了 WebXR ,希望 Cocos CreatorXR 能够尽快完成相关支持。
在 Cocos CreatorXR 1.2.0 版本中,我们非常高兴地宣布,从优先解决实际开发痛点为出发点,本次更新新增了对 WebXR 的支持,Cocos CreatorXR 也成为官方支持发布到 WebXR 的图形化编辑器,帮助开发者实现 AR/VR 的跨平台的开发。此外,本次更新还新增了 MR 相关的功能,为下一阶段 MR 类型应用的大热做好准备。
WebXR:
跨平台的 XR 内容形式
在桌面与移动互联网交织,消费电子百花齐放的时代,Web 标准作为最重要的跨平台手段,为生态的繁荣贡献卓著。为了让 Web 内容也能够服务于下一代计算平台——XR,降低产业前期碎片化的影响,并吸引更多的开发者和技术生态,业界形成了新的 Web 标准——WebXR。该标准将 Web 内容跨平台的能力扩展到了 XR 这个全新的体验形式,用同一套 API 就能支持 VR、AR、MR 等不同的 XR 模式,将各种硬件设备、操作系统、原生 SDK 之间的差异降到了最低。
对开发者来说,使用 Cocos 开发 Web 内容是非常“高效”的,这里的“高效”不仅体现在使用 Cocos 可以快速开发 Web 内容,更体现在借助 Cocos 强大的跨平台能力,可以在短时间内将不同版本重新构建为 Web 版本并上线。Cocos CreatorXR 也继承了这一特性:一次开发,即可进行多设备跨平台部署。通过 WebXR 跨平台、低门槛、便利部署等优势,让 Cocos 开发者可以更轻松地开发和分发丰富的 XR 应用与内容,帮助开发者更好地进行跨平台 XR 开发,实现跨三端的 3D 应用和 2D 应用。
视频透视:
虚实融合的未来,更近一步
在 MR 的发展过程中,视频透视是重要的技术路径,它实现了虚实融合,为 MR 的实现提供了基础,是获得更自然交互体验的关键所在,也是各大公司的重点探索方向。在这一背景下,Cocos CreatorXR 1.2.0 新增了视频透视相关的功能,帮助开发者探索 MR 更多可能。
Cocos CreatorXR 1.2.0 新增了对 XR Composition Layer 和 XR PassThrough Layer 支持。其中,Composition Layer (合成层)可以用来展示 XR 场景中的焦点对象,例如信息、文本、视频以及纹理,也可以用来展示简单的场景环境和背景,它简化了整个渲染流程,同时提升渲染质量。PassThrough Layer 可以调用 XR 设备的摄像头捕获现实场景,并在屏幕上显示,打破了完全封闭虚拟环境,将现实世界带入虚拟体验中,也打开了通向 MR 世界的大门。
以下为本次更新的主要内容:
新增 WebXR 支持:
支持 WebXR 的已有会话模式,包含 inline /immersive-ar /immersive-vr,并可以通过组件和 API 来进行会话模式切换
在 immersive-ar 模式下,具备调用设备原生 ARCore SDK 来实现 AR 特性的能力
在 immersive-vr 模式下,能够实现 VR 设备的双目渲染输出和空间姿态输入
注:WebXR 目前已经在手持 Android 设备的 Chrome 浏览器,以及 Quest2 /Pico Neo3 /Pico4 设备的自带浏览器上完成测试。请及时更新以上设备的浏览器 /OS 到最新版本,手持设备请在 Chrome 输入 chrome://flags ,搜索并打开 webxr incubations 以便能启用所有 AR 特性(需要设备本身预装了 ARCore)。
新增 MR 相关能力:
支持 XR Composition Layer,包含 Overlay 和 Underlay 两种类型,能够避免额外的纹理采样来提升纹理和视频的清晰度
支持 XR PassThrough Layer 视频透视功能和相应的调用组件,可以方便的构建基于空间锚点的 MR 类型应用,目前已支持 Quest 系列
其他新增组件与能力:
XR SpatialAudio 组件,用于实现空间音效
XR WebView 组件,可以实现在 XR 应用界面内显示网页内容
XR VideoPlayer 现在支持 Web 端视频播放,并且支持 3D 视频
FFR 固定注视点渲染功能,可以通过降低视野边缘区域的渲染精度来提升性能,目前已支持 Quest 系列开启此功能
ARKit 新增特性开关供开发者调用
支持各 AR SDK 的光照估计的参数调节,并支持 HDR/LDR 模式
屏幕手势交互组件新增行为控制和放置位置计算功能
设备端 SDK 版本支持更新:
Spaces SDK 支持更新到 0.11.1,并新增 RGB Camera /Meshing 特性的支持
Quest v50 版本的 OpenXR Loader 1.0.26 的支持
Monado OpenXR Loader 1.0.26 的支持
新增 Rokid Max 及 Pico 4 Pro 两款 XR 设备的支持验证
优化体验并解决 1.1.1 版本遗留的问题:
屏幕手势交互的效果优化及缩放最小值失效,旋转手势反向,Drag 手势修复等
华为 VR Glass 的手柄震动时间 0 无效问题
首次打开工程后进行摄像机转换为 AR 出现报错修复
其余 AR 案例及功能的中低优先级 bug 修复 10 余项
1.2.0 版本的发布,标志着 Cocos CreatorXR 对 WebXR 及 MR 应用的支持迈出了重要的一步。随着对更多设备和能力的支持,Cocos CreatorXR 将继续拓展在 XR 领域的应用场景,为开发者们带来更加丰富的创作空间。同时,我们也将继续关注 XR 技术的发展趋势,进一步优化和改进 Cocos CreatorXR,为开发者提供更高效、便捷的 XR 开发工具。让我们共同期待一个更加美好、充满创意的 XR 未来!
下载链接:
Cocos CreatorXR v1.2.0 插件下载
https://store.cocos.com/app/detail/4117
Cocos Dashboard 下载
Mac:https://download.cocos.com/CocosDashboard/v1.3.2/CocosDashboard-v1.3.2-mac-040321.dmg
WIN:https://download.cocos.com/CocosDashboard/v1.3.2/CocosDashboard-v1.3.2-win-040321.exe
Cocos CreatorXR 官方文档
https://docs.cocos.com/creator/manual/zh/xr/
点击文末【阅读原文】即可前往下载 Cocos CreatorXR v1.2.0。欢迎扫描下方二维码添加官方人员微信号,备注“公司名+CocosXR”,加入 Cocos XR 开发者交流群来互助成长:
往期精彩