苹果MR头显可以说是板上钉钉了,看了这么多的预测,几乎没有从ARKit的角度来看苹果头显的,因此本文我们将回顾ARKit近7年来的发展历程。
实际上,ARKit 3.5开始支持LiDAR(首个搭载的设备是iPad Pro 2020)就是为AR/VR头显筹备的重要一步,因为LiDAR可以实现更快距离探测实现即时AR交互,虚拟物体定位更精准,也带来了比如更逼真的遮挡效果提升沉浸感,还有更好的场景几何理解能力,为结合现实环境的MR交互提供基础。同时还有更重要的多物体AR交互能力,可以实现复杂AR场景。这些让苹果的AR体验实现了房间级的AR交互(实际上,这个概念至今没有多少媒体引用)。相关阅读:《iPad Pro新使命:开启房间级AR体验,iPhone、AR头显紧随其后》。
去年发布的ARKit 6基本就印证了苹果VST设备的策略,比如:支持4K分辨率显示、支持相机曝光调节、支持HDR录制等。以相机曝光调节为例,结合“数码旋钮”可以实现在VR和AR无缝切换能力,这个功能也是近半年被爆出苹果MR的一个重磅功能。其它功能也基本围绕“视频透视”的能力展开,非常容易联想到VST模式。相关阅读:《WWDC22:ARKit 6低调发布,新功能瞄准VST MR头显》
虽然说ARKit在iPhone和iPad并没有激起波澜,但将在苹果AR/MR头显上发挥重要作用。而且因苹果具备极强的软硬件整合能力,这些AR能力至今都是业内一流。
从2017年开始,苹果每年都会在WWDC活动上发布新版ARKit,截止去年已经更新迭代至ARKit 6,今年WWDC不出意外苹果MR头显即将发布。那么在此之前,也许我们可以通过ARKit的技术演变,来看看苹果的AR/VR策略,甚至猜猜未来哪些可能会体现在头显硬件上。
ARKit重要功能一览
ARKit 1(iOS 11)
第一个版本的ARKit支持的功能不多,但在当时是开创性的,它用法简单、性能优秀,允许开发者iPhone、iPad打造AR应用。ARKit 1使用视觉惯性里程计(VIO,一种融合相机和IMU数据实现SLAM的算法)来追踪周围物理场景,无需额外校准,就能可靠提取基于初始点的位置和方向变化。
此外还支持光照估计和渲染(由来优化AR外观),以及场景理解功能,比如检测水平面,并使用iPhone X的前置摄像头追踪人脸。通过ARKit 1,开发者可以将虚拟家具放置在真实场景中,或是允许用户在餐厅中踢AR足球。而面部追踪功能,则让Snapchat等AR滤镜更容易实现。
ARKit 1在A9和A10处理器上运行,支持Metal、SceneKit、Unity、Unreal等3D渲染引擎。
ARKit 1.5(iOS 11.3)
此前,ARKit 1只能识别桌面、椅子等水平表面,而ARKit 1.5则加入对墙体、房门等垂直表面的识别支持,允许开发者在垂直表面上固定AR内容。此外借助计算机视觉技术,对圆形家具等不规则表面的检测效果更准确,也能识别空间内的标志、海报、插图、二维码等2D图像,并调出对应的AR内容。
本次更新还改进了AR整体的质量,比如图像分辨率提升50%,支持自动对焦,更准确的房间测绘,让AR内容看起来更真实。
ARKit 2(iOS 12)
在WWDC 2018上,推出ARKit 2,还推出了一个与皮克斯合作开发的AR格式:USDZ,以及AR快速预览功能(AR Quick Look)。
ARKit 2性能升级部分:1,改进的人脸追踪效果;2,更逼真的渲染处理能力;3,3D控件检测能力;4,对象持久保持的能力;5,可共享的多人AR能力(基于本地设备到设备的数据传输,非云端。现场演示了乐高多人AR游戏)。
据了解,皮克斯此前曾开发可扩展的开源3D说明文件格式:USD,而USDZ则是针对AR的文件格式,特点是采用嵌入式设计,可快速预,目的是为了简化AR文件的访问和共享流程,而通过嵌入到app或网页中,可以很好的打通苹果全家桶生态。
苹果还推出了AR测量app《Measure》,可使用相机视觉预测物体尺寸、体积等数据,比如相框中相片的大小。
ARKit 3(iOS 13)
在WWDC 2019上,苹果不仅推出ARKit 3,还发布两个新的AR开发工具:RealityKit和Reality Composer,目的是补充ARKit,简化3D场景创建,提高AR交互场景的开发速度和效率。
ARKit 3更新包括:同时使用前置和后置相机来定位、动作捕捉、人体遮挡、更快的参考图像载入、自动识别图像尺寸、视觉连贯性、更稳定的3D物体识别、多人面部追踪、多人实时协作、识别高达100张图像、HDR环境纹理、AR Coaching UI,以及AR快速预览支持更多机型,并支持录制视频、启动Apple Pay、空间音频等功能
RealityKit可以在真实场景中以AR形式展示3D控件,从而快速实现AR场景融合。该工具主要有5大亮点:1,照片级渲染效果;2,支持环境和相机特效;3,支持动画、物理、音频等特效;4,整合ARKit;5,原生支持Swift API。
而Reality Composer则是一个3D场景创建工具,特点是通过拖拽、点击等简单操作,即可生成交互式AR场景。该工具内置大量3D内容数据库,还可与Xcode和iOS应用配合使用,从而实现AR场景快速预览、微调,大幅提升效率。
ARKit 3.5(iOS 13.4)
随着搭载LiDAR传感器的iPad Pro在2020年发售,苹果也推出了ARKit 3.5,其中包含了多个功能:场景几何(Scene Geometry)API、即时AR体验,此外还改进了动作捕捉和人体遮挡功能。这些功能和特性基于LiDAR硬件来实现,因此仅支持搭载LiDAR的iPad或iPhone型号。
场景几何API:可实时捕捉场景中的3D物体(地板、墙壁、天花板、窗户、门、桌椅),并构建3D场景模型,提升整个场景的3D识别能力。
即时AR体验:在开启AR模式时,无需左右扫描场景即可快速、实时放置AR对象。
ARKit 4(iOS 14)
从ARKit 3.5开始,ARKit的新功能主要围绕LiDAR等硬件技术展开,在此基础上,ARKit 4小幅更新,主要带来以下功能:深度API、位置锚定、AR视频纹理,同时面部追踪支持更多设备。
深度API:通过LiDAR对每个像素的深度信息进行分析,并与场景几何的3D网格数据结合使用,让虚拟物体与现实物体的融合更逼真、自然。同时,还可进一步提升AR测距应用的准确性;
位置锚定:基于Apple Maps数据,可将高分辨率AR内容(LBS AR)持续固定在现实场景/位置,例如一个著名景区,通过位置锚定即可为AR虚拟物体加上经纬度、海拔等信息,从而与地理位置永久性的融合。
此前,ARKit 2已经支持持久性AR,与位置锚定不同的是,持久性AR基于保存与加载地图特性,利用了视觉定位,而没有结合地图GPS数据。
视频纹理:可将视频纹理添加到RealityKit场景中任意部分,让物理对象、表面、人物看起来更生动。
面部追踪扩展:支持使用A12 Bionic及更新芯片的设备,但在特定的设备上,面部识别功能依然受限,比如iPhone SE仅支持单用户追踪,而具备原深感相机TureDepth的设备可同时识别追踪三个人脸信息。
ARKit 5(iOS 15)
在WWDC 2021期间,苹果低调更新了ARKit 5,同时也推出了RealityKit 2。
ARKit 5新功能主要有四点:1,位置锚定支持更多地区;2,人脸追踪功能升级(支持更多A12芯片设备,在配备深感相机设备中,支持3人面部追踪);3,改进运动追踪;4,AR绑定App Clip Code二维码。
而RealityKit 2新功能则包括:1,3D扫描(Object Capture API);2,自定义着色器;3,动态加载方式;4,系统模块定制;5,虚拟角色控制器。
Object Capture API是RealityKit 2的一大亮点,该功能旨在统一、简化3D扫描和建模的流程,同时更加充分利用LiDAR能力。据称,该API可在几分钟内输出USDZ格式的高质量3D模型,支持AR快速预览,也可以导入Reality Composer等其他工具。
ARKit 6(iOS 16)
在WWDC 2022期间,苹果依旧低调更新ARKit 6,本次更新的重磅功能包括:4K分辨率,HDR录制,实时调节相机曝光、白平衡等参数,这些功能对VST透视AR体验相当重要,未来能否应用于苹果MR头显则令人期待。此外,还加入了前摄+后摄融合玩法,可通过前摄捕捉人脸,然后基于后摄拍摄背景,实现一些另类的玩法和交互。
现有的功能也得到优化:改进了运动追踪,现支持识别左右耳朵,优化了姿态检测功能,可以自动估算好拍摄场景中物体的大小,并实现稳定的追踪效果,提高3D物体检测的鲁棒性。
ARKit 6依然只是小幅更新,一方面是因为该技术本身已经领先竞争对手,另一方面,按照苹果的设计思路,软件方面新功能大概率需更强大的硬件做支撑。
4K分辨率、HDR录制可为视频拍摄和分享、电影制作等场景带来价值,与此同时,也可以实现更好的VST混合现实效果。以往在谈到移动AR时,更多关注的是3D AR内容的清晰度、逼真度,以及与物理场景的自然交互/融合。而实际上,移动ARden视频背景清晰度也同样重要,对于VST头显来讲更是如此,清晰的视频透视可减少长时间体验的视觉疲劳。此外,ARKit 6带来的实时调节相机曝光、白平衡、对焦功能,对于沉浸式AR体验也很重要,比如可以把现实场景调暗等等操作。
甚至,如果还可以设置不同的焦点切换(这一点暂时没有明确),还能基于此实现引导注意力转移等玩法,对MR游戏的虚实融合类交互帮助很大,想象空间很大。
苹果还发布了新的AR工具:RoomPlan API,特点是基于ARKit和Swift API,硬件基于LiDAR设备,可通过扫描房屋场景进行3D规划,适用于房地产、建筑、室内设计、电子商务、酒店管理等行业。扫描后可导出USD或USDZ格式文件,文件中信息包括:房间中识别到的组件尺寸,家具类型等,并可在C4D、AutoCAD、Shapr3D等进一步编辑。
至此,苹果AR生态由5大套件组成:ARKit、RealityKit、RoomPlan、AR创作工具(Reality Composer、Reality Converter、Xcode和USDZ工具)和AR Quick Look。
在LBS AR、VPS领域,苹果也有布局,但全新设计的苹果地图在全球覆盖率上不如谷歌地图。比如此前苹果曾推出类似谷歌街景的Look Around功能,可实现基于VPS原理的AR导航等功能,但AR导航仅支持十几个城市。
此外,苹果在WWDC 2022上还推出了MapKit,允许开发者在AR应用中调用原生地图能力,推动LBS AR应用。
从ARKit的一次次更新中,一个重点是打通3D内容格式(USDZ),另一方面则是利用LiDAR模组优化AR性能。如无意外,苹果未来的AR/VR头显也将支持大量的LiDAR功能和应用。比如可以预见的是,图像识别、文字语言翻译、单位转换、价格识别等基于摄像头的玩法,未来很可能会作为MR/AR头戴设备的基础功能。
由此可见,ARKit打磨6-7年时间,苹果借助现有硬件已经支持相机动态调焦,以及曝光、白平衡等参数调节。而且,在相机、视频录制上有明显优势,显然苹果的VST方案上限可能会很高,就像是早年间的安卓手机和iPhone拍照的差别。接下来,苹果要做的就是AR/VR头显端的内容生态,这也直接影响着用户对这款产品的关注程度。