在今天举行的Google I/O大会上，尽管AI是全场最大的关注点，也还是有一系列AR相关技术和应用更新，比如：ARCore进行更新、推出新的Geospatial Creator等等。

ARCore面世已有5年时间，谷歌每年都在持续推动AR技术的发展。相比于早期简单的AR图像叠加效果、AR面部滤镜，现在谷歌开始探索更大规模的LBS AR应用场景，比如去年融合谷歌地球和街景数据的Geospatial API。同时，支持ARCore的安卓设备已达到14亿台。

硬件方面，自谷歌收购North Focals以来，外界一直在期待该公司推出新款AR眼镜，但显然没有那么快。今年2月，谷歌将AR业务拆分为软硬件两大部分，还宣布为三星XR设备开发基于安卓的操作系统，由此来看软件依然是谷歌AR业务的重头戏。

重点摘要：

• ARCore新功能：平面检测优化、EIS防抖、支持Vulkan
• Geospatial API新工具：街景几何图形、屋顶锚点、空间深度、场景语义
• 可视化AR创作工具Geospatial Creator
• 与三星合作XR设备
• 谷歌地图Immersive View更新
• Project Starline更新
• 与新加坡旅游局、Taito、Gensler、Quintar等合作

ARCore底层技术提升

ARCore作为谷歌AR的地基，每年都在优化和更新，本次发布的更新包括：

• 更准确的平面识别效果；
• 电子图像稳定技术（EIS）；
• 支持Vulkan。

谷歌指出，ARCore识别物理平面的错误率下降了52%，这意味着AR可以和物理空间更好的融合，正确的固定在地面、桌面等表面上，避免穿模。

而EIS的主要作用是减少相机抖动，不仅可以带来更好的视频拍摄效果，也可以优化LBS AR的稳定性。其工作原理是先检测相机中的细微移动，然后再移动图像来进行补偿。

此前，ARCore应用已经支持OpenGL图形接口，而接下来也将支持Vulkan，带来更好的跨平台能力。

地理空间API新功能

在I/O 2023期间，谷歌为ARCore Geospatial API推出了更多AR工具，旨在优化LBS AR开发的沉浸感和逼真感。这些新工具包括：街景几何图形API、屋顶锚点API、地理空间深度API和场景语义API。

1）街景几何图形API

可对真实场景的地形、建筑物等结构进行建模，让AR内容与物理环境可以准确遮挡和交互，或是为建筑物重新蒙皮。

据悉，该API兼容安卓和iOS系统。

2）屋顶锚点API

该工具允许开发者将AR内容固定在建筑物顶层，尊重建筑物的实际高度。此前，谷歌曾推出地理空间锚点，允许开发者将AR精准定位在特定的坐标，而屋顶锚点API，则允许开发者设定精准的高度。

该工具同样同时兼容安卓和iOS系统。

3）地理空间深度API

在2019年时，谷歌为ARCore推出简易场景深度识别工具Depth API，特点是基于动态深度算法，只用一颗RGB摄像头就能生成3D深度地图，适用于广泛的手机配置。而空间深度API是在此基础上的扩展，当启用街景几何图形时，空间深度API将自动扩大Depth API的适用范围和扫描速度。

比如，当AR街景几何图形所处位置在VPS覆盖范围，那么Depth API就会将本地捕捉到的3D深度地图与检索到的街景几何数据结合，宣称最远可识别65米深度。

据悉，地理空间深度API可在所有支持Depth API上的设备上使用，不需要ToF等深度传感器。不过，该工具目前仅支持安卓设备。

4）场景语义API

可在AR应用中提供基于机器学习模型的实时语义信息，允许AR内容理解周围的环境，对天空、建筑物、树、道路、人行道、车辆、人等不同的元素进行标记，并叠加不同类型的互动。值得注意的是，该工具仅支持安卓系统。

为了展示上述新工具，谷歌发布了一款开源的AR demo应用：Mega Golf，特点是利用街景几何API将城市转变成迷你高尔夫球场，允许你在城市打巨型高尔夫球，球在碰到建筑物后会反弹，甚至还能躲开3D虚拟障碍物。

Geospatial Creator

Geospatial Creator是一种无代码、可视化的AR开发工具，它的优势是更容易使用，直接在3D场景图块上直观创作，并支持Geospatial API的多项强大的AR功能，如：地理空间锚点、地形锚点、屋顶锚点等等。

相比于ARCore面向专业开发者来看，Geospatial Creator则是面向创意工作者、普通用户、企业或品牌，让更多人能进行AR内容创作。谷歌宣称，任何人使用它只需要几分钟就能设计、发布LBS AR内容。

目前，该工具已经集成到Adobe Aero和Unity两款应用中，当然这里也有个矛盾，前者算是to B兼to C类App，后者就是to B类应用，因此这两者还是不够贴近普通用户和消费者，仍具有一定的创作门槛。

实际创作起来也很简单，你可以通过搜索地点、地址或坐标（覆盖49个国家），就能调出特定位置的高分辨率3D图块，并在此基础上开发LBS AR内容，比如给一家咖啡店创作AR导航或店招等等。

与三星合作XR设备

在去年I/O上，谷歌曾公布一段AR眼镜demo，而今年则似乎未有AR硬件亮相，而是再次确认为三星的XR设备开发操作系统，并计划在今年内公布更多信息。

Immersive View for Routes

这是一种结合AI的沉浸式视图导航预览功能，也是在此前推出的Immersive View上的一个扩展，特点是允许你以3D街景的形式查看规划好的路线。据悉，该功能将于夏天开始向15个城市推送（包括伦敦、纽约、东京、旧金山）。

据了解，该功能的原理是利用AI和计算机视觉，将数十亿张街景和航拍图融合，生成沉浸的3D地图路线，允许你直观查看自行车道、人行道、十字路口、停车场等信息。你还可以查看这些路线在一天中不同时间段的视觉变化（路况、景色等等），以及空气质量信息、天气。

除此之外，谷歌还将推出Map Tile API和Aerial View API（预览版），其中Aerial View API允许开发者调用谷歌地图的鸟瞰街景模型，用于开发应用或电影拍摄。而Map Tile又称3D图块，指的是基于谷歌地球数据的高分辨率3D场景图，特点是基于Google Maps平台和ARCore，数据来自谷歌街景和谷歌地图，纹理基于高分辨率RGB光学图像，它可以看作是组成地球数字模型的组成部分（每一个图块对应特定的坐标）。此外，Map Tile基于Cesium地理空间联盟的3D Tiles开放标准，可兼容CesiumJs等渲染器和可视化库。

据了解，Map Tile覆盖了49个国家的2500多个城市，可将城市街区的交通、环境环境等细节可视化（数字孪生），还能通过API引入到各种3D、AR应用中。

在3D图块上，你可以叠加3D内容，还可以创作AR应用。比如在Geospatial Creator中，你可以引入3D图块，并在此基础上进行开发。

此外，Map Tile还可以用于可视化旅游、城市规划、建筑可视化、3D叙事、3D游戏和场景开发等场景。

体积更小的裸眼3D视频系统

在Google I/O 2021大会上，谷歌首次公布基于光场显示和3D实时视频的通讯系统：Project Starline，特点是支持裸眼3D效果，让视频通话看起来更身临其境，缺点是硬件笨重，占据空间大，不便携。而在今天举办的Google I/O 2023上，谷歌公布了体积更小的Starline原型，特点是使用了AI来简化硬件设计，更适合办公等日常应用。

据了解，早期的Starline原型依赖复杂的多相机、IR传感器阵列来捕捉/生成3D图像。相比之下，AI技术可合成3D视频数据，并投射到光场显示器中，因此只需要几个标准摄像头就能实现高质量3D通话。从外形来看，上一代Starline体积与梳妆台差不多，显示部分看着就像是一面大镜子，而新款Starline则更像是常见的显示屏大小，可放在桌面上。

相比于2D视频通话，利用Starline通话更接近线下面对面交流，通话者以逼真尺寸、外貌参与对话，并使用手势、眼神来交流。简单来讲，它仿佛是一扇窗口，可以将不同地点的人聚在一起。

合作案例

去年，谷歌曾与Nexus Studios合作，基于Geospatial API为虚拟乐队Gorillaz举办LBS AR演唱会。该演唱会只能在纽约、伦敦等特定地点观看，特点是将乐队成员放大成巨人大小，并以交互式AR形式显示，AR可与周围的建筑互动，比如允许乐队成员坐在高楼上等等，视觉效果足够震撼。

在今天的I/O大会上，谷歌又公布了与Gap、美泰、Global Street Art、新加坡旅游局、Gensler（金斯勒）、Taito等合作伙伴，一起打造的AR应用和案例。

比如，Gap和美泰（Mattel）利用Adobe Aero和Geospatial Creator工具，打造了一个芭比联名服装AR快闪广告，在纽约广场上直接部署虚拟的广告大牌。

AR体育方案商Quintar也与谷歌就AR展开合作，将ARCore Geospatial API、StreetView与Quintar的Q.reality平台结合，打造交互式AR解决方案，并在PGA巡回赛的官方App中引入AR导航功能：Quintar Places，允许观众用摄像头对准现实场景查看视觉方向指示，并对比自己和目的地相差的距离，宣称精准度足够好（误差在几厘米以内）。

而在墨西哥城、伦敦和洛杉矶也有一些基于谷歌Geospatial API制作的LBS AR街头艺术应用。比如谷歌艺术与文化和Global Street Art合作，邀请三位知名艺术家用LBS AR来创作壁画，让传统的壁画形式变得更加生动。

此外，谷歌还与新加坡旅游局合作，在VisitSingapore官方app中引入AR导览功能（预计夏天上线），不同于基础的AR指示，该功能采用可爱的吉祥物来介绍景点、文化和历史，并为游客提供交互式AR交响乐表演。

Gensler是国际著名的建筑咨询公司，该公司使用Geospatial Creator创建了一个公益的AR可视化项目，旨在帮助决策者设想新城市项目对于无家可归者的影响。

谷歌还与Taito合作推出LBS AR游戏《太空侵略者：World Defense》，该作基于Geospatial API、Streetscape Geometry API开发，可在真实建筑上固定传送门，释放太空侵略者，这些侵略者可能出现在天空中等任意地点，动作还能适应周围的环境（比如躲在建筑后面）。

总之，Geospatial API可为各种不同的场景开发AR导航系统，比如主题公园、音乐会、市集、体育赛事、户外艺术馆、购物中心等等。

谷歌还承诺，将Google Map和Google Earth平台的3D数据开放给开发者，用于开发LBS AR，探索AR的潜在应用场景。更重要的是，这些LBS AR应用在未来可以在同一个基于地图的界面中相互关联，比如在谷歌地图中帮助用户发掘周围可体验的LBS AR应用。

在谷歌地图基础上，谷歌正在为无处不在的AR生态提供支持，其打造的不是特定的应用，而是包括大量内容的AR平台。谷歌AR工具的优势是支持跨平台，其中部分功能还支持iOS系统，兼容性好。与此同时，结合谷歌地球和街景数据的Geospatial API更被看作是谷歌AR的杀手锏，在未来户外LBS AR大背景下的一大刚需。在AR方向上谷歌看似“不紧不慢”，实则在整合全公司的技术能力来告诉大家：Geospatial或许就是AR的杀手级场景之一。参考：Google