原创 | 文 BFT机器人
沉浸式混合现实和由虚拟现实（VR）和增强现实（AR）组成的扩展现实技术仍然是业务创新和扩张的关键驱动因素。通过改变公司的运营、与客户互动和实现目标的方式，这一技术解决方案集已在多个行业产生了重大影响。
虽然仍处于起步阶段，但据估计，到100年，AR和VR的全球用户将超过2027亿。在实现这一趋势的过程中，很明显，采用AR / VR应用程序开发服务为其用户创造沉浸式体验的组织将在今天和不久的将来脱颖而出。
PART 01
什么是AR/VR
为了改善用户与数字世界的感知和互动，增强现实（AR）和虚拟现实（VR）是两种独立但相关的技术。AR和VR之间的主要区别在于所使用的设备和体验的性质：AR发生在现实世界的环境中，而VR是完全虚拟的。
AR和VR都包含在被称为XR或扩展现实的沉浸式技术类别中。还有混合现实（MR），它本质上是增强现实（AR）和虚拟现实（VR）的结合。它结合了物理世界和数字世界，建立了一个他们并肩生活并实时交流的空间。
通过将图像、视频和3D模型等数字数据叠加到物理环境、增强现实或AR上，可以改善用户感知周围环境以及与周围环境交互的方式。数字内容通常使用智能手机、平板电脑或专用AR眼镜实时显示。在仍然了解周围环境的同时，AR技术的用户可以查看虚拟对象并与之交互。许多AR应用可以在一系列领域找到，包括制造，建筑，零售，医疗保健等。
虚拟现实可以将用户完全淹没在模拟的数字环境中，并且可能根本不像现实世界。用户佩戴VR头显时进入的虚拟世界可以互动并对他们的动作做出反应。
该技术旨在通过让用户感觉自己实际上在虚拟环境中，为用户提供一种存在感和沉浸感。AR和VR都具有独特的品质，带来了有趣的商机。
更有趣的是，这些沉浸式混合现实技术正在与3D人工智能（AI）、机器学习（ML）、云服务和物联网（IoT）相结合，为各行各业的企业提供培训、设计、工程、生产、机器人和自动化等一切动力，尤其是在不断发展的电子商务环境中。因此，制造业、医疗保健、技术、建筑、能源、汽车、航空航天和金融服务（仅举几例）的企业更具竞争力，并为未来的增长做好了准备。
最终，这些技术将被用来帮助公司做出更明智的决策，并虚拟地补充人力资本以更好地为客户服务。通过这样做，组织可以为客户创造更强大和个性化的体验，无论是最终消费者还是供应链上的合作伙伴。在每种情况下，聪明、精明和成功的组织都在将其工作负载基础架构迁移到云环境中，以启动和管理用于可扩展运营的新工具。
PART 02
沉浸式混合事业继续挑战企业
挑战在于，这些技术需要大量的数据，以无可挑剔的速度处理大量数据的能力，以及在传统办公环境中通常不允许的计算机环境中扩展项目的能力。
希望通过元宇宙利用“工业 4.0”的企业需要真实世界和虚拟世界的精确和持久融合。这意味着以逼真的细节渲染复杂的模型和场景，以正确的比例和准确的姿势在正确的物理位置（相对于真实世界和虚拟世界）渲染。想想利用AR / VR设计，构建或维修航空发动机的组件或医疗应用中使用的先进手术设备所需的准确性和精确性。
如今，这是通过使用来自一台或多台服务器的独立GPU并将渲染的帧无线或远程传送到头戴式显示器（HMD）来实现的，例如Microsoft HoloLens和Oculus Quest。
PART 03
3D和AI在沉浸式混合现实中的重要性
混合现实应用程序的关键要求之一是精确地覆盖在对象上，其模型或数字孪生体。这有助于为装配和培训提供工作说明，并发现制造中的任何错误或缺陷。用户还可以跟踪对象并随着工作的进展调整渲染。
大多数设备上的对象跟踪系统使用基于2D图像和/或标记的跟踪。这严重限制了3D中的叠加精度，因为2D跟踪无法高精度估计深度，从而无法估计比例和姿势。
这意味着即使用户从一个角度和/或位置看时可以获得看起来很好的匹配，当用户在6DOF中移动时，叠加层也会失去对齐。此外，在大多数情况下，对象检测，识别及其比例和方向估计（称为对象注册）是通过计算或使用具有标准训练库的简单计算机视觉方法（例如：Google MediaPipe，VisionLib）实现的。这适用于常规和/或更小和更简单的对象，例如手、面、杯子、桌子、椅子、轮子、规则几何结构等。但是，对于企业用例中的大型复杂对象，标记的训练数据（在3D中更是如此）并不容易获得。这使得使用基于2D图像的跟踪来对齐、叠加和持久跟踪对象以及在3D中将渲染模型与其融合变得困难（如果不是不可能的话）变得困难。
企业级用户正在通过将3D环境和 AI 技术用于其沉浸式混合现实设计/构建项目来克服这些挑战。
基于深度学习的3DAI允许用户在3D空间中以高精度识别各种方向上任意形状和大小的3D对象。这种方法可以扩展到任何任意形状，并且适用于需要渲染复杂3D模型和数字孪生与其现实世界对应项叠加的企业用例。
这也可以缩放以使用完整的3D模型注册部分完成的结构，从而允许持续的施工和组装。用户使用这种平台方法在对象配准和渲染中实现了以毫米为单位的精度，克服了当前仅设备方法的限制。这种3D对象跟踪方法将允许用户在企业应用程序中真正融合真实和虚拟世界，开放许多用途，包括但不限于：使用精确的上下文工作说明进行培训，施工和装配中的缺陷和错误检测，以及使用真人大小的3D渲染和叠加进行3D设计和工程。
PART 04
为什么在云环境中工作至关重要
企业和制造商在设计和部署这些技术时应谨慎，因为它们构建和最大化使用的平台存在很大差异。
尽管像AR/VR这样的技术已经使用了好几年，但许多制造商已经在设备上部署了虚拟解决方案，所有技术数据都存储在本地，严重限制了当今虚拟设计所需的性能和规模。它限制了组织之间进行知识共享的能力，这在设计新产品和了解虚拟扩建的最佳方式时可能至关重要。
如今，制造商正在通过利用由分布式云架构和基于3D视觉的AI提供支持的基于云的（或基于远程服务器的）AR / VR平台来克服这些限制。这些云平台提供所需的性能和可扩展性，以快速、大规模地推动行业创新。
文章翻译 | 春花
排版 | 春花
审核 | 橙橙
若您对该文章内容有任何疑问，请与我们联系，将及时回应。想要了解更多资讯，请关注BFT智能机器人系统~
