【XR】VR手柄定位技术

news2024/10/2 20:31:47

rvy competitive analyse

Y1的手柄使用了基于红外光的主动式光学定位追踪方案,主要是通过头显的摄像头在短曝光图像上观测到手柄上红外光电发射的红外光,通过检测光点并根据多视图几何原理计算初步的位姿,然后融合产生于手柄IMU(Inertial Measurement Unit)的关键数据对手柄进行的定位跟踪。该方案无需像电磁定位或者超声波定位那样需要专门的传感器模组,具有低成本,低功耗的优势。同时不直接受家庭用户常见的空气扰动,复杂电磁环境的干扰,可以提供极高的定位精度,日益成为消费级VR产品手柄定位方案的首选。

1. 定位跟踪框架

基于算法层面,手柄和头显通过无线通讯的方式进行数据交互。手柄定位跟踪框架根据使用IMU数据的不同可以分为“集中式计算”和“分布式计算”两种。集中式计算是直接将IMU的原始数据传输到头显,通过经典的多传感器融合方式进行状态估计,达到手柄定位跟踪的目的,但是不能够直接传输高频的IMU数据。分布式计算是在手柄的寄存器中将IMU的原始数据进行计算,将中间结果传输到头显中融合视觉观测进行状态估计。这种框架能够有效利用高频的原始数据,减少数据传输的功耗,提升手柄定位跟踪的稳定性能,但是需要更加精妙的状态估计算法。YVR1将两种算法的优点进行了吸收,使手柄定位跟踪的精度和稳定性都有了进一步提升。

2. 红外光学定位

家用环境下,光学定位方案易受两方面影响:1)无线信道干扰导致手柄IMU数据传输高延迟或丢失;2)环境干扰光斑会导致手柄红外灯组光斑检测低效或失败。针对无线信道干扰,Y1在软件层面设计了一套支持自动跳频、高吞吐量的私有2.4G无线通信协议,保证了手柄在复杂电磁环境下,也能稳定传输高采样的IMU数据。Y1设计了一套环境光斑和红外灯光斑区分出来的方法提升了光斑检测的精度。效果如图所示:

在这里插入图片描述

同时,为降低红外灯在高亮度下的功耗,红外灯开启必须和摄像头曝光同步。这对系统提出了两大高精度挑战:1)头显四个摄像头同步曝光精度;2)红外灯和摄像头组曝光同步精度。对此,Y团队也给出了相应的解决方案:

1)摄像头同步曝光:XR2摄像头驱动默认使用软同步方式,同步精度只能保证亚毫秒级,而Y采用硬同步方式,四个摄像头的曝光统一由外部控制线触发,同步误差趋近于0。如图:
在这里插入图片描述

2)红外灯和摄像头组曝光同步:红外灯和摄像头组曝光的同步有两个特点,一是两者分属不同设备,接着不同的时钟源,随着时间推移,时钟的误差会不断积累扩大。二是两者控制路径太长,并且其中部分阶段耗时受到的干扰因素较多。

为实现红外灯和摄像头组曝光的高精度同步,Y设计了一套高精度的时钟同步协议,通过实时操作系统方式和动态时钟漂移矫正算法提高了时间同步的精度。

用户在体验中,经常会有手柄频繁的移出视野然后回到视野范围内的情况,这种会造成光点不能持续的进行跟踪。Y采用了一种“热启动”的方法提高手柄定位精度。

在这里插入图片描述

3. 长尾跟踪

用户在体验中经常**有手柄移出视野的情况,这种情况下手柄的跟踪称为“长尾跟踪”。**为提升长尾跟踪的精度和稳定性,Y算法团队采用了多种方法,
1)在没有视觉观测的情况下只根据IMU数据进行长时间持续估计的新算法,
2)基于深度学习的6DOF融合定位方法。

在这里插入图片描述

(长尾跟踪如所示,手柄在头盔的背面)

第一种方法需要IMU的零偏需要估计的非常精准,并且能够快速的收敛。Y的定位框架能够在极短时间内快速收敛IMU的零偏,在IMU温漂补偿技术的加持下使手柄进行持续稳定跟踪。如图:
在这里插入图片描述

(IMU 陀螺仪零偏的收敛曲线)

基于深度学习的6DOF融合定位方法,
1)能够有效提升手柄在静止情况下的稳定性能;
2)提升手柄光点不在视野范围内跟踪的稳定性,增加有效跟踪时间;
3)基于深度学习的自适应算法能够有效降低IMU的零偏受到温度、湿度、电流、震动和应力的影响,提高定位精度。

通过了解算法及软件层面的技术问题及Y团队在解决方案上的不断研究,使我们对Y的手柄定位准确技术有了更深刻的认识。好的产品并不是一蹴而就,而是通过不断探索推动产品的发展与进步。关于Y的更多说明,敬请期待。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/127774.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

深度优先搜索和广度优先搜索的java代码实现过程详解

深度优先搜索和广度优先搜索 在很多情况下,我们需要遍历图,得到图的一些性质,例如,找出图中与指定的顶点相连的所有顶点,或者判定某个顶点与指定顶点是否相通,是非常常见的需求。 有关图的搜索,…

Spring Security怎么自定义登录页? 怎么注销?

本章内容 怎么自定义登录页底层都怎么实现如何注销?注销底层源码简单分析 开干 去网上找个好看的前端, 改改改改spring security配置启动几个红框框的地方注意下 Configuration public class SecurityConfig {Beanpublic SecurityFilterChain securityFilterChain(HttpSecu…

【决策树】简单介绍+个人理解(二)

1、ID3(Iterative Dichotomizer) ID3是Quinlan于1986年提出的, 它的提出开创了决策树算 法的先河, 而且是国际上最早的决策树方法, 在该算法中, 引入了信息论中熵的概念, 利用分割前后的熵来计算信息 增益, 作为判别能力的度量。ID3 算法的核心是在决策树各个结点上应用信息增…

T-SQL程序练习04

目录 一、写一个存储过程 𝐹𝑖𝑏𝑜𝑛𝑎𝑐𝑐 1. 具体要求 2. T-SQL程序代码 3. 结果显示 二、建立存储过程 𝑆𝑎𝑛𝐺𝑢…

万向区块链肖风:元宇宙的十大经济规则

本文为万向区块链董事长兼总经理肖风为华泰证券研究所科技及电子行业首席分析师黄乐平、万向区块链首席经济学家邹传伟联合撰写的《元宇宙经济学》所作序言。 元宇宙是什么?按照我的理解,元宇宙是一个由分布式网络技术、分布式账本和分布式社会/商业构成…

消息中间件介绍

一般,我们认为消息中间件是指支持与保障分布式应用程序之间同步/异步收发消息的中间件。消息是分布式应用之间进行数据交换的基本信息单位,分布式应用程序之间的通信接口由消息中间件提供。其中,异步方式指消息发送方在发送消息时不必知道接收…

奇遇MIX体验:加入全彩VST透视,开创消费级VR一体机新时代

前不久在奇遇MIX发布会上我们知道,面临着国内复杂的竞争环境,奇遇VR将选择差异化运营模式,一是硬件上停产单一VR模式设备,专注于支持VST的VR设备;二是内容层面,通过提供三年影视或游戏权益的模式&#xff0…

【openGauss实战1】openGauss基于CentOS8的部署

📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA工作经验 一位上进心十足的【大数据领域博主】!😜&#x1f61…

写出更优雅和稳健的 TS 代码的几个 tips

写出更优雅和稳健的 TS 代码的几个 tips 本来想放优雅 太优雅了.jpg,后来还是好懒啊…… 使用 unknown 代替 any any 的问题在于它直接关闭了 TS 的类型检查,因此一旦使用了 any,那就代表任何事情都会发生。使用 unknown 则告诉 TS&#x…

LIS源码 医院检验科LIS系统源码 .net检验系统源码 实验室信息管理系统源码全开源,价值百万

LIS系统即实验室信息管理系统。LIS系统能实现临床检验信息化,检验科信息管理自动化。其主要功能是将检验科的实验仪器传出的检验数据经数据分析后,自动生成打印报告,通过网络存储在数据库中,使医生能够通过医生工作站方便、及时地…

PXE+Kickstart 自动化部署系统

PXE 预启动执行环境是由Intel开发的技术,可以让计算机通过网络来启动操作系统(前提是计算机上安装的网卡支持PXE技术),主要用于在无人值守安装系统中引导客户端主机安装Linux操作系统. Kickstart是一种无人值守的安装方式,其工作原理是预先把原本需要运维人员手工填写的参数保…

谷粒商城之高级篇(2)

2.6 购物车服务 2.6.1 环境搭建 ①域名配置 ②创建 微服务 暂时需要的插件 此外&#xff0c;导入 公共包的依赖 <dependency><groupId>com.atguigu.gulimall</groupId><artifactId>gulimall-common</artifactId><version>0.0.1-SNAPSHOT…

50. 残差网络(ResNet)代码实现

1. 残差块 ResNet沿用了VGG完整的 33 卷积层设计。 残差块里首先有2个有相同输出通道数的 33 卷积层。 每个卷积层后接一个批量规范化层和ReLU激活函数。 然后我们通过跨层数据通路&#xff0c;跳过这2个卷积运算&#xff0c;将输入直接加在最后的ReLU激活函数前。 这样的设计…

PDF在线转Word?方便快捷易上手的方法

PDF和Word都是我们日常生活中经常看到的文件格式&#xff0c;如果你也是一个工作党&#xff0c;那小编相信你肯定会遇到关于这两种文件的转换问题。其实&#xff0c;PDF格式是十分方便我们进行文件传输和差阅读&#xff0c;不仅兼容性较强&#xff0c;而且文件内容相对来说是固…

罗克韦尔AB PLC安装Studio 5000 V35的具体步骤演示

罗克韦尔AB PLC安装Studio 5000 V35的具体步骤演示 具体安装步骤可参考如下内容: 解压下载的安装包,找到安装包中的Setup.exe, 如下图所示,右击Setup.exe,选择“以管理员身份运行”, 如下图所示,安装程序正在准备中, 如下图所示,此时安装程序报错:未安装Microsoft…

ARM64内存虚拟化分析(6)向KVM注册内存更新

1 KVM memory listener的注册 在KVM初始化kvm_init()中会通过函数km_memory_listener_regiter()注册KVM所对应的memory listener&#xff0c;其中设置KVM region_add回调&#xff0c;KVM region_del回调以及KVM log_start/log_stop的回调。 2 region_add回调 当添加内存区域时&…

Wireshark抓到的H264帧

H264文件解析 NALU size, NALU start code size, NALU type 0, 0 0 UNSPECIFIED NALU size, NALU start code size, NALU type 26, 4 7 SPS NALU size, NALU start code size, NALU type 4, 4 8 PPS NALU size, NALU start code…

浅谈数据孤岛和数据分析的发展

大数据时代&#xff0c;企业对数据的重视力度逐步增强&#xff0c;数据分析、数据治理、数据管理、数据资产&#xff0c;已经被人们熟知&#xff0c;在数据的统计汇总和挖掘分析下&#xff0c;管理者的决策有了强有力的支撑和依据&#xff0c;同时也产生了新的问题&#xff0c;…

CSS 奇技淫巧Box-shadow实现圆环进度条

CSS 奇技淫巧Box-shadow实现圆环进度条 文章目录CSS 奇技淫巧Box-shadow实现圆环进度条一、Box-shadow圆环进度条二、效果预览三、原理刨析四、实际应用五、总结六、参考资料&#x1f498;七、推荐博文&#x1f357;一、Box-shadow圆环进度条 实现圆环进度条的方法用很多种&am…

figma和sketch应该选择哪个?

设计行业的工具层出不穷&#xff0c;在我看来sketch它在一定程度上被颠覆了PS&#xff0c;如今sketch已经成为许多设计团队的设计工具。 那么Figma相对于Sketch自身优势是什么&#xff1f;有什么不便&#xff1f;让我们从几个方面来了解。 两个软件都很适合创建UI和组件库。Sk…