Hololens 2应用开发系列(2)——MRTK基础知识及配置文件配置(上)

news2024/9/29 7:24:49

Hololens 2应用开发系列(2)——MRTK基础知识及配置文件配置

  • 一、前言
  • 二、MRTK基础知识
    • 2.1 MRTK概述
    • 2.2 MRTK运行逻辑
    • 2.3 MRTK配置文件介绍
    • 2.4 MRTK服务
  • 三、配置文件使用
    • 3.1 总配置文件
    • 3.2 相机配置
    • 3.3 其他配置
  • 参考文献

一、前言

在前面的文章中,我们已学习了使用MRTK在Unity中设置混合现实场景并进行程序模拟,其中,对于检查器中MRTK的各项配置大家可能还难以捉摸。虽然微软官方为我们提供了一些使用教程,但内容却缺乏对项目的针对性,使我们在了解过程中,难以确定某些设置是否是我们所需要的,这样设置是否正确。因此本文在介绍这些配置之前,先对MRTK的基础知识进行讲解,然后再对具体配置进行介绍。下面,让我们开始吧。
MRTK

二、MRTK基础知识

2.1 MRTK概述

MRTK是一个由微软公司驱动的统一、跨平台、支持AR/MR/VR设备开发的框架。它支持如Hololens、HTC、Oculus等多种设备,并添加了多种对不同XR插件的支持,如OpenXRWindows XRARCore XR等,各个XR SDK对应着不同类型的设备和平台,在Unity编辑器的项目设置中,我们可以在选择指定平台后找到其对应的XR插件,如下图所示。
XR SDK
具体来说,MRTK本身提供了一系列预构建的组件和服务,包括输入系统、交互对象、空间感知、UI元素以及演示场景等,但它并不直接处理底层XR平台的具体实现细节,比如硬件驱动通信或操作系统级的接口调用,而XR SDK则是专门用来整合和管理特定XR功能的软件开发套件,它们通常提供更底层的API来访问和控制硬件的功能,例如眼动追踪、手势识别、空间定位等。不同的XR SDK针对不同的硬件平台进行优化,以确保应用程序能够充分利用各个平台的独特功能。针对HoloLens 2我们通常使用OpenXR来进行项目的编写和构建。如需针对其他平台配置MRTK,请参考微软官方文档。
MRTK利用Unity配置MR应用的所有功能特性,需要我们使用配置文件Profiles对这些功能进行管理,通过配置文件,我们不仅可以定制所有功能,还可以替换掉默认的功能执行方式来执行自己的逻辑。·

2.2 MRTK运行逻辑

区分于Unity对象管理和生命周期控制的核心逻辑以及程序设计的核心逻辑(通过继承MonoBehaviour类依靠对象的事件函数编写应用,或使用单例模式控制共享运行组件),为保障AR/MR应用对全局内容和全部生命周期的控制,MRTK把所有需要共享运行的组件改成了服务(Service),构建了一个服务容器,对上提供服务,对下执行具体实现,大大提高了整体框架的灵活性和可扩展性。参考MRTK2体系结构概述,其体系架构如下图所示。
MRTK体系架构
MRTK有多个核心服务,其互相配合或独立运行,全部共享相同的生命周期——启动、注册、更新和卸载,该生命周期与Unity的MonoBehaviour生命周期不同。MRTK对象(即之前提到的MixedRealityToolkit对象)用于管理其服务的生命周期和运行,此对象可确保程序开始时,服务的启动和初始化按预定义的顺序进行。
在结构的最上层,MRTK采用事件驱动,通过MixedRealityToolkit对象内挂载的Unity对象函数,处理来自Unity分发的事件消息,实现Unity消息与MRTK服务之间的通信,确保数据从低层级通过事件处理函数向高层级之间的流通。

2.3 MRTK配置文件介绍

MRTK通过使用配置文件定义应用程序的功能和其适用的目标设备,因此,错误的配置文件可能会导致程序在指定设备上无法运行。MRTK有一个总体的配置文件,该配置文件是一个可编程对象,用于存储全局数据,同时其又包含了许多子配置文件的定义,形成了一个配置文件树,与此对应的,在配置面板(选中MixedRealityToolkit对象后,Inspector检查器中会自动添加MixedRealityToolkit的配置面板)上我们不难发现,每一个标签页面都有其相关的配置文件选择,如下图所示。
MRTK配置文件介绍
配置文件指导了MRTK的运行有哪些功能,这些功能大都以服务形式提供,因此,配置文件的正确使用很关键。在了解这些配置文件之前,请先行继续了解MRTK的服务基础知识。

2.4 MRTK服务

MRTK中的服务可分为三类:原生服务扩展服务数据提供者。MRTK负责协调处理服务间的交互,确保服务得到所需的事件消息(AwakeInitializeUpdateDestroy等)。MRTK的服务通过服务容器进行管理,服务容器的实现通过MixedRealityServiceRegistry类,它是服务的所有者,原生服务扩展服务都必须先在它上面注册才能使用。
原生服务顾名思义,是MRTK官方的服务类型,它提供了混合现实的核心功能服务,包含相机(Camera)输入(Input)边界(Boundary)传送(Teleport)空间感知(Spatial Awareness)诊断(Diagnostics)场景(Scene System) 七个模块。如果用户希望定义自己的服务处理逻辑,可继承BaseService或实现IMixedRealityService接口,以正确地被MixedRealityServiceRegistry服务容器管理。由开发人员创建的服务都称为扩展服务,MRTK在配置面板上提供了可视化的服务创建向导,后续将对其进行详细介绍。
数据提供者向特定服务(输入、空间感知)提供支持,所有数据提供者都需要实现IMixedRealityDataProvider接口,同时必须在服务配置文件中配置才能在MRTK中使用。

三、配置文件使用

微软官方为我们提供了配置文件配置指南,每个项目都需要根据项目功能、目标设备等进行配置。下面是针对Hololens 2设备配置文件的详细介绍。

3.1 总配置文件

MRTK的总配文件在配置面板的最上端,提供了若干默认配置。参考微软文档配置文件,其中,DefalutLeapMotionConfigurationProfile是用于配置手部追踪的特定配置文件,OpenXRConfigurationProfile是与OpenXR兼容设备的一个配置文件,OpenXR是一个由Khronos Group维护的开放标准,旨在简化和统一跨增强现实(AR)和虚拟现实(VR)平台的应用开发过程。而以Obsolete开头的,是已过时的配置文件,通常用于Unity 2019以前版本。
针对HoloLens设备,DefaultMixedRealityToolkitConfigurationProfile是一个通用配置文件,它未针对任何特定用例进行优化,可同时适用于HoloLens第一代和第二代设备。如果想要使用更适合其他平台的更高性能/具体的设置,可选择DefaultHoloLens2ConfigurationProfile或针对HoloLens1的DefaultHoloLens1ConfigurationProfile
总配置文件
DefaultHoloLens2ConfigurationProfile配置文件与通用配置文件DefaultMixedRealityToolkitConfigurationProfile之间的主要区别是启用了眼动追踪和视线输入模拟,而禁用了边界系统、传送系统等功能。
为了确保默认配置的有效性,MRTK锁定了默认配置文件的修改,因此我们需要通过Clone按钮来新建和定制自己的配置文件。
默认情况下,配置文件均位于项目根目录的Assets\MixedRealityToolkit.Generated\CustomProfiles文件夹中,您可在该目录找到针对您项目生成的配置文件。

3.2 相机配置

相机配置文件定义了所使用的渲染相机参数,该配置文件由主配置文件管理,在配置前,首先要确保相机系统的开启,即Enable Camera System被勾选。然后Camera System Type选择默认即可,它是MRTK预定的基础的摄像机系统类型,MRTK提供的默认类实现是MixedRealityCameraSystem,这块只有一种选项,暂时无需纠结,微软官方也尚未对其进行解释(如果您找到了相关说明感谢在文章下方分享并评论)。然后,根据需求选择所需的配置文件,Clone即可。此时,配置面板出现如下相机设置内容。
在这里插入图片描述
Camera Settings Providers相机设置提供程序负责处理与混合现实应用中的相机相关的设置和行为,它是为了处理不同混合现实平台和设备特定的相机设置需求而设计的,以增强不同的MR头戴式设备的不同的光学参数、渲染要求和立体视觉实现方式下的跨平台兼容性,并对镜头畸变、空间感知等进行优化。并非所有平台都需要相机设置提供程序。如果没有与运行应用程序的平台兼容的提供程序,Microsoft 混合现实工具包将应用基本默认值。同时,我们也可以针对自己的平台创建相机设置提供程序,详细可参考这篇文章。对于HoloLens 2应用开发,我们选择其默认的配置即可。
Display Setting显示设置是相机运用时的一些配置设置,包含Opaque(不透明的,针对VR)和Transparent(透明的,针对MR)两组设置,对于HoloLens 2,我们只需设置Transparent内容即可。其中包含近平面/远平面(元素渲染的最近最远距离,以为单位,建议为0.1和50)、清除标志(绘制过程中或帧刷新时内容,对于VR,此值设置为Skybox, 对于MR,设置为Color)、背景色(如果清除标志未设置为 Skybox,则将显示背景色属性)和图形质量
关于更多相机系统的概述,请参考微软官方文档相机系统概述 — MRTK2及其同级目录下的文件。

3.3 其他配置

除了前面提到的相机(Camera)配置,还包含输入(Input)边界(Boundary)传送(Teleport)空间感知(Spatial Awareness)诊断(Diagnostics)场景(Scene System) 等内容,而文章不宜过长,接下来的博客内容中,我将对其进行介绍。其中,**输入(Input)**尤为重要,MRTK所面对的输入错综复杂,除了前面提到的输入模拟外,还有实际的手势、语音、手柄、控制器等多种类型的输入设备,很多功能也建立在其之上,同时,我们也可以创建自己的输入。
在接下来的专栏中,我将用一篇文章详细全面地介绍输入配置的相关内容,感谢大家持续关注!!!

参考文献

[1] 汪祥春.HoloLens 2开发入门精要:基于Unity和MRTK[M]. 北京:清华大学出版社,2021.
[2] MRTK2-unity开发文档[EB/OL].https://learn.microsoft.com/zh-cn/windows/mixed-reality/mrtk-unity/mrtk2,2022.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1485654.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

机器学习中类别不平衡问题的解决方案

类别不平衡问题 解决方案简单方法收集数据调整权重阈值移动 数据层面欠采样过采样采样方法的优劣 算法层面代价敏感集成学习:EasyEnsemble 总结 类别不平衡(class-imbalance)就是指分类任务中不同类别的训练样例数目差别很大的情况 解决方案…

解决Excel客户端中的Copilot灰色不可用

很多小伙伴已经用上了office套件中的copilot功能 Copilot for Microsoft 365账号介绍与相关问题的解答 Copilot for Microsoft 365账号登录指南 Copilot for Microsoft 365功能使用指南 问题发现 大部分人使用的都是Word和PowerPoint功能,但是也有部分小伙伴使…

Vue项目的快速搭建

Vue项目的快速搭建 一、下载并安装node.js二、安装Vue脚手架三、创建vue项目四、项目启动五、VS Code下载安装 一、下载并安装node.js 首先确保已经安装了Node.js。如果没有安装,可以去官网(https://nodejs.org/)下载并安装最新版本的Node.j…

第16章-DNS

目录 1. 域名 1.1 产生背景 1.2 概述 1.3 域名的树形层次化结构 2. DNS 2.1 概述 2.2 工作机制 3. DNS查询模式 3.1 递归查询: 3.2 迭代查询: 4. 相关知识点 4.1 集中式DNS 4.2 国内通用DNS 4.3 配置DNS代理 1. 域名 1.1 产生背景 ① IP…

rhcsa(rh134)

shell 查看用户shell a、如下查看/etc/shells文件列出了系统上所有可用的 shell(具体的可用的 shell 列表可能会因不同的红帽版本和配置而有所不同) (如下图/etc/shells文件包含/bin/tmux并不意味着tmux是一个shell。实际上,/etc/…

通过多进程并发方式(fork)实现服务器(注意要回收子进程)

以下内容为视频学习记录。 1、父进程accept后返回的文件描述符为cfd以及用于创建连接的lfd; 调用fork()创建子进程后,子进程继承cfd,lfd,通过该cfd与连接过来的客户端通信,lfd对子进程来说没用,可以直接close(lfd); 对于父进程来说&#x…

web基础03-JavaScript

目录 一、JavaScript基础 1.变量 2.输出 3.变量提升 4.区块 5.JavaScript数据类型 6.查看数值类型 7.undefined和null 8.布尔值 9.和的区别 10.算数/三元/比较/逻辑/赋值运算符 11.特殊字符 12.字符串 (1)获取字符串长度 (2&am…

C# Open Vocabulary Object Detection 部署开放域目标检测

目录 介绍 效果 模型信息 owlvit-image.onnx owlvit-post.onnx owlvit-text.onnx 项目 代码 Form1.cs OWLVIT.cs 下载 C# Open Vocabulary Object Detection 部署开放域目标检测 介绍 训练源码地址:https://github.com/google-research/scenic/tree/…

flink重温笔记(九):Flink 高级 API 开发——flink 四大基石之WaterMark(Time为核心)

Flink学习笔记 前言:今天是学习 flink 的第 9 天啦!学习了 flink 四大基石之 Time的应用—> Watermark(水印,也称水位线),主要是解决数据由于网络延迟问题,出现数据乱序或者迟到数据现象&…

九州金榜|导致孩子厌学的家庭因素有哪些?

造成孩子厌学的因素有很多,其中家庭因素是非常重要的因素,而家庭因素造成孩子厌学的原因主要是因为家长在教育中,更多的不懂如何正确教育孩子,就会造成孩子厌学,下面九州金榜家庭教育从以下几个方面分析因为家庭因素造…

C/C++工程师面试题(数据库篇)

索引的优缺点 索引是一种支持快速查找特定行的数据结构,如果没有索引,就需要遍历整个表进行查找。用于提高数据检索的速度和效率。 好处: 提高检索速度: 索引可以加快数据的检索速度,因为它们允许数据库系统直接定位到…

枚举法实例以及试题

题目 1 因子个数 思路: 从因子1找到它本身,其中我们发现因子都是成对出现的,除非它是完全平方数,因此我们采用for循环一个一个找出来就行,查找它因子的个数。 题目 2 阶乘因子 思路: 创建一个【n+1】的数组,初始值全都为0,用来存放它的质数因子个数。用两个for循环,…

mTLS: openssl创建CA证书

证书可以通过openssl或者keytool创建,在本篇文章中,只介绍openssl。 openssl 生成证书 申请操作流程 生成ca证书私钥, 文件名:ca.key生成ca证书,文件名:ca.crt生成Server/Client 证书私钥,文件名&#x…

8、IBOScms代码审计

一、sql注入 1、sql注入(Ⅰ) 限制 rreport/api/getlist {"offset":0,"type":"send","keyword":{"subject":"111) AND (updatexml(1,concat(0x7e,(select user()),0x7e),1))-- qw"}}复现 POST /?rreport/api/…

项目-论坛系统

基于Spring前后端分离版本的论坛系统。 1、构建项目结构 common公共类:统一返回结果、全局变量、异常枚举信息config配置类:Swagger,用于自动生成CRUD和基本对象controller控制器类:用于接受前端信息和控制路由dao数据库访问类&…

uniapp聊天记录本地存储(详细易懂)

目录 目录 1、通过websocket拿取数据 2、获取聊天数据 3、聊天信息存储 、更新 4、读取聊天记录 5、发送信息,信息获取 6、最终效果 1.聊天信息的存储格式 2、样式效果 写聊天项目,使用到了本地存储。需要把聊天信息保存在本地,实时获…

synchrosized 的可重入特性、死锁、哲学家就餐问题以及解决死锁的方法等干货

文章目录 💐synchrosized的可重入特性关于死锁:哲学家就餐问题💡如何避免/解决死锁 💐synchrosized的可重入特性 可重入特性:当一个线程针对一个对象同时加锁多次,不会构成死锁,这样的特性称为…

flynn发布服务小结

背景 flynn是一个基于容器的paas平台,可以快速的发布运行新的应用,用户只需要提交代码到git上,flynn就会基于提交的代码进行发布和部署,本文就简单看下flynn发布部署的流程 flynn发布服务 1.首先flynn会基于用户的web代码构建一…

二叉树的右视图,力扣

目录 题目: 我们直接看题解吧: 快速理解解题思路小建议: 审题目事例提示: 解题方法: 解题分析: 解题思路: 代码实现(DFS): 代码1: 补充说明: 代码2&#xff1…

LeetCode---【链表的操作】

目录 206反转链表【链表结构基础】21合并两个有序链表【递归】我的答案【错误】自己修改【超出时间限制】在官方那里学到的【然后自己复写,错误】对照官方【自己修改】 160相交链表【未理解题目目的】在b站up那里学到的【然后自己复写,错误】【超出时间限制】对照官方【自己修改…