[PICO VR眼镜]眼动追踪串流Unity开发与使用方法，眼动追踪打包报错问题解决(Eye Tracking/手势跟踪)

news2024/9/19 7:54:32

前言

最近在做一个工作需要用到PICO4 Enterprise VR头盔里的眼动追踪功能，但是遇到了如下问题：

  1. 在Unity里面没法串流调试眼动追踪功能，根本获取不到Device，只能将整个场景build成APK，安装到头盔里，才能在代码里调用眼动追踪功能。这使得每次修改代码都要打包一次apk安装到头盔里，十分不方便，难以调试。
  2. PICO VR 官方提供的Eye Tracking教程里，获取到的眼睛朝向和位置是相对于Head这个位置的，而不是相对于XR Origin下的Camera的位置，这使得API不能直接拿来使用。
  3. Unity在引入PICO VR眼动跟踪代码后，编译时点击"build and run"后，会报错“NullReferenceException: Object reference not set to an instance of an object”

鉴于以上问题网络上均没有人进行解答，以及个人没能得到PICO官方的技术支持情况下（三周内发了2封技术工单邮件+2次催线上客服），遂打算自己捣鼓一下写篇教程。

（点名批评PICO官方的技术支持不回复邮件的问题，明明就几个特别简单的问题，但是官方承诺的3-5个工作日内回复并没有做到，等了三周一封邮件也没回，这个过程还问了客服，客服表示会催技术人员回复，但等了一周半也没看到，放弃了orz）

更新补充：据说在PICO企业版官网提交企业版工单能得到官方较快的回复。

1. 如何在代码里使用眼动跟踪，并转换成世界坐标 或 摄像机坐标系

首先，检查眼动追踪是否能正常工作：

void Start()
{
	CheckEyeTracking();

}
private void CheckEyeTracking()
{
    //Start PICO Eye Tracking Service
    TrackingStateCode trackingState;
    trackingState = (TrackingStateCode)PXR_MotionTracking.WantEyeTrackingService();
    Debug.Log("告知PICO想要眼动跟踪服务 trackingState: " + trackingState.ToString());

    //Check Eye Tracking able or not
    EyeTrackingMode eyeTrackingMode = EyeTrackingMode.PXR_ETM_NONE;
    bool supported = false;
    int supportedModesCount = 0;
    trackingState = (TrackingStateCode)PXR_MotionTracking.GetEyeTrackingSupported(ref supported, ref supportedModesCount, ref eyeTrackingMode);
    Debug.Log("检查是否有眼动跟踪功能 trackingState: "+ trackingState.ToString()+"  code  "+ supported);

    // Get Eye Tracking State
    bool tracking = true;
    EyeTrackingState eyeTrackingState = new EyeTrackingState();
    trackingState = (TrackingStateCode)PXR_MotionTracking.GetEyeTrackingState(ref tracking, ref eyeTrackingState);
    Debug.Log("获取当前眼动跟踪状态 trackingState: " + trackingState.ToString());

    // Start Eye Tracking
    //这里要严谨点的话，应该要加上if条件判断是否有眼动跟踪功能，再选择开启该功能
    EyeTrackingStartInfo info = new EyeTrackingStartInfo();
    info.needCalibration = 1;
    info.mode = eyeTrackingMode;
    trackingState = (TrackingStateCode)PXR_MotionTracking.StartEyeTracking(ref info);
    Debug.Log("开始眼动跟踪状态 trackingState: " + trackingState.ToString());

    //Get Eye Tracking Data
    //获取眼动跟踪数据
    EyeTrackingDataGetInfo eyeData = new EyeTrackingDataGetInfo();
    eyeData.displayTime = 0;
    eyeData.flags = EyeTrackingDataGetFlags.PXR_EYE_DEFAULT
    | EyeTrackingDataGetFlags.PXR_EYE_POSITION
    | EyeTrackingDataGetFlags.PXR_EYE_ORIENTATION;
    EyeTrackingData eyeTrackingData = new EyeTrackingData();
    trackingState = (TrackingStateCode)PXR_MotionTracking.GetEyeTrackingData(ref eyeData, ref eyeTrackingData);
    Debug.Log("eyeData:  "+ eyeData.ToString() + " TrackingData:  " + eyeTrackingData.ToString());

  
}

接下来，每帧都获取眼动数据，并将眼睛位置和眼睛朝向数据转换成世界坐标

public Transform origin;//在Unity主界面把XR Origin拖进来即可
private Matrix4x4 headPoseMatrix,originPoseMatrix;
private Vector3 combineEyeGazeVector, combineEyeGazeOriginOffset, combineEyeGazeOrigin;
private Vector3 combineEyeGazeVectorInWorldSpace, combineEyeGazeOriginInWorldSpace;
void Update()
{
	GetEyeTrackingData();
}

private void GetEyeTrackingData()
{
		//获取head的局部转世界矩阵，该矩阵点乘head局部坐标系下坐标，则能转换为世界坐标系下的坐标
        PXR_EyeTracking.GetHeadPosMatrix(out headPoseMatrix);	
        //获取双眼（取中间位置）位于Head坐标系下的朝向信息GazeVector
        PXR_EyeTracking.GetCombineEyeGazeVector(out combineEyeGazeVector);
        //获取双眼（取中间位置）位于Head坐标系下的位置信息GazePoint
        PXR_EyeTracking.GetCombineEyeGazePoint(out combineEyeGazeOrigin);
        
        //获取眼睛的世界坐标
        combineEyeGazeOriginInWorldSpace = originPoseMatrix.MultiplyPoint(headPoseMatrix.MultiplyPoint(combineEyeGazeOrigin));
        //获取眼睛的朝向信息
        combineEyeGazeVectorInWorldSpace = originPoseMatrix.MultiplyVector(headPoseMatrix.MultiplyVector(combineEyeGazeVector));
		
		//highlighArea是我添加的一个手电筒高亮区域，能让用户更直观地查看眼睛看向位置
        highlighArea.transform.position = combineEyeGazeOriginInWorldSpace ;
        //LookRotation默认是以z轴旋转，如果要以y轴旋转的话可以在后面加上 ,Vector3.up
        highlighArea.transform.rotation = Quaternion.LookRotation(combineEyeGazeVectorInWorldSpace);
/*        RaycastHit hit;
        if (Physics.Raycast(highlighArea.transform.position, combineEyeGazeVectorInWorldSpace, out hit, 1000f))
        {
            highlighArea.transform.LookAt(hit.point);
        }*/
}

简易效果图（透明圈处是一个作为highlighArea的圆锥区域）：
在这里插入图片描述

至此，便已经能获取到PICO VR里眼动追踪的位置和朝向信息。

2. "Build and Run"报错

引入EyeTracking代码后，发现Build and Run时会报以下错误:
在这里插入图片描述

在这里插入图片描述
这是因为run的话会导致Unity找不到可供眼动追踪的设备，导致编译报错。

解决方法，只点击Build，而不是Build and Run:
在这里插入图片描述
Build完后，打开Pico Developer Center，依次点击"应用管理"->“安装包”->“安装本地应用”：
在这里插入图片描述
选择build好的apk即可，后续便能直接在眼镜里运行：
在这里插入图片描述

3.眼镜内调试的Trick

对于这种要build到眼镜里才能调试的功能，可以利用Unity提高的UI->Text组件进行调试。

即，在Unity场景下创建一个UI->Text对象,然后把对象拖到下面脚本的GazeDebugText变量上，便能在眼镜里看到相应数据输出了

public TMP_Text GazeDebugText;
private void GetEyeTrackingData()
{
	GazeDebugText.text = combineEyeGazeOrigin.ToString("F3");//F3是指精确到小数点后3位
}

效果：
在这里插入图片描述

4.如何在Unity里串流调用眼动追踪功能

B站视频：使用PICO头显在VR串流环境下进行眼动追踪

我个人是在看了这个视频后才知道PICO VR也能在Unity下串流使用眼动跟踪功能，但我没有进一步深入探究，据该视频UP主表示，PICO neo3 pro eye是可以串流的，该方法理应也适用于其他头盔（带有企业串流功能的头盔）。

在此处也表达下对UP主的感谢，在后台私信耐心细致替我解答问题。

想要串流使用pico的眼动追踪功能，需要下载特定的串流软件和PICO系统版本。

4.1 串流工具准备

PC端我们要下载最新版本的PICO企业版串流工具（普通版的串流工具不知道可不可以）:在这里插入图片描述
在PICO端上则是自动保持串流软件更新到最新版本即可。

在PC端下载好“企业串流”软件后，点击"设置"->“通用”:
在这里插入图片描述
把需要的功能都勾选上（默认是关闭状态）：
在这里插入图片描述

business streaming安装后且打开眼动追踪功能后，sdk里会有一个用qt写的测试程序，可以试试看串流后眼动跟踪是否正常，测试程序不需要用steam，但是对头显的固件版本有要求：
在这里插入图片描述
点击get eye tracking(记住，一定要戴上头盔的情况下，盲点这个按钮，不如眼睛都不在头盔里面自然捕获不到数据)，正常的话会显示如下数据：
在这里插入图片描述
如果这里显示ET Data 是 invalid的，那证明你没有戴上头盔后再点击get eye tracking，因为头盔没能捕捉到瞳孔数据，记住一定要先戴上头盔再盲点击按钮。

4.2 企业串流+OpenVR+SteamVR进行Unity开发

众所周知，任意VR头盔都能用SteamVR+OpenVR来开发VR应用，我们的PICO眼镜也可以，这里的“企业串流”只起到了传输EyeTrackingData的作用。我们如果要用到眼动追踪串流调试的话，就需要以OpenXR+SteamVR的方式进行开发，详细教程可以参考：知乎-Pico基于Unity XR Interaction Toolkit开发SteamVR串流应用 如果能正常串流到Unity界面，则我们进入下一步代码开发。

4.3 代码部分

接下来便是关键的部分，我们要在代码里引入企业版的PICO SDK并初始化（在你要用到Eye tracking代码最开始的地方引入即可，）:

//引入 企业版串流SDK
private const string PXR_PLATFORM_DLL = "BStreamingSDK.dll";
//对 企业版串流SDK 进行初始化
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
private static extern int BStreamingSDK_Init(IntPtr userData);
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
public static extern int BStreamingSDK_Deinit();

此处的SDK跟我们平常开发PICO用的PXR SDK不一样，是为串流功能专门要用的SDK，该SDK会随business streaming一起安装，不需要你特定指明路径。而且当我们将项目build成apk安装包之后，调用的SDK是正常使用的，不用担心冲突问题等。

接下来便是获取眼部追踪数据/手势追踪数据即可：

//眼动追踪
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
private static extern int BStreamingSDK_GetEyeTrackingData(ref PxrEyeTrackingData etdata);

//手势追踪
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
private static extern int BStreamingSDK_GetHandTrackerAimState(HandType hand, ref HandAimState aimState);
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
private static extern int BStreamingSDK_GetHandTrackerJointLocations(HandType hand, ref HandJointLocations jointLocations);

此外，注意这里的PxrEyeTrackingData并不是SDK自带的类，而是需要我们自己在代码里创建的类，然后将其传入官方提供的函数来获取数据(手势追踪的Hand AimState等也是如此要自己创建类，详细部分可以向官方发送企业工单获取技术人员帮助),该类的定义如下所示：

public struct PxrEyeTrackingData
{
    public int leftEyePoseStatus;
    public int rightEyePoseStatus;
    public int combinedEyePoseStatus;

    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)] 
    public float[] leftEyeGazePoint;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)] 
    public float[] rightEyeGazePoint;

    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] combinedEyeGazePoint;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] leftEyeGazeVector;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] rightEyeGazeVector;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] combinedEyeGazeVector;

    public float leftEyeOpenness;
    public float rightEyeOpenness;
    public float leftEyePupilDilation;
    public float rightEyePupilDilation;

    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] leftEyePositionGuide;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] rightEvePositionGuide;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] foveatedGazeDirection;

    public int foveatedGazeTrackingState;
}

后续要注意到的点是，串流SDK里 CombinedEyeGazeVector Z轴是要取反的，与PICO Integration SDK不同:

PxrEyeTrackingData etData = new PxrEyeTrackingData();
var result = BStreamingSDK_GetEyeTrackingData(ref etData);
headPoseMatrix = Matrix4x4.TRS(userView.transform.position, userView.transform.rotation, Vector3.one);
var eyePoseStatus = etData.combinedEyePoseStatus;
var gazePosition = new Vector3(etData.combinedEyeGazePoint[0], etData.combinedEyeGazePoint[1], etData.combinedEyeGazePoint[2]);
var gazeVector = new Vector3(etData.combinedEyeGazeVector[0], etData.combinedEyeGazeVector[1], -etData.combinedEyeGazeVector[2]);
combineEyeGazeOrigin = gazePosition;
combineEyeGazeVector = gazeVector;

combineEyeGazeOriginInWorldSpace = headPoseMatrix.MultiplyPoint(combineEyeGazeOrigin);
combineEyeGazeVectorInWorldSpace = headPoseMatrix.MultiplyVector(combineEyeGazeVector);
highlightArea.position = combineEyeGazeOriginInWorldSpace;
highlightArea.rotation = Quaternion.LookRotation(combineEyeGazeVectorInWorldSpace);

如果经过测试后，eye tracking data什么的没有问题，后续在Unity串流过程中使用Eye Tracking Dat并基于OpenXR进行应用调试与开发。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2145822.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【技术解析】消息中间件MQ：从原理到RabbitMQ实战(深入浅出)

【技术解析】消息中间件MQ：从原理到RabbitMQ实战(深入浅出)

文章目录 【技术解析】消息中间件MQ：从原理到RabbitMQ实战(深入浅出)1.简介1.1 什么是消息中间件1.2 传统的http请求存在那些缺点1.3 Mq应用场景有那些1.4 为什么需要使用mq1.5 Mq与多线程之间区别1.6 Mq消息中间件名词1.7主流mq区别对比1.8 Mq设计基础知识 2.Rabbi…
阅读更多...
C++ | Leetcode C++题解之第415题字符串相加

C++ | Leetcode C++题解之第415题字符串相加

题目： 题解： class Solution { public:string addStrings(string num1, string num2) {int i num1.length() - 1, j num2.length() - 1, add 0;string ans "";while (i > 0 || j > 0 || add ! 0) {int x i > 0 ? num1[i] - 0 …
阅读更多...
大数据Flink（一百一十八）：Flink SQL水印操作（Watermark）

大数据Flink（一百一十八）：Flink SQL水印操作（Watermark）

文章目录 Flink SQL水印操作（Watermark） 一、为什么要有WaterMark 二、​​​​​​​​​​​​​​Watermark解决的问题 三、​​​​​​​​​​​​​​代码演示 Flink SQL水印操作（Watermark） 一、​​​​​​​为什么…
阅读更多...
【数据结构】数据结构系列学习笔记——导航篇

【数据结构】数据结构系列学习笔记——导航篇

一：概述 数据结构是计算机科学中的核心概念之一，是优化算法性能和资源利用率的关键。在软件开发和数据处理中，选择合适的数据结构对于算法的效率至关重要。数据结构的选择通常基于数据的使用模式，包括数据元素之间的关系、数据的存…
阅读更多...
日志框架的使用

日志框架的使用

一、日志概述 日志：用来记录程序运行过程中的信息，并可以进行永久存储。 开发过程中可能会出现以下需求： 希望系统能记住某些数据是被谁操作的，比如被谁删除了？想分析用户浏览系统的具体情况，以便挖掘用…
阅读更多...
【深度学习】深度学习模型的加密及解密方案及源码

【深度学习】深度学习模型的加密及解密方案及源码

本文摘要 本文主要根据自己遇到的情况，例如：对于yolo或paddle训练的模型文件，对外使用，不想要别人拿到我的模型文件随意乱用，此时就涉及到对模型文件进行加密与解密 深度学习模型的加密保护非常重要，尤其在商业应用场景下。常见的模型加密方法包括模型文件加密、加密硬件…
阅读更多...
图像分割基本知识

图像分割基本知识

计算机视觉和图像处理 Tensorflow入门深度神经网络图像分类目标检测图像分割 图像分割 一、目标分割1.1 图像分割的定义1.2 任务类型1.2.1 任务描述1.2.2 任务类型 二、语义分割2.1 FCN网络2.1.1网络结构 2.2 Unet网络 三、UNet案例3.1 数据集获取3.1.1 设置相关信息3.1.2 图像…
阅读更多...
nature communications |多层次蛋白质组分析揭示弥漫型和肠型胃癌之间的分子多样性

nature communications |多层次蛋白质组分析揭示弥漫型和肠型胃癌之间的分子多样性

文章信息 发表期刊：nature communications 发表日期：2023年2月14日 影响因子：14.7 研究背景 胃癌是世界上主要的癌症类型之一。弥漫型胃癌(DGC)和肠型胃癌(IGC)是胃癌(GC)的主要组织学类型，DGC呈分散的细胞组织，黏…
阅读更多...
比特币10年价格数据(2014-2024)分析(进阶2_时间序列分析)

比特币10年价格数据(2014-2024)分析(进阶2_时间序列分析)

数据入口：【每周挑战】比特币10年价格数据可视化和量化分析 - Heywhale.com 本数据集包含 2014 - 2024 的比特币美元价格数据，具体包含比特币每日的开盘价、最高价、最低价、收盘价以及成交量等关键信息。数据说明如下： 字段说明Date日期&a…
阅读更多...
iPhone 16系列：摄影艺术的全新演绎，探索影像新境界

iPhone 16系列：摄影艺术的全新演绎，探索影像新境界

在科技的浪潮中，智能手机摄影功能的进化从未停歇。 苹果公司即将推出的iPhone 16系列，以其卓越的相机升级和创新特性，再次站在了手机摄影的前沿。 从硬件到软件，从拍照体验到图像处理，iPhone 16系列都展现了其在移动…
阅读更多...
camtasia2024绿色免费安装包win+mac下载含2024最新激活密钥

camtasia2024绿色免费安装包win+mac下载含2024最新激活密钥

Hey, hey, hey！亲爱的各位小伙伴，今天我要给大家带来的是Camtasia2024中文版本，这款软件简直是视频制作爱好者的福音啊！ camtasia2024绿色免费安装包winmac下载，点击链接即可保存。 先说说这个版本新加的功能吧&#…
阅读更多...
Mapsui：一个 .NET 开源的地图组件库

Mapsui：一个 .NET 开源的地图组件库

前言 今天大姚给大家分享一个.NET开源（MIT License）、免费、同时支持多平台框架（MAUI、WPF、Avalonia、Uno、Blazor、WinUI、Eto、.NET Android 和 .NET iOS）地图组件库：Mapsui。 项目源代码 支持的UI框架的NuGet包 创…
阅读更多...
华为OD机试 - 查字典（Python/JS/C/C++ 2024 E卷 100分）

华为OD机试 - 查字典（Python/JS/C/C++ 2024 E卷 100分）

华为OD机试 2024E卷题库疯狂收录中，刷题点这里 专栏导读 本专栏收录于《华为OD机试真题（Python/JS/C/C）》。 刷的越多，抽中的概率越大，私信哪吒，备注华为OD，加入华为OD刷题交流群，…
阅读更多...
【研发日记】嵌入式处理器技能解锁(六)——ARM的Cortex-M4内核

【研发日记】嵌入式处理器技能解锁(六)——ARM的Cortex-M4内核

文章目录 前言 背景介绍 指令集架构 ARM起源 ARM分类 Cortex-M4 内核框架 指令流水线 实践应用 总结 参考资料 前言 见《【研发日记】嵌入式处理器技能解锁(一)——多任务异步执行调度的三种方法》 见《【研发日记】嵌入式处理器技能解锁(二)——TI C2000 DSP的SCI(…
阅读更多...
管理依赖版本-maven工程parent项目巧配置

管理依赖版本-maven工程parent项目巧配置

本文目标：开发人员，在了解pom文件properties、dependencyManagement标签用法的条件下，进行依赖包版本统一维护，达到统一维护项目依赖jar包版本的程度。 文章目录 1 场景2 要点3 总结/练习 1 场景 maven工程多模块项目，…
阅读更多...
数据库基础知识---------------------------（2）

数据库基础知识---------------------------（2）

MYSQL的存储过程 就是数据库 SQL 语言层面的代码封装与重用 语法格式 delimiter 自定义结束符号 create procedure 存储名({in,out,inout} 参数名,数据类型...) begin sql 语句 end 自定义结束符 delimiter; 变量定义 局部变量 用户自定义 仅在begin / end 块中有效 当将查询…
阅读更多...
高效开发，从暗藏玄机的文件系统开始—合宙Air201资产定位模组LuatOS

高效开发，从暗藏玄机的文件系统开始—合宙Air201资产定位模组LuatOS

超低功耗、精准定位、快速量产——迷你小巧的合宙Air201，正给越来越多的行业客户带来高效开发体验。 4G-Cat.1模组的文件系统关乎数据传输速度、存储效率，以及数据安全性等等诸多因素，在应用开发中极为重要。 本期，我们来学习合…
阅读更多...
微型导轨在3D打印设备中的应用与实践

微型导轨在3D打印设备中的应用与实践

微型导轨的应用范围非常广泛，尤其在追求高精度、高效率及低噪音的现代打印技术中扮演着重要角色。微型导轨在3D打印机等精密设备中是常用元件，以提高打印质量和效率。 在打印机中，无论是喷墨式、激光式还是3D打印机，都需要精确的打…
阅读更多...
JDBC编程详细总结

JDBC编程详细总结

一、JDBC编程 JDBC编程有标准步骤(八股文) 注册驱动 将sql语句的运行环境加载到JVM 连接数据库 获得执行SQL的对象 执行SQL语句,获得结果 关流 1、 注册驱动 Class.forName("com.mysql.jdbc.Driver");//5.7版本 加载驱动 Class.forName("com.mysql.cj.jdb…
阅读更多...
为什么收录是谷歌seo的底子？

为什么收录是谷歌seo的底子？

收录是谷歌SEO的基础，因为它决定了网站页面能否被用户找到。只有被谷歌收录的页面，才有机会在搜索结果中出现。如果页面没有被收录，谷歌根本就不知道它的存在，这意味着即使内容再好、关键词再精准，也不会有任何排名 被…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023