Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势

news2024/11/23 16:47:10

文章目录

  • 📕教程说明
  • 📕录制前的准备
  • 📕第一种录制方法(Hand Grab Pose Tool 场景)
    • ⭐在运行模式中确认录制
    • ⭐保存录制的手势,将物体做成 Prefab
    • ⭐在编辑阶段调整抓取手势
      • 🔍Fingers Freedom
      • 🔍调整录制手势的手指弯曲
      • 🔍隐藏预渲染的手势模型
  • 📕第二种录制方法(Hand Grab Pose Recorder 窗口)
    • ⭐选择用哪一只手录制
    • ⭐选择给哪一个物体录制抓取手势
    • ⭐在运行模式中确认录制
    • ⭐保存录制的手势
    • ⭐给物体加载录制的手势数据
    • ⭐在编辑阶段调整抓取手势
  • 📕生成镜像手势
  • 📕生成姿势相同,不同缩放的手势

此教程相关的详细教案,文档,思维导图和工程文件会放入 Spatial XR 社区。这是一个高质量 XR 社区,博主目前在内担任 XR 开发的讲师。此外,该社区提供教程答疑、及时交流、进阶教程、外包、行业动态等服务。

社区链接:
Spatial XR 高级社区(知识星球)
Spatial XR 高级社区(爱发电)

在这里插入图片描述


📕教程说明

这篇教程将会介绍如何录制可抓取物体的抓取手势。

配置一个基本的玩家物体可以参考前几期教程:https://blog.csdn.net/qq_46044366/article/details/134097455

系列教程专栏:https://blog.csdn.net/qq_46044366/category_12118293.html

配套的视频链接:
9.通过录制手部动作,实现自定义VR抓取动作

​电脑操作系统:Windows 11

使用的 VR 设备:Meta Quest 3(Quest 系列都适用)

使用的 Unity 版本:2021.3.5 LTS (这里推荐使用 2021 及以上的 LTS 版本)

Meta XR SDK 版本:v57

官方文档:https://developer.oculus.com/documentation/unity/unity-gs-overview/

录制抓取手势文档:
https://developer.oculus.com/documentation/unity/unity-isdk-creating-handgrab-poses/


📕录制前的准备

需要给物体添加碰撞体,刚体 Rigidbody 和 Grabbable 脚本。(这期教程会先介绍录制没有物理效果的物体的抓取手势,所以我先把碰撞体的 Is Trigger 勾选上,把刚体的 Use Gravity 取消掉,实际上,在录制抓取手势的时候最好先取消物体的物理效果,这样物体能够固定住,方便我们录制)

在这里插入图片描述


📕第一种录制方法(Hand Grab Pose Tool 场景)

借助 Interaction SDK 中的 Hand Grab Pose Tool 场景(在 v57 中位于 Asset/Oculus/Interaction/Samples/Scenes/Tools 下)

在这里插入图片描述

在这里插入图片描述

注:录制时必须要在 Unity 运行模式下,并且要通过 Oculus Link 有线串流。

⭐在运行模式中确认录制

在这里插入图片描述

在做好物体的前置准备后,我们就可以点击 Unity 的运行按钮进入运行模式,用一只手去抓取物体摆出抓取姿势,然后用另一只手去按场景中桌子上的按钮,按下后等3秒,就会录制好抓取手势,物体上会渲染出一个抓取手势的手部模型。

在这里插入图片描述

然后物体身上会多出一个 HandGrabInteractable 子物体,该子物体身上有一个 HandGrabPose 子物体,HandGrabPose 物体记录了录制的抓取手势数据。

⭐保存录制的手势,将物体做成 Prefab

在这里插入图片描述

我们需要把录制好抓取手势的物体制作成 Prefab 预制体,将它拖到 Assets 下文件夹下的任意一个位置或者子文件夹,然后再退出运行模式。Prefab 会记录保存我们在运行模式下对物体做出的更改。

退出运行模式后,我们就可以把保存的 Prefab 拖到场景中,此时物体就具备了刚刚录制抓取的手势。

⭐在编辑阶段调整抓取手势

在这里插入图片描述
在这里插入图片描述

🔍Fingers Freedom

我们可以点击物体身上的 HandGrabPose 子物体,调整 HandGrabPose 脚本上的 Fingers Freedom 参数:

在这里插入图片描述

每根手指会有三个参数可以选择:
在这里插入图片描述

如果选择了 Locked,在手部呈现出抓取手势后,虚拟的手指姿态会被固定住,无法跟随现实中的手指弯曲,除非取消抓取。

如果选择了 Constrained,在手部呈现出抓取手势后,虚拟的手指可以跟随现实的手指向外弯曲,而不能继续向内弯曲。

如果选择了 Free,虚拟手指可以跟随现实手指自由弯曲。

🔍调整录制手势的手指弯曲

在这里插入图片描述

点击 HandGrabPose 物体,可以看到渲染的抓取手势模型关节上有蓝色或者紫色的圈,我们可以去调整这些圈的旋转角度来调整手势关节的旋转角度。

🔍隐藏预渲染的手势模型

此时,如果我们运行程序,会发现预渲染的手势模型会一直存在。如果要隐藏它,我们可以隐藏或者删除 HandGrabPose 物体上的子物体:

在这里插入图片描述

不过,如果我们用鼠标选中了 HandGrabPose 物体,还是会渲染出手势模型的。但是不去选中这个物体就看不到手势模型了。

📕第二种录制方法(Hand Grab Pose Recorder 窗口)

点击 Unity 编辑器菜单栏中的 Oculus/Interaction/Hand Grab Pose Recorder:

在这里插入图片描述

然后会跳出一个窗口,之后我们就根据窗口上的步骤进行配置:

在这里插入图片描述

如果使用这种录制方式,我们可以在任意场景中进行

⭐选择用哪一只手录制

窗口中的第一个参数需要传入一个 Hand 脚本。Hand 脚本在玩家物体上的 RightHand 和 LeftHand 子物体上:

在这里插入图片描述
在这里插入图片描述
假如我选择用右手进行录制,那么我就可以将场景中的 RightHand 物体拖到 Hand Grab Pose Recorder 窗口中的 Hand 变量上,它会自动识别物体身上的 Hand 脚本:

在这里插入图片描述

⭐选择给哪一个物体录制抓取手势

接下来我们将场景中需要录制抓取手势的物体拖到录制窗口中,前提是这个物体身上添加了刚体组件:
在这里插入图片描述

⭐在运行模式中确认录制

接下来,我们点击 Unity 的运行按钮进入到运行模式,用之前我们选择录制抓取手势的手摆出抓取物体的姿势,我们可以用鼠标点击窗口中的 Record HandGrabPose 确认录制抓取手势,或者将鼠标光标移到 Hand Grab Pose Recorder 窗口,双击一下进入到 Focus 状态,然后按下键盘的空格键确认录制

在这里插入图片描述
录制成功后物体身上会渲染出抓取手势的模型。

⭐保存录制的手势

在这里插入图片描述
点击 Hand Grab Pose Recorder 窗口中的 Save To Collection 对抓取手势的数据进行保存,然后退出运行模式。

⭐给物体加载录制的手势数据

退出运行模式后,选中物体,点击 Hand Grab Pose Recorder 窗口中的 Load From Collection:

在这里插入图片描述

然后这个物体身上会多出一个 HandGrabInteractable 子物体,记录了录制过的抓取手势。

⭐在编辑阶段调整抓取手势

这一步和第一种方法中的调整方法是一样的,这种录制方式是没有隐藏预渲染的手势模型这一步。

📕生成镜像手势

我们可以点击 HandGrabInteractable 物体上的 HandGrabInteractable 脚本的 Create Mirrored HandGrabInteractable:

在这里插入图片描述

比如我使用右手录制抓取手势,那么就能够快速生成左手的镜像抓取手势。

在这里插入图片描述

📕生成姿势相同,不同缩放的手势

在这里插入图片描述

调整 HandGrabInteractable 脚本上 Scale Hand Grab Poses 下的滑动条修改抓取手势的缩放大小,然后点击 Add HandGrabPoseKey 按钮就能快速生成相应缩放大小的手势。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1293086.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

leetcode 622. 设计循环链表

这道题讲了两种方法,第一个代码是用数组实现的,第二个是用链表实现的,希望对你们有帮助 (最好在VS自己测试一遍,再放到 leetcode上哦) 下面的是主函数(作参考),静下心来…

第21章网络通信

Internet 提供了大量有用的信息,很少有人能在接触过Internet后拒绝它的诱惑。计算机网络实现了多台计算机间的互联,使得它们彼此之间能够进行数据交流。网络应用程序就是在已连接的不同计算机上运行的程序,这些程序借助于网络协议&#xff0c…

孩子都能学会的FPGA:第二十四课——用FPGA和格雷码实现异步FIFO

(原创声明:该文是作者的原创,面向对象是FPGA入门者,后续会有进阶的高级教程。宗旨是让每个想做FPGA的人轻松入门,作者不光让大家知其然,还要让大家知其所以然!每个工程作者都搭建了全自动化的仿…

加载离线镜像包:在线镜像离线为tar包、tar离线镜像包加载并根据imageId打tag

第一步:在线环境压缩离线镜像: 需要两个文件,第一个是脚本文件image_offline_load.sh脚本,第二个是image_list.txt 按行 存放需要离线的镜像名称 ./image_offline_load.sh save image_list.txt output.tar第二步:在离…

Nginx 简单入门操作

前言:之前的文章有些过就不罗嗦了。 Nginx 基础内容 是什么? Nginx 是一个轻量级的 HTTP 服务器,采用事件驱动、异步非阻塞处理方式的服务器,它具有极好的 IO 性能,常用于 HTTP服务器(包含动静分离)、正向代理、反向代理、负载均衡 等等. Nginx 和 Node.js 在很多方…

Docker快速理解及简介

docker快速理解及简介 1.Docker为什么出现? 迁移一个项目时,运行文档、配置环境、运行环境、运行依赖包、操作系统发行版、内核等都需要重新安装配置,比较麻烦。 2.Docker是什么? Docker是基于Go语言实现的云开源项目。解决了运行…

Altium Designer实用系列(五)----整理并导出PCB的BOM表

一、引言 最近老师安排了一个小的任务,就是把我们项目的两个电路板BOM整合一下,要注明元器件的耐温、耐压、购买渠道等等内容。    一开始我觉得这工作内容太简单了,两分钟的事。但是当我实际开始干的时候,才发现,好…

【react】动态页面转换成html文件下载,解决样式问题

需求 今天遇到一个需求,挺恶心人的,将一个在线文档页面,可以导出成为html页面查看。 看到网上有使用fs模块,通过react的ReactDOMServer.renderToStaticMarkup将组件转成html字符串,输出文件了。 但是我尝试了&#x…

CodeSys学习笔记

文章目录 1.运动控制的两种方式1.1.SM3_CNC1.2.SM3_Robotics 2.两种运动控制方式的速度、加速度等参数的控制2.1.SM3_CNC2.2.SM3_Robotics 3.CNC的M指令的使用(实现)逻辑。4.SM3_Robotics中的坐标系5.SM3_Robotics如何实现插补并连续执行? 记…

【Linux】diff命令使用

diff命令 是一个用于比较两个文件或目录之间差异的命令。它可以显示两个文件之间的行级别差异,并以易于阅读的格式输出结果。 著者 由保罗艾格特、迈克海特尔、大卫海耶斯、理查德史泰尔曼和Len Tower撰写。 diff命令 -Linux手册页 语法 diff [选项] [文件1]…

设备间的指令通信

指令通信的概念 要进行设备和设备之间的交流就需要通过串口发送数据进行交流 而串口发送简单的数据只需要传输介质 但是要发送复杂的数据就需要介质和传输的规则了 三种应用场景 比如在上位机和mcu之间 通过上位机管理控制器 从而控制电池 单片机和单片机之间 用户输入数据到…

MySQl int(1)、int(20) 的区别到底在哪里

MySQl int(1)、int(20) 的区别到底在哪里 常思一二,便得自然… int(1)数据类型介绍 在MySQL中,INT(1) 是一种定义整数类型的数据字段,其中的数字表示显示宽度而不是存储范围。具体说,INT(1) 中的数字 1 表示显示宽度&#xff0…

VividTalk创新AI语音匹配图片技术:照片+语音=逼真说话视频!

VividTalk是一个由南京大学、阿里巴巴、字节跳动和南开大学共同开发的项目工具。它通过先进的音频到3D网格映射技术和网格到视频的转换技术,实现了高质量、逼真的音频驱动的说话头像视频生成。这一创新技术使得只需提供一张人物的静态照片和一段语音录音&#xff0c…

KeePass开源密码管理器

KeePass开源密码管理器 KeePass 是一款免费的开源密码管理器,KeePass 将密码存储为一个数据库,而这个数据库由一个主密码或密码文件锁住,也就是说我们只需要记住一个主密码,或使用一个密码文件,就可以解开这个数据库&a…

JavaSE基础50题:8. 获取一个数二进制序列中所有的偶数和奇数位,分别输出二进制序列。

概述 获取一个数二进制序列中所有的偶数和奇数位,分别输出二进制序列。 如:从右往左数 0111(如图) 偶数位:01 奇数位:11 代码 public static void main(String[] args) {Scanner scanner new Scanner(Sys…

动态规划学习——最长回文子序列,让字符串变成回文串的最小插入次数

一,最长回文串 1.题目 给你一个字符串 s ,找出其中最长的回文子序列,并返回该序列的长度。 子序列定义为:不改变剩余字符顺序的情况下,删除某些字符或者不删除任何字符形成的一个序列。 示例 1: 输入&…

Dockerfile详解#如何编写自己的Dockerfile

文章目录 前言编写规则指令详解FROM:基础镜像LABEL:镜像描述信息MAINTAINER:添加作者信息COPY:从宿主机复制文件到镜像中ADD:从宿主机复制文件到镜像中WORKDIR:设置工作目录 前言 Dockerfile是编写docker镜…

#HarmonyOS:装饰器UI描述---@Link

装饰器 装饰器(Decorator)是一种语法结构,用来在定义时修改类(class)的行为。 在语法上,装饰器有如下几个特征。 第一个是字符(或者说前缀)是,后面是一个表达式后面的…

机器学习算法(7)-朴素贝叶斯算法和K最近邻算法

一、说明 在在这篇文章中,我将解释两种机器学习算法,称为贝叶斯定理和 K 最近邻算法。贝叶斯定理以 18 世纪英国数学家托马斯贝叶斯的名字命名,是确定条件概率的数学公式。k 最近邻算法,也称为 KNN 或 k-NN,是一种非参…

Python基础知识-变量、数据类型(整型、浮点型、字符类型、布尔类型)详解

1、基本的输出和计算表达式: prinit(12-3) printf(12*3) printf(12/3) prinit(12-3) printf(12*3) printf(12/3) 形如12-3称为表达式 这个表达式的运算结果称为 表达式的返回值 1 2 3 这样的数字,叫做 字面值常量 - * /称为 运算符或者操作符 在C和j…