基于 RealSense D435i相机实现手部姿态检测

news2024/11/14 10:55:08

基于 RealSense D435i相机进行手部姿态检测,其中采用 Mediapipe 进行手部检测,以下是详细步骤:

Mediapipe 是一个由 Google开发的开源框架,专门用于构建多媒体处理管道,特别是计算机视觉和机器学习任务。它提供了一系列预训练的模型和工具,可以用于实时处理图像和视频流。
主要功能:

  1. 手部检测:可以检测并跟踪手部的位置和姿态。
  2. 面部检测:识别面部特征点,用于表情识别和面部跟踪。
  3. 姿态估计:检测人体的关键点,用于运动分析和健身应用。
  4. 物体检测:实现物体检测和识别,适用于各种场景。
  5. 语音识别:支持音频处理和语音识别功能。

主要特点:

  • 高效性:能够在移动设备和边缘设备上运行,具备良好的性能。
  • 跨平台:支持多种操作系统和设备,包括 Android、iOS 和桌面环境。
  • 易于使用:提供简单的 API,方便开发者快速集成和使用。

使用场景:

Mediapipe 被广泛应用于增强现实、游戏开发、健康监测、安防监控等领域。
可以访问 Mediapipe的官方文档了解详细内容和使用示例。

一、手部姿态检测

步骤 1: 安装所需库

首先,请确保您已经安装了 Python 和 pip。然后,通过以下命令安装所需库:

pip install pyrealsense2 opencv-python mediapipe numpy

步骤 2: 设置 RealSense D435i

确保您的 RealSense D435 相机已正确连接,并安装了 RealSense SDK。
可以从 Intel 的 RealSense SDK 页面获取更多信息。

步骤 3: 演示代码

以下是一个整合了 RealSense D435i 和 Mediapipe 手部检测的 Python 脚本示例。具体的实现细节可能需要根据需求进行调整。

import cv2
import numpy as np
import pyrealsense2 as rs
import mediapipe as mp

# 初始化 Mediapipe 手部模块
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(static_image_mode=False, max_num_hands=2, min_detection_confidence=0.7)
mp_drawing = mp.solutions.drawing_utils

# 配置 RealSense 流
pipeline = rs.pipeline()
config = rs.config()
config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)
config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)

# 启动流
pipeline.start(config)

try:
    while True:
        # 等待获取新的帧
        frames = pipeline.wait_for_frames()
        color_frame = frames.get_color_frame()

        if not color_frame:
            continue

        # 将图像转换为 NumPy 数组
        image = np.asanyarray(color_frame.get_data())

        # 转换颜色空间
        image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
        image_rgb.flags.writeable = False

        # 使用 Mediapipe 检测手部
        results = hands.process(image_rgb)

        # 绘制手部标记
        image_rgb.flags.writeable = True
        if results.multi_hand_landmarks:
            for hand_landmarks in results.multi_hand_landmarks:
                mp_drawing.draw_landmarks(image_rgb, hand_landmarks, mp_hands.HAND_CONNECTIONS)
                # 在这里可以调用 Dex-Retargeting 算法,处理 hand_landmarks
                # dex_retargeting_function(hand_landmarks)

        # 显示结果
        cv2.imshow('Hand Tracking', image_rgb)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

finally:
    # 停止流
    pipeline.stop()
    cv2.destroyAllWindows()

步骤 4: 运行代码

将上述代码保存为 hand_tracking.py,然后在终端中运行:

python hand_tracking.py

在这里插入图片描述

二、记录/打印手指关节姿态

1、修改上述步骤 3的演示代码

# 定义手指的关键点索引范围
finger_indices = {
    "thumb": range(0, 5),
    "index": range(5, 9),
    "middle": range(9, 13),
    "ring": range(13, 17),
    "pinky": range(17, 21)
}

try:
    while True:
        # 等待新帧
        frames = pipeline.wait_for_frames()
        color_frame = frames.get_color_frame()
        depth_frame = frames.get_depth_frame()

        if not color_frame or not depth_frame:
            continue

        # 转换为 numpy 数组
        img = cv2.cvtColor(np.asanyarray(color_frame.get_data()), cv2.COLOR_RGB2BGR)
        
        # 处理手部检测
        results = hands.process(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))

        if results.multi_hand_landmarks:
            for hand_landmarks in results.multi_hand_landmarks:
                # 绘制手部关键点
                mp_drawing.draw_landmarks(img, hand_landmarks, mp_hands.HAND_CONNECTIONS)

                # 提取并打印每个手指的关键点空间姿态
                for finger, indices in finger_indices.items():
                    keypoints = [(hand_landmarks.landmark[i].x, 
                                  hand_landmarks.landmark[i].y, 
                                  hand_landmarks.landmark[i].z) 
                                 for i in indices]
                    print(f"{finger} keypoints: {keypoints}")

                    # 将手指关节姿态信息写入文件
                    with open('hand_landmarks.txt', 'a') as f:
                        f.write(f"{finger}: {keypoints}\n")

2、结果显示和分析

thumb: [(0.9687821865081787, 0.6210590600967407, 3.910763268777373e-07), (0.9071911573410034, 0.6109362840652466, -0.03194861114025116), (0.8624528646469116, 0.554160475730896, -0.04743020609021187), (0.8405251502990723, 0.49807286262512207, -0.06013686582446098), (0.8232850432395935, 0.4591226577758789, -0.0727970078587532)]
index: [(0.9149847626686096, 0.4301099479198456, -0.02639639377593994), (0.9145824909210205, 0.3440428376197815, -0.04998774453997612), (0.9162378907203674, 0.2871255874633789, -0.07186762243509293), (0.9200422763824463, 0.23657603561878204, -0.08782264590263367)]
middle: [(0.9503715634346008, 0.4127236604690552, -0.02441730722784996), (0.9643440246582031, 0.31598132848739624, -0.042417172342538834), (0.9733370542526245, 0.2534366846084595, -0.05844615772366524), (0.9829654097557068, 0.19702278077602386, -0.07070045918226242)]
ring: [(0.9794745445251465, 0.41305306553840637, -0.026965150609612465), (0.9923086762428284, 0.3207796812057495, -0.04289492592215538), (1.0009437799453735, 0.2619915306568146, -0.05437065660953522), (1.0100406408309937, 0.21127769351005554, -0.06270640343427658)]
pinky: [(1.0050956010818481, 0.42907220125198364, -0.033185433596372604), (1.018389105796814, 0.3570478856563568, -0.046027250587940216), (1.024712324142456, 0.31118300557136536, -0.0520443469285965), (1.030387043952942, 0.2696005702018738, -0.05643028765916824)]

上述代码打印的信息表示了拇指各个关节在三维空间中的位置坐标。具体来说,每个元组代表一个关节的 (x)、(y) 和 (z)坐标,解释如下:

  1. 拇指的关节列表

    • thumb:表示这是拇指的关键点信息。
    • 里面的每个元组均表示拇指某个关节的空间坐标。
  2. 坐标含义

    • 每个元组包含三个值:
      • (x): 表示该关节在图像宽度方向上的相对位置,值范围为 0 到 1。
      • (y): 表示该关节在图像高度方向上的相对位置,值范围为 0 到 1。
      • (z): 表示关节相对于手掌的深度值(通常是负值表示离相机更远,正值则表示更近)。

对于拇指的五个关节,上述打印的坐标信息分别是:

  1. 第一个关节(根部): ((0.9688, 0.6211, 0))
  2. 第二个关节: ((0.9072, 0.6109, -0.0319))
  3. 第三个关节: ((0.8625, 0.5542, -0.0474))
  4. 第四个关节: ((0.8405, 0.4981, -0.0601))
  5. 第五个关节(指尖): ((0.8233, 0.4591, -0.0728))
    这些数据可以用于分析拇指的姿态和运动,帮助实现手势识别或其他与手部交互相关的应用。

三、注意事项

  1. 确保 RealSense D435i 相机已连接并正常工作。
  2. 若有其他依赖项或运行环境问题,请根据错误提示进行调试。
  3. 调整 min_detection_confidence 和 min_tracking_confidence 以提高检测效果。

通过这些步骤,可以实现手部姿态检测,并将每个手指的关节空间姿态信息保存到文件中。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2161006.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

OLED(2)驱动篇

文章目录 1 概述2 代码简述2.1 OLED 对象2.2 OLEDProtocol 对象2.3 OLEDFont 对象 3 成果展示 1 概述 1)代码仓库:这里尝试了两种面向对象的方式,不足之处敬请指正。 OOP 方式:https://gitee.com/luyaocf/demo-jlc_stm32f407_oop.…

【逐行注释】扩展卡尔曼滤波EKF和粒子滤波PF的效果对比,MATLAB源代码(无需下载,可直接复制)

文章目录 总述源代码运行结果改进方向总述 本代码使用 M A T L A B MATLAB MATL</

2024最新金九银十必问面试题大全

我花了三天时间&#xff0c;整理了100道最经典的常见测试面试题&#xff08;附答案&#xff09;&#xff01;完整版文档见文末&#xff01; 1、所做项目的情况&#xff0c;主要做什么类型的测试&#xff1f; 2、你在测试中发现了一个bug&#xff0c;但是开发经理认为这不是一…

基于yolov5的中国交通标志TT100K检测系统python源码+onnx模型+评估指标曲线+精美GUI界面

【算法介绍】 基于YOLOv5的中国交通标志TT100K检测系统是一种利用深度学习技术实现高效、准确交通标志识别的系统。该系统采用YOLOv5作为核心检测算法&#xff0c;凭借其速度快、准确性高的特点&#xff0c;在实时交通标志识别领域展现出显著优势。 TT100K数据集作为该系统的…

【学术会议征稿】2024年先进控制系统与自动化技术国际学术会议(ACSAT 2024)

2024年先进控制系统与自动化技术国际学术会议&#xff08;ACSAT 2024&#xff09; 2024 International Conference on Advanced Control Systems and Automation Technologies 2024年先进控制系统与自动化技术国际学术会议&#xff08;ACSAT 2024&#xff09;将于2024年11月15…

大模型推理革新:探索思维图(DoT)框架的逻辑与应用

姚期智院士领衔推出了大模型新推理框架&#xff0c;CoT的“王冠”已难以承载。 提出了思维图&#xff08;Diagram of Thought&#xff0c;DoT&#xff09;&#xff0c;使大模型的思考方式更接近人类。 团队为这一推理过程提供了数学基础&#xff0c;通过拓扑斯理论&#xff0…

【Finetune】(六)、transformers之IA-3微调

文章目录 0、IA-3基本原理1、IA-3微调实战1.1、导包1.2、加载数据集1.3、数据预处理1.4、创建模型1.5、LORA微调1.5.1、配置文件1.5.2、创建模型 1.6、配置训练参数1.7、创建训练器1.8、模型训练1.9、模型推理 0、IA-3基本原理 IA3的基本思想就是抑制和放大内部激活&#xff0c…

外包功能测试干了4年,技术退步太明显了。。。。。

先说一下自己的情况&#xff0c;本科生生&#xff0c;18年通过校招进入武汉某软件公司&#xff0c;干了差不多4年的功能测试&#xff0c;今年中秋&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能…

详细七种msvcr71.dll丢失的解决方法,快速修复错误的msvcr71.dll问题

今天&#xff0c;我打算跟大家分享一个有关电脑提示“msvcr71.dll丢失”的问题&#xff0c;并且会给出7种msvcr71.dll丢失的解决方法。但愿在大家工作期间遇到类似问题的时候&#xff0c;这些方法能够起到一定的帮助作用。同时在帮助大家了解msvcr71.dll文件。 如果遇到“msvcr…

面试知识点总结篇二

一、makefile链接库参数 LIBS -L/path/to/lib -lmylib//&#xff0c;-lmylib会链接名为libmylib.so或libmylib.a的库。all: myprogrammyprogram: myprogram.ogcc -o myprogram myprogram.o $(LIBS)//此处使用myprogram.o: myprogram.cgcc -c myprogram.c二、shell指令 Shell…

JAVA开源项目 影城管理系统 计算机毕业设计

本文项目编号 T 045 &#xff0c;文末自助获取源码 \color{red}{T045&#xff0c;文末自助获取源码} T045&#xff0c;文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析 六、核心代码6.1 用…

无人机视角下的车辆数据集

车辆数据集 无人机视角下的车辆数据集。数据集为无人机俯拍的真实场景下的车辆机动车数据集。数据集已经标注好&#xff0c;yolo格式&#xff0c;txt标签。数据集已经划分好训练集&#xff08;20970张图片&#xff09;验证集&#xff08;5242张图片&#xff09;测试集&#xff…

企业级Windows server服务器技术(1)

windows server服务器安装 准备工作&#xff1a; 1.准备安装的镜像 2.安装好虚拟机VMware或者virtual box 3.准备安装的位置&#xff08;选择你的电脑的磁盘上比较空闲的位置&#xff0c;新建一个文件夹并命名&#xff09; 4.开始安装&#xff08;按步骤&#xff09;----…

Threejs绘制圆锥体

上一章节实现了胶囊体的绘制&#xff0c;这节来绘制圆锥体&#xff0c;圆锥体就是三角形旋转获得的&#xff0c;如上文一样&#xff0c;先要创建出基础的组件&#xff0c;包括场景&#xff0c;相机&#xff0c;灯光&#xff0c;渲染器。代码如下&#xff1a; initScene() {this…

电力系统中有哪些好的运维的平台?

摘要&#xff1a;介绍台商大厦&#xff0c;采用综合保护装置、多功能仪表、变压器温控仪、直流屏、烟雾传感器、门磁开关、网络摄像头等设备&#xff0c;采集配电现场的各种电参量和状态信号。系统采用现场就地组网的方式&#xff0c;组网后通过现场网关远传至阿里云平台&#…

【模板进阶】std::enable_if

一、 SFINAE 在介绍 s t d : : e n a b l e _ i f std::enable\_if std::enable_if之前&#xff0c;先介绍一个概念&#xff1a; S F I N A E SFINAE SFINAE&#xff0c;全称是&#xff1a; S u b s t i t u t i o n F a i l u r e i s n o t a n E r r o r Substitution\ Fai…

【java21】java21新特性之JavaDoc中支持代码片段

在Java18之前&#xff0c;已经支持在JavaDoc中引入代码片段&#xff0c;这样可以在某些场景下更好的展示描述信息&#xff0c;但是之前的支持功能有限&#xff0c;比如我想高亮代码片段中的某一段代码是无能为力的。现在Java18优化了这个问题&#xff0c;增加了snippet来引入更…

短视频矩阵管理系统贴牌 源码开发

抖音账号矩阵的开发核心维度包括&#xff1a; 多账号管理开发维度&#xff1a;通过运用不同类型的账号矩阵&#xff0c;可以实现统一且便捷的管理。目前&#xff0c;矩阵系统支持管理抖音、快手、视频号,b站的账号&#xff0c;未来计划加入小红书,tk等等的账号管理。 矩阵账号…

如何编写高质量的用户故事

本文详细介绍了如何在敏捷开发过程中编写高质量用户故事&#xff08;User Story&#xff09;&#xff0c;包括用户故事的定义、结构、撰写技巧以及如何与产品待办列表&#xff08;Product Backlog&#xff09;中的其他工作项&#xff08;PBI&#xff09;相结合&#xff0c;以提…

【Elasticsearch系列廿二】特殊参数

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…