基于 RealSense D435i相机进行手部姿态检测,其中采用 Mediapipe 进行手部检测,以下是详细步骤:
Mediapipe 是一个由 Google开发的开源框架,专门用于构建多媒体处理管道,特别是计算机视觉和机器学习任务。它提供了一系列预训练的模型和工具,可以用于实时处理图像和视频流。
主要功能:
- 手部检测:可以检测并跟踪手部的位置和姿态。
- 面部检测:识别面部特征点,用于表情识别和面部跟踪。
- 姿态估计:检测人体的关键点,用于运动分析和健身应用。
- 物体检测:实现物体检测和识别,适用于各种场景。
- 语音识别:支持音频处理和语音识别功能。
主要特点:
- 高效性:能够在移动设备和边缘设备上运行,具备良好的性能。
- 跨平台:支持多种操作系统和设备,包括 Android、iOS 和桌面环境。
- 易于使用:提供简单的 API,方便开发者快速集成和使用。
使用场景:
Mediapipe 被广泛应用于增强现实、游戏开发、健康监测、安防监控等领域。
可以访问 Mediapipe的官方文档了解详细内容和使用示例。
一、手部姿态检测
步骤 1: 安装所需库
首先,请确保您已经安装了 Python 和 pip。然后,通过以下命令安装所需库:
pip install pyrealsense2 opencv-python mediapipe numpy
步骤 2: 设置 RealSense D435i
确保您的 RealSense D435 相机已正确连接,并安装了 RealSense SDK。
可以从 Intel 的 RealSense SDK 页面获取更多信息。
步骤 3: 演示代码
以下是一个整合了 RealSense D435i 和 Mediapipe 手部检测的 Python 脚本示例。具体的实现细节可能需要根据需求进行调整。
import cv2
import numpy as np
import pyrealsense2 as rs
import mediapipe as mp
# 初始化 Mediapipe 手部模块
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(static_image_mode=False, max_num_hands=2, min_detection_confidence=0.7)
mp_drawing = mp.solutions.drawing_utils
# 配置 RealSense 流
pipeline = rs.pipeline()
config = rs.config()
config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)
config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)
# 启动流
pipeline.start(config)
try:
while True:
# 等待获取新的帧
frames = pipeline.wait_for_frames()
color_frame = frames.get_color_frame()
if not color_frame:
continue
# 将图像转换为 NumPy 数组
image = np.asanyarray(color_frame.get_data())
# 转换颜色空间
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
image_rgb.flags.writeable = False
# 使用 Mediapipe 检测手部
results = hands.process(image_rgb)
# 绘制手部标记
image_rgb.flags.writeable = True
if results.multi_hand_landmarks:
for hand_landmarks in results.multi_hand_landmarks:
mp_drawing.draw_landmarks(image_rgb, hand_landmarks, mp_hands.HAND_CONNECTIONS)
# 在这里可以调用 Dex-Retargeting 算法,处理 hand_landmarks
# dex_retargeting_function(hand_landmarks)
# 显示结果
cv2.imshow('Hand Tracking', image_rgb)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
finally:
# 停止流
pipeline.stop()
cv2.destroyAllWindows()
步骤 4: 运行代码
将上述代码保存为 hand_tracking.py
,然后在终端中运行:
python hand_tracking.py
二、记录/打印手指关节姿态
1、修改上述步骤 3的演示代码
# 定义手指的关键点索引范围
finger_indices = {
"thumb": range(0, 5),
"index": range(5, 9),
"middle": range(9, 13),
"ring": range(13, 17),
"pinky": range(17, 21)
}
try:
while True:
# 等待新帧
frames = pipeline.wait_for_frames()
color_frame = frames.get_color_frame()
depth_frame = frames.get_depth_frame()
if not color_frame or not depth_frame:
continue
# 转换为 numpy 数组
img = cv2.cvtColor(np.asanyarray(color_frame.get_data()), cv2.COLOR_RGB2BGR)
# 处理手部检测
results = hands.process(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
if results.multi_hand_landmarks:
for hand_landmarks in results.multi_hand_landmarks:
# 绘制手部关键点
mp_drawing.draw_landmarks(img, hand_landmarks, mp_hands.HAND_CONNECTIONS)
# 提取并打印每个手指的关键点空间姿态
for finger, indices in finger_indices.items():
keypoints = [(hand_landmarks.landmark[i].x,
hand_landmarks.landmark[i].y,
hand_landmarks.landmark[i].z)
for i in indices]
print(f"{finger} keypoints: {keypoints}")
# 将手指关节姿态信息写入文件
with open('hand_landmarks.txt', 'a') as f:
f.write(f"{finger}: {keypoints}\n")
2、结果显示和分析
thumb: [(0.9687821865081787, 0.6210590600967407, 3.910763268777373e-07), (0.9071911573410034, 0.6109362840652466, -0.03194861114025116), (0.8624528646469116, 0.554160475730896, -0.04743020609021187), (0.8405251502990723, 0.49807286262512207, -0.06013686582446098), (0.8232850432395935, 0.4591226577758789, -0.0727970078587532)]
index: [(0.9149847626686096, 0.4301099479198456, -0.02639639377593994), (0.9145824909210205, 0.3440428376197815, -0.04998774453997612), (0.9162378907203674, 0.2871255874633789, -0.07186762243509293), (0.9200422763824463, 0.23657603561878204, -0.08782264590263367)]
middle: [(0.9503715634346008, 0.4127236604690552, -0.02441730722784996), (0.9643440246582031, 0.31598132848739624, -0.042417172342538834), (0.9733370542526245, 0.2534366846084595, -0.05844615772366524), (0.9829654097557068, 0.19702278077602386, -0.07070045918226242)]
ring: [(0.9794745445251465, 0.41305306553840637, -0.026965150609612465), (0.9923086762428284, 0.3207796812057495, -0.04289492592215538), (1.0009437799453735, 0.2619915306568146, -0.05437065660953522), (1.0100406408309937, 0.21127769351005554, -0.06270640343427658)]
pinky: [(1.0050956010818481, 0.42907220125198364, -0.033185433596372604), (1.018389105796814, 0.3570478856563568, -0.046027250587940216), (1.024712324142456, 0.31118300557136536, -0.0520443469285965), (1.030387043952942, 0.2696005702018738, -0.05643028765916824)]
上述代码打印的信息表示了拇指各个关节在三维空间中的位置坐标。具体来说,每个元组代表一个关节的 (x)、(y) 和 (z)坐标,解释如下:
拇指的关节列表:
thumb
:表示这是拇指的关键点信息。- 里面的每个元组均表示拇指某个关节的空间坐标。
坐标含义:
- 每个元组包含三个值:
- (x): 表示该关节在图像宽度方向上的相对位置,值范围为 0 到 1。
- (y): 表示该关节在图像高度方向上的相对位置,值范围为 0 到 1。
- (z): 表示关节相对于手掌的深度值(通常是负值表示离相机更远,正值则表示更近)。
对于拇指的五个关节,上述打印的坐标信息分别是:
- 第一个关节(根部): ((0.9688, 0.6211, 0))
- 第二个关节: ((0.9072, 0.6109, -0.0319))
- 第三个关节: ((0.8625, 0.5542, -0.0474))
- 第四个关节: ((0.8405, 0.4981, -0.0601))
- 第五个关节(指尖): ((0.8233, 0.4591, -0.0728))
这些数据可以用于分析拇指的姿态和运动,帮助实现手势识别或其他与手部交互相关的应用。
三、注意事项
- 确保 RealSense D435i 相机已连接并正常工作。
- 若有其他依赖项或运行环境问题,请根据错误提示进行调试。
- 调整 min_detection_confidence 和 min_tracking_confidence 以提高检测效果。
通过这些步骤,可以实现手部姿态检测,并将每个手指的关节空间姿态信息保存到文件中。