姿态识别、手势识别（附代码）

news2024/11/19 5:56:50

姿态识别技术是一种基于计算机视觉的人体姿态分析方法，可以通过分析人体的姿态，提取出人体的关键点和骨架信息，并对人体的姿态进行建模和识别。随着深度学习技术的发展，近年来姿态识别技术得到了广泛的应用和研究，其中Pose是一种基于深度学习的姿态识别工具包。本篇博客将介绍Pose的原理和方法，并探讨其在姿态识别领域的应用。
目前识别手势，举左手右手双手叉腰等姿态
在这里插入图片描述

一、 Pose的原理

Pose是开发的一种基于深度学习的姿态识别工具包，它可以通过摄像头或静态图像中的人体图像，快速准确地推断出人体的关键点和骨架信息。Pose的原理是通过卷积神经网络（CNN）来对人体的关键点进行预测。具体来说，e Pose使用的是一种称为卷积神经网络回归（Convolutional Neural Network Regression，简称CNN Regression）的方法，它可以将输入的图像映射到一个连续的空间，从而可以对图像中的每个像素位置进行预测。

#全部代码 1309399183 <------------qq
# ------------------------------------------------
#   计算姿态
# ------------------------------------------------
def get_pos(keypoints):
    str_pose = ""
    # 计算左臂与水平方向的夹角
    keypoints = np.array(keypoints)
    v1 = keypoints[12] - keypoints[11]
    v2 = keypoints[13] - keypoints[11]
    angle_left_arm = get_angle(v1, v2)
    

    if angle_left_arm<0 and angle_right_arm<0:
        str_pose = "举左手"
    elif angle_left_arm>0 and angle_right_arm>0:
        str_pose = "举右手"
    elif angle_left_arm<0 and angle_right_arm>0:
        str_pose = "举双手"
        if abs(angle_left_elow)<120 and abs(angle_right_elow)<120:
            str_pose = "三角形"
    elif angle_left_arm>0 and angle_right_arm<0:
        str_pose = "正常"
        if abs(angle_left_elow)<120 and abs(angle_right_elow)<120:
            str_pose = "AKIMBO"
    return str_pose

Pose的卷积神经网络由两个主要部分组成：特征提取器和回归器。特征提取器用于从输入图像中提取特征，回归器用于对每个关键点的坐标进行回归预测。特征提取器通常使用预训练的深度卷积神经网络模型，如MobileNet或ResNet，来提取输入图像的特征表示。回归器通常由多层卷积神经网络和全连接层组成，用于对特征进行处理，并对每个关键点的坐标进行回归预测。
在这里插入图片描述

二、姿态识别Pose的方法

MediaPipe Pose提供了多种不同的方法来进行姿态识别，包括实时视频姿态估计、静态图像姿态估计和持续视频姿态估计。以下是MediaPipe Pose的几种常见的姿态识别方法：

1. 实时视频姿态估计

实时视频姿态估计是ose最常用的姿态识别方法之一，它可以对实时视频流中的人体姿态进行准确的预测。在实时视频姿态估计中， Pose将输入视频流分成一系列的帧，在每一帧中对人体姿态进行分析和预测。在分析过程中， Pose使用卷积神经网络对每个关键点的坐标进行回归预测，并通过骨架连接来生成姿态估计结果。实时视频姿态估计可以应用于多种应用场景，如运动分析、姿势纠正和虚拟现实等。

2. 静态图像姿态估计

静态图像姿态估计是 Pose用于分析静态图像中人体姿态的一种方法。在静态图像姿态估计中，Pose将输入图像中的每个像素点作为输入，并将其映射到一个连续的空间中。然后，它使用卷积神经网络对每个关键点的坐标进行回归预测，并通过骨架连接来生成姿态估计结果。静态图像姿态估计可以应用于多种应用场景，如人体动作捕捉、人像编辑和人体分析等。

def get_angle(v1, v2):
    angle = np.dot(v1, v2) / (np.sqrt(np.sum(v1 * v1)) * np.sqrt(np.sum(v2 * v2)))
    angle = np.arccos(angle) / 3.14 * 180

    cross = v2[0] * v1[1] - v2[1] * v1[0]
    if cross < 0:
        angle = - angle
    return angle

3. 持续视频姿态估计

持续视频姿态估计是一种用于分析长时间视频流中人体姿态的方法。在持续视频姿态估计中，Pose使用滑动窗口技术对视频流进行分析，以提高姿态识别的准确性和稳定性。在分析过程中，它使用卷积神经网络对每个关键点的坐标进行回归预测，并通过骨架连接来生成姿态估计结果。持续视频姿态估计可以应用于多种应用场景，如安防监控、智能交通和社交媒体等。
在这里插入图片描述