人体姿态估计技术的理解(Human Pose Estimination)

news2024/11/15 4:29:01

本人毕设题目是人体姿态估计技术的相关课题,本人按照自己对人体姿态估计技术的学习和理解进行论述,如有不足,请大家指正!!!

首先讨论一个问题:什么是姿态估计?

“姿势估计?……姿势这个词对不同的人可能有不同的含义,但我们不是在讨论阿诺德的经典作品、奥林匹亚或选美表演。那么,姿势估计到底是什么呢?那么,让我们深入探讨一下这个话题。

姿态估计在计算机视觉领域引起了极大的关注。人们越来越感兴趣的是能够使用计算机视觉技术实时识别和跟踪人或物体的运动,这在各行各业提供了很多有用性。在不断发展的先进技术时代,姿态估计可以成为体育生物力学、动画、游戏、机器人、医疗康复和监控领域的
有效工具。
本质上,姿势估计是根据一个人在图像或视频中的身体部位和关节位置来预测不同的姿势。例如,我们可以在做深蹲的时候自动检测关节、手臂、臀部和脊柱的位置。现在,我们中的一些人可能想知道它是如何有用的?然而,考虑一个运动员受伤后恢复或进行力量训练的例子;姿势估计可以帮助运动分析人员分析深蹲从起始位置到结束位置的关键点。因此,这些分析人员可以纠正姿势,帮助预防训练损伤。
图 1:下蹲时的人体姿势估计
在与人类合作时,姿态分析是通过确定各种身体关节来进行的。例如,它可以通过某人肘关节的位置或膝关节的位置来确定。这种形式的姿态检测属于人体姿态估计的范畴。姿态估计模型以处理良好的图像或视频的形式提供输入。该模型根据输入图像中的信息提供关于不同关键点的输出。一般来说,关键点被提供了一个 ID 和一个置信度分数,决定了一个关键点存在于给定输入的特定位置的概率。现在,如果我们回忆一下之前运动员做深蹲的图像,我们可以分配各种 id,例如:
在这里插入图片描述
相反,与人类受试者不同的是,对于主要是刚性的物体,可以进行姿态估计;因此,它们属于刚性姿态估计的范畴。

2D 和 3D 方面的姿态估计

姿态估计可以通过两种方式进行,即 2D 和 3D。也许,我们中的一些人将 2D 和 3D 的这些概念与动画领域联系起来。然而,2D 方面的姿态估计与基于像素值从图像中预测关键点有关。因此,大多数 2D 人体姿态估计技术都实现了特征提取方法,以提供人体的适当关键点。类似地,3D 姿态估计与从图像和视频中预测特定的人或物体的空间位置有关。随着深度学习的出现,这些模型的性能有了显著的提高,但它们的使用更加复杂,因为数据集需要与适当的人体 3D 结构信息(包括背景和照明条件)进行整理。此外,还有新的方法用于与检测一个人或物体或跟踪多个人和物体相关的单姿态和多姿态估计。

姿态估计模型

各种研究人员提出了不同的姿态、估计模型。在深入探讨之前,有必要了解一下,人体姿态估计模型基本上有三种类型:

  1. 运动的
  2. 平面的
  3. 体积的
  4. 运动学模型可用于 2D 和 3D 姿态估计。本质上,这个模型侧重于不同的关节和肢体位置,以提供人体的结构信息。因此,这样的模型有效地识别了人体各部位之间的各种关系。然而,运动学模型在表示基于纹理或形状的信息时几乎没有限制。接下来,我们讨论强调 2D 姿态估计的平面模型。理想情况下,人体部位用矩形表示,以提供近似人
    体轮廓。最后,体姿态估计模型专注于 3D 姿态估计。这些是端到端的深度学习模型,使用包含全身扫描高分辨率数据的复杂数据集进行训练,以导出各种形状和姿态的人体网格。
    在这里插入图片描述
    虽然不可能涵盖广泛的模型,但我们将讨论近年来用不同的方法提出的一些最可靠和鲁棒的模型。

让我们来看看 2022 年正在使用的一些流行的姿态估计。

  1. 开放姿态
    开放姿势是卡内基梅隆大学开发的第一个实时后估计模型。该模型主要专注于在实时场景中检测多人的手、脸、脚等人体关键点。一般来说,图像是在卷积神经网络(CNN)的帮助下处理的,以生成特定输入的特征映射。进一步,通过 CNN 管道的不同阶段对特征图进行处理,得到置信度图和亲和场。
    ![2](https://img-blog.csdnimg.cn/1bd1f87419be49ada6b42154ef00c859.png)

  2. 移动网络
    移动网络是由谷歌研究使用 TensorFlow.js 开发的。研究人员声称,该模型具有超快、高精度的特点,能够检测人体的 17 个关键关键点。然而,该模型有两个版本,即“闪电”,针对的是对延迟要求低的应用。另一方面,Thunder 版本是为专注于实现更高精度的应用而设计的。此外,这两个模型都能够进行实时检测,并已被证明可以有效地检测实时健身、体育或基于医疗保健的应用。
    **

  3. PoseNet
    PoseNet 是另一个流行的姿势检测模型。该模型可以实时检测姿态,并高效地用于人体的单姿态和多姿态检测。PoseNet 是一个深度学习模型,它使用 TensorFlow 来检测不同的身体部位,并通过连接其他关键点提供全面的骨骼信息。此外,PoseNet 还为人体从眼睛到脚踝的各个部位提供了 17 个关键点。生成一个置信度分数,以确定模型从图像中识别特定关键点的精准程度,从而识别模型的准确性。所有关于测试和配置的信息都可以通过 GitHub 访问。
    在这里插入图片描述

  4. DCpose
    DCPose 代表深度双连续网络,开发用于从多帧检测人体姿势。该框架利用深度学习技术来克服多帧人体姿态估计中的关键挑战,如运动模糊、散焦视频,以及由于对每个视频帧的依赖而发生的遮挡。此外,这些视频帧之间提供了各种时间参考,以促进准确的关键点检测。进一步,时间合并充当编码器,以实现更广泛的搜索范围,而残差融合模块负责计算不同方向的残差。
    在这里插入图片描述

  5. Densepose
    DensePose 是一个人体姿态估计器,旨在从关于人体 3D 表面的 RGB 图像中映射各种基于人体的像素。该模型可以实现单姿态和多姿态估计的必要性。DensePose 以包含图像到表面注释信息的大规模数据集的形式使用地面真相。此外,提出了一种循环神经网络(RCNN),能够以每秒多帧的速度回归每个人体受试者之间不同身体部位相关的 UV 坐标。
    在这里插入图片描述

  6. HigherHRnet
    HigherHRNet 是一种流行的自下而上的姿势估计模型,旨在解决由于比例差异而在预测矮个子的正确姿势时遇到的一些挑战。特征金字塔是必不可少的组成部分,它允许所提出的方法从尺度感知表示中学习,帮助估计精确的关键点,以确定矮个子的姿态估计变化。特征金字塔主要包括由 HRNet 模型生成的特征图输出,包括由转置卷积产生的高分辨率输出。此外,作者还发现,对于中等规模的人来说,该模型比现有的一些自下而上的方法的AP高出2.5%。此外,该模型在从拥挤的场景中估计姿态时也能有效地表现。
    在这里插入图片描述

结论

姿态检测是计算机视觉领域中一个不断发展的研究领域。从提供现实生活中的应用程序到在云端服务器上运行的应用程序,姿态估计在业界获得了极大的吸引力。事实上,先进的姿态估计模型更快、更小,才能在移动设备上发挥作用,这提供了充足的机会。这些模型可以实时有效地为体育分析师服务,甚至在医疗康复、私人教练和逼真的游戏中都是可靠的。虽然已经开发了各种应用,但每一种新模型都旨在改善之前模型的一些局限性。
然而,随着深度学习和多种开源技术的使用,各种产品都符合要求,可以改变未来人体姿态估计的执行方式。因此,令人兴奋的前景已经打开,使有效跨行业实现最先进的姿态检测应用成为可能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/658763.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

管理类联考——英语二——知识篇——写作——题目说明——A节

MBA,MPA,MPAcc管理类联考英语写作部分由A,B两节组成,主要考查考生的书面表达能力。共2题,25分。A节要求考生根据所给情景写出约100词(标点符号不计算在内)的应用文,包括私人和公务信函、通知、备忘录等。共…

elasticsearch安装dynamic-synonym插件

elasticsearch安装dynamic-synonym插件 ​ 今天就来和大家讲讲如何在es中安装dynamic-synonym插件,首先我们需要去github上下载与es版本对应的插件,一般github上基本都是本地词库和远程文本词库的,在gitee上可以找到采用数据库作为词库的源码…

就Python的发展前景、就业薪资、应用领域来看,你还有什么理由不学Python!

Python作为人工智能和数据分析第一语言,使得Python程序员成了当前人才市场的“抢手货”,工资待遇也水涨船高。 那么Python到底是什么?Python发展前景好么?Python容易学么?工资高么?技术小白适合学习么&…

【统信uos-server-20-1060e---详细安装openGauss】

【统信uos-server-20-1060e---详细安装openGauss】 🔻 一、前言🔻 一、安装前准备🔰 1.1 openGauss安装包下载🔰 1.2 安装环境准备⛳ 1.2.1 硬件环境要求⛳ 1.2.2 软件环境要求⛳ 1.2.3 软件依赖要求⛳ 1.2.4 关闭操作系统防火墙、…

如何在Allegro软件中进行射频微波电路设计?

随着时代高速发展,射频微波电路开始成为当代电子工程师在高频领域面临的重要挑战之一,如何提高设计效率,合理设计出一个优秀的射频微波产品,是很多电子工程师最头痛的问题,下面本文将聊聊如何通过Allegro软件设计吃优秀…

AI服务的并发处理【Python】

有一段时间,我专注于机器学习的研究方面,为不同的任务开发定制的机器学习解决方案。 但是最近,新项目进来了,有时自己负责初始部署比寻求其他开发人员的帮助更快。 我发现了几个在规模、易用性、定价等方面不同的部署选项。 今天…

SSM酒店后台管理系统

主要功能 管理员权限登录: ①首页展示当前时间信息,Layui框架实现的滚动图等布局 ②住客管理:住客入驻、住客列表的增删改查操作 ③房间管理:对房间进行相关的操作,详细信息、更新状态等 ④会员管理:新增会…

Mysql索引的应用

文章目录 一、索引介绍1. 索引的概念2. 索引的作用与副作用2.1 索引的作用2.2 索引的副作用2.3 如何实现索引 3. 创建索引的原则依据4. 索引的分类和创建4.1 普通索引直接创建索引修改表方式创建创建表的时指定索引 4.2 唯一索引直接创建唯一索引修改表方式创建创建表的时候指定…

Linux-- vi / vim 编辑器

目录 vi \ vim 编辑器的三种编辑模式 vi \ vim 的使用 模式的切换 命令模式下的命令 底线模式 vi \ vim 是visual interface 的简称, 是linux中的经典文本编辑器, 同图形化界面中的文本编辑器一样, 但是vi是使用命令行来对文本进行编辑的最好选择 vim是vi的加强版本, 兼容vi的…

15-2.自定义组件的数据

目录 1 data与method 2 properties 2.1 基本使用 2.2 properties在小程序中可读可写 2.3 对properties使用setData() 3 数据监听器 observers 3.1 基本使用 3.2 同时监听多个变量 3.3 监听对象中属性某个属性的变化 3.4 监听对象中所有属性 4 纯数据字段…

【CSS】属性书写顺序

1.布局定位属性: display(元素类型建议第一个) position float(浮动) clear visibility overflow 2.自身属性: width height margin(外边距) …

我的内网渗透-Empire进阶(会话转移和剪贴板攻击)

剪贴版攻击 安装 下载网址 https://github.com/D4Vinci/PasteJacker 下载的两种方式 ①直接在windows中下载,然后解压完把文件夹传到kali中进行安装 ②只接在kali中下载 git clone https://github.com/D4Vinci/PasteJacker #下载压缩包unzip PasteJacker-maste…

C语言之运算符

C语言运算符 文末附运算符的优先表和ASCII表 一、算术运算符 加()减(—)乘(*)除(/)模(余)运算符(%):不允许出现浮点型,…

这是一颗经过计划生育的树?

🎈个人主页:🎈 :✨✨✨初阶牛✨✨✨ 🐻推荐专栏1: 🍔🍟🌯C语言初阶 🐻推荐专栏2: 🍔🍟🌯C语言进阶 🔑个人信条: 🌵知行合一 &#x1f…

Hadoop的shuffle过程及调优

MapReduce 中的Shuffle 发生在 map 输出到 reduce 输入的过程,它的中文解释是 “洗牌”,顾名思义该过程涉及数据的重新分配,主要分为两部分: map 任务输出的数据分组、排序,写入本地磁盘。reduce 任务拉取排序。 由于…

基于Java+Swing+Mysql实现人事管理信息系统

基于JavaSwingMysql实现人事管理信息系统 一、系统介绍二、功能展示1.用户登陆2.用户注册3.员工信息添加、删除4.员工信息查询、修改5.部门管理6、员工考核 三、数据库四、其它1.其他系统实现五.获取源码 一、系统介绍 系统功能:用户登陆、用户注册、员工信息添加、…

6.8object类equals tostring

2 什么是API API(Application Programming Interface,应用程序接口)是一些预先定义的函数。目的是提供应用程序与开发人员基于某软件可以访问的一些功能集,但又无需访问源码或理解内部工作机制的细节. API是一种通用功能集,有时公…

基于Java+Swing+Mysql实现旅游管理信息系统

基于JavaSwingMysql实现旅游管理信息系统 一、系统介绍二、功能展示1.登陆2.注册3.旅游信息查询4.查看游行团信息5.报名6、报名信息管理 三、数据库四、其它1.其他系统实现五.获取源码 一、系统介绍 用户:登陆、注册、旅游信息查询、查看游行团信息、报名 管理员&a…

【ARIMA-SSA-LSTM】合差分自回归移动平均方法-麻雀优化-长短期记忆神经网络研究(Python代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

数据库约束、表的关系

数据库约束、表的关系 数据库约束、表的关系 1. 数据库约束1.1 约束类型1.2 NULL约束1.3 UNIQUE:唯一约束1.4 DEFAULT:默认值约束1.5 PRIMARY KEY:主键约束1.6 FOREIGN KEY:外键约束 2. 表的设计2.1 一对一2.2 一对多2.3 多对多 …