人体姿态估计与MMPose

news2024/12/27 11:07:18

姿态估计:从给定的图像中识别人脸、手部、身体等关键点

输入:图像I
输出:所有关键点的像素坐标

2D姿态估计:在图像上定位人体关键点的坐标

在这里插入图片描述

基本思路:
1.将关键点检测建模为回归问题,让模型直接回归关键点的坐标
2.基于热力图,预测关键点位于每个位置的概率,热力图可以通过求极大值方法得到关键点的坐标
预测热力图比回归坐标相对容易,模型精度相对更高,但计算消耗大于直接回归

多人姿态估计—自顶向下方法
1.使用目标检测算法检测出每个人体
2.基于单人图像估计每个人的姿态
多人姿态估计—自底向上方法
1.使用关键点模型检测出所有人体关键点
2.基于位置关系或其他辅助信息将关键点组合成不同的人
多人姿态估计—单阶段方法

基于回归的自顶向下的方法
DeepPose以分类网络为基础,将最后一层分类改为回归,一次性预测所有关键点的坐标,通过最小化平方误差训练网络
通过级联提升精度 第一级以全身图像为输入,预测所有关键点坐标,位置精度较低;以每个预测点位中心,剪裁局部图像送入第二季网络,再次回归该坐标,提升精度,可级联多级
RLE:将简单的高斯分布替换为一个可学习的、表达能力更强的分布,更好拟合关键点位置的实际分别
HRNet:在下采样时通过保留原分辨率分支来保持网络全过程特征图的高分辨率与空间位置信息,并设计了独特的网络结构实现不同分辨率的多尺度特征融合
基于回归的自底向上的方法
Part Affinity Fields&OpenPose:基于图像同时预测关节位置和四肢走向,利用肢体走向辅助关键点的聚类,即若两个关键点由某段肢体相连,则这两个关键点属于同一人
基于亲和度匹配关键点:关键点之间的亲和度构成一个带权重的K部图,关键点的聚类问题转变为K部图最优匹配问题,只考虑人体相连的关键点,将KK部图匹配问题分解为K-1个独立的二部图匹配问题,再借助匈牙利算法求解
单阶段算法
SPM:首次提出姿态估计单阶段解决方案
SPR:引入一个辅助的根关节以标识人员实例位置,是唯一标识关节
Hierarchical SPR:根据自由度和变形程度将根关节和身体关节划分为四个层次:根节点—颈、肩、臀—头、肘、膝—手腕、脚踝
基于Transformer的方法
PRTR两阶段算法:人体检测阶段,使用DETR检测出图中的不同的人—关键点检测阶段,使用DETR结构,query学习关键点信息,最终回归关键点位置
PRTR单阶段算法:人物检测和关键点检测共用一个图像特征网络,设计出一个STN模块,从完整特征图中剪裁出单人对应的图像特征用于后续关键点检测
TokenPose:将视觉token和关键点token一起送入encoder可以同时从图像中学习外观视觉表现和关键点见的约束关系

3D姿态估计:通过给定的图像预测人体关键点在三维空间中的坐标,可以在三维空间中还原人体的姿态

输入:图像
输出:所有人的关键点的空间坐标

绝对坐标:各关节点在相机坐标系中的坐标
相对坐标:关键点相对于骨盆点的坐标

1.直接预测:直接基于从2D图像回归到3D坐标,但2D图像不包含深度,实际上隐式的借助了语义特征或者人体的刚性实现3D姿态的推理
2.利用视频信息:运用视频来获得更多的帧间信息辅助推断
3.利用多视角图像:直接运用同一对象的多视角拍摄的图片来预测和还原出3D信息

Coarse-to-Fine Volumetric Prediction :单张图像输入卷积网络,预测3D热力图,模型为Hourglass级联,每级直接预测关键点的3D热力图
对于每个关节点,预测目标为6464d的3D热力图,d即深度方向的分辨率,逐级增加,每级取值
为{1,2,4,8,16,32,64}
Simple Baseline 3D:直接用2D坐标预测3D坐标而不需要借助图像
在这里插入图片描述

VideoPode3D:基于单帧图像预测2D关键点,再基于多帧2D关键点结果预测3D关键点位置
VoxelPose:使用HRNet产生不同视角的特征图,根据相机参数将图像特征整合到一个特征体中,再使用3D特征体给出该人所有关键点的空间坐标

评估指标
Percentage of Correct Parts(PCP)以肢体检出率为评价指标
在这里插入图片描述

Percentage of Detected Joints(PDJ)以关节点的位置精度作为评价指标
在这里插入图片描述

Percentage of Correct Key-Points(PCK)以关键点的检测精度作为评价指标
在这里插入图片描述

Object Keypoint Similarity based mAP(OKS)以关键点相似度作为评价指标
在这里插入图片描述

DensePose

将人体表面分为24个部分,并将每个部分参数化至同样大小(256*256)的UV平面
网络结构:Mask-RCNN+DenseReg=DensePose-RCNN
请添加图片描述
身体表面网格:有多边形网格组成的人体表面模型,由具有3D位置坐标的定点来定义
混合蒙皮技术:使身体表面网格随内在的骨骼结构形变(线性混合蒙皮和双四元数混合蒙皮)
SMPL人体参数化模型:针对构建人体参数化模型,将人体建模成6890各顶点和23个关节点为基础的身体表面网格,并设计了形态参数和姿态参数来控制人体的变化
SMPLify算法

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/599990.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

共享打印机,报错0x0000011b不重装系统如何能使用(教程)

连接共享打印机0x0000011b共享打印机报错大家都遇到过吧?下面介绍个小方法供大家参考一下。 1.下载对应的打印机驱动并安装 2.1手动添加打印机 2.2点击‘我需要的打印机不在列表中’ 2.3选择手动设置添加本地打印机 2.4创建新的端口,如图所示 这里输入共…

I.MX6ull CP15协处理器

CP15 CP15协处理器是ARM处理器中一门重要的协处理器,主要用来控制 cache、TCM( tiny code memory)和存储器管理。 CP15协处理器包含16个32位的寄存器,其编号为0~15,其中CP15寄存器0是预留的,所以CP15实际有…

C#:在word表格中的某一行下面插入新行

今天要讲的文章是关于Word开发的相关知识,以前开发的过程中关于办公类文件的开发,做过PDF和Excel以及TXT或者是XML等文件的开发。没有做过Word文件的开发,刚接触了一些关于Word方面开发的知识下面分享给大家。 首先开发Word,需要…

chatgpt赋能python:Python免费开发环境介绍

Python免费开发环境介绍 Python是一种简单易学的编程语言,它有着很多应用场景,例如Web开发、数据科学、自动化脚本等等。对于想要学习Python的人来说,选择一个好的开发环境是至关重要的。由于Python是免费的,因此有许多免费的Pyt…

chatgpt赋能python:Python入侵WiFi网络:了解攻击方法和防范措施

Python入侵WiFi网络:了解攻击方法和防范措施 WiFi网络是现代生活中必不可少的组成部分,而Python编程语言可以用于许多WiFi网络应用,包括网络管理、渗透测试等。然而,Python也可以被黑客用于入侵WiFi网络,从而窃取信息…

chatgpt赋能python:Python关联规则Apriori算法

Python关联规则Apriori算法 介绍 Apriori算法是一个常用的关联规则挖掘算法,用于挖掘商品之间的关联关系。该算法的基本思想是先通过扫描数据集,找到满足最小支持度的所有项集,再通过计算置信度,从而得到满足最小置信度的强关联…

mysql查询语句执行过程及运行原理命令

Mysql查询语句执行原理 数据库查询语句如何执行? DML语句首先进行语法分析,对使用sql表示的查询进行语法分析,生成查询语法分析树。语义检查:检查sql中所涉及的对象以及是否在数据库中存在,用户是否具有操作权限等视…

(业务向) 数据分析知识 + 产品

数据分析方法 趋势分析法、对比分析法、多维分解法、用户细查、漏斗分析、留存分析、AB测试法、4P理论、PESTEL理论、SWOT分析、5W2H理论、逻辑树理论、用户使用行为理论、AARRR模型 数据指标体系 1. 概述 指标,是反映某种事物或现象,描述在一定时间和…

MAE(Masked Autoencoders) 详解

MAE详解 0. 引言1. 网络结构1.1 Mask 策略1.2 Encoder1.3 Decoder2. 关键问题解答2.1 进行分类任务怎么来做?2.2 非对称的编码器和解码器机制的介绍2.3 损失函数是怎么计算的?2.4 bert把mask放在编码端,为什么MAE加在解码端? 3. 总…

chatgpt赋能python:Python做词云:从入门到精通

Python做词云:从入门到精通 如果你对数据可视化有所追求,那么词云图一定会是你的首选之一。Python作为一种常用的编程语言,在这个领域也有着广泛的应用。本文将介绍Python做词云的方法,从入门到精通,让你轻松掌握这一…

伍尔特IT公司利用SNP软件实现SAP系统现代化

近日,SAP生态伙伴中的自动化数据迁移和数据管理软件提供商SNP公司,正在支持伍尔特IT公司(Wrth IT) 向SAP S/4HANA转型。伍尔特集团的全球IT服务提供商计划首先整合其现有的ECC系统,然后进行标准化,最后将清…

数据结构与算法课程设计---最小生成树的应用

文章目录 一.课题概述1.问题2.分析3.目标 二.图的实现1.图的存储结构2.图的基本操作2.1添加顶点2.2添加边弧2.3Kruskal算法2.4Prim算法 三.堆的实现1.堆的概念及结构2.堆的基本操作2.1入堆(向上调整算法)2.2出堆(向下调整算法) 四…

【PWN · ret2libc】[CISCN 2019东北]PWN2

虽然最近的ret2libc的做题基本一致(毕竟类型都是ret2libc嘛),但是对于本蒟蒻现阶段来说,还是有必要记录一下的 前言 持续巩固ret2libc的做题范式/基本套路能力,同时也发现,reverse与pwn密不可分的联系。 一…

chatgpt赋能python:Python做表格的优势及应用

Python做表格的优势及应用 在数据处理与可视化的领域,表格是最常见的形式之一,也是经常被用来展示数据的有效方式。Python作为一种流行的编程语言,在数据处理方面有着强大的功能,同时也提供了许多生成表格的库与工具。本文将会介…

Zotero的安装与数据同步

一、Zotero的下载与安装 对于需要通过大量阅读期刊论文的学生而言如何提高阅读的效率以及论文管理能力是及其重要的,这里我推荐科研萌新们从Zotero入手,因为Zotero相对于Endnote、NoteExpress这类付费文献管理工具(大多数的高校都购买了这类软…

python web开发(三)—— CSS样式

文章目录 概要1.快速了解2.使用方式3. CSS选择器4. 多个属性类联合使用 样式1. 高度和宽度2. 块级和行内标签3. 字体设置4. 文字对齐方式5. 浮动6. 内边距7.外边距8. 内容居中9.body标签10. hover(伪类)11. 设置透明度12. after(伪类)13. position14. 边框border15. 背景色back…

SSH服务详解

1 SSH服务 1.1 SSH服务协议 SSH 是 Secure Shell Protocol 的简写,由 IETF 网络工作小组(Network Working Group )制定;在进行数据传输之前,SSH先对联机数据包通过加密技术进行加密处理,加密后在进行数据传输。确保…

机器学习集成学习——Adaboost分离器算法

系列文章目录 机器学习之SVM分类器介绍——核函数、SVM分类器的使用 机器学习的一些常见算法介绍【线性回归,岭回归,套索回归,弹性网络】 机器学习相关概念思维导图 文章目录 系列文章目录 前言 Adaboost算法的简单介绍 Adaboost算法相…

如何将Chrome浏览器重置为默认设置?

如何将Chrome浏览器重置为默认设置? 将 Chrome 设置重置为默认设置 您可随时在 Chrome 中恢复您的浏览器设置。如果所安装的应用或扩展程序在您不知情的情况下更改了设置,那么您可能需要这样做。不过,您保存的书签和密码不会被清除或更改。 …

数据库 期末复习(4) 概念数据库的设计

参考资料 :邹老师数据库课件 程老师数据库课件 战老师数据库课件 第一部分 为啥要引入概念数据库 感觉只有一个重点 实体联系模型----ER模型 第二部分-----实体联系模型 这个例子可以全看完之后再来看 举个例子:根据COMPANY数据库的需求来构造数据库模式:The com…