训练自己的YOLOv8姿态估计模型

news2024/11/28 6:40:23

在不断发展的计算机视觉领域,姿态估计作为一项关键创新脱颖而出,改变了我们理解视觉数据以及与视觉数据交互的方式。 Ultralytics YOLOv8 处于这一转变的最前沿,提供了一个强大的工具来捕捉图像中物体方向和运动的微妙之处。

NSDT工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎

传统上,跟踪图像中对象的关键点非常复杂,但使用 YOLOv8,它变得无缝且直观。 这一进步不仅令人兴奋,而且还为各个领域开辟了一个充满可能性的世界,其中包括体育分析、医疗保健和零售等。

在本文中,我们将探索使用 YOLOv8 进行姿态估计的过程。 我们将介绍以下内容:

  • 使用 CVAT 进行姿势估计的数据标注:我们首先将数据集上传到 CVAT 平台,配置工具,标注关键点,然后导出数据。
  • 转换 Ultralytics YOLOv8 的标注:标注后,我们将数据转换为与 YOLOv8 兼容的格式,确保我们的模型可以正确解释它。
  • 数据分割:构建数据至关重要,因此我们将其分为训练集、验证集和测试集,以促进有效的模型训练。
  • 训练 YOLOv8 模型进行姿势估计:组织好数据后,我们将训练 YOLOv8 模型来识别和估计姿势。
  • 使用 YOLOv8 进行推理:最后,我们将使用经过训练的模型对新数据进行姿势估计,看看我们努力的结果。 你还可以浏览我们关于使用 Ultralytics YOLOv8 进行姿势估计的 YouTube 视频 。

让我们开始吧🚀

1、使用 CVAT 标注姿态数据

数据标注过程在计算机视觉领域至关重要。 我们将在本教程中使用老虎数据集来演示如何准确注释关键点,这是训练姿势估计模型的重要步骤。

图 1.2:Ultralytics Tiger-Pose 数据集

注意: Ultralytics Tiger-Pose数据集可以从这里下载并解压缩,为即将到来的任务做好准备。 这些图像将作为我们训练过程的基础,因此请确保它们存储方便。

如果你是 CVAT 新手,值得花时间查看 CVAT 文档来熟悉其功能。 这将为更加简化的标注过程提供基础。

1.1 上传数据集

下载Tiger-Pose图像后,请务必解压缩文件。 接下来,将所有图像作为新任务上传到 CVAT 平台,然后单击“提交并打开”。

完成后,你将被引导至如下所示的页面:

图1.3:Ultralytics Tiger-pose 数据集上传

1.2 设置标注工具 CVAT

在 CVAT 中打开任务后,系统会提示你选择一个特定作业,该作业将作为你的标注工作区。 每个用户的作业编号(例如此处提到的“作业#391317”)都会有所不同。 这将引导你进入标注界面,其中设置将完成,你可以开始标记数据。

图 1.4:使用 CVAT 的 Ultralytics YOLOv8 Tiger-pose 数据集标注工作流程

1.3 数据标注

使用 CVAT,你可以选择使用不同的格式进行标注。 对于Tiger-Pose数据集,我们将利用点标注来标记关键点。 该过程在教程中提供的详细 gif 中进行了可视化,指导你完成标注的每个步骤:

图 1.5:使用 CVAT 的 Ultralytics Tiger-pose 数据标注过程

1.4 数据导出

完成标注后,可以使用“CVAT for images 1:1”格式导出数据集,该格式适合稍后在工作流程中转换为 YOLOv8 格式。

2、将标注转换为YOLOv8 格式

从 CVAT 导出标注后,你将收到一个 zip 文件。 解压该文件以显示 annotations.xml文件,其中包含你分配的关键点和标签。 该文件至关重要,因为它包含 YOLOv8 将学习的结构化数据。

要将其与 YOLOv8 集成,请将annotations.xml文件放入与图像数据集相同的目录中。 如果你需要重新下载数据集,可以从  Ultralytics Tiger-Pose 数据集获取。 确保下载后解压缩文件,为下一步做好准备。

现在,创建一个名为 cvat_to_ultralytics_yolov8.py的 Python 脚本。 将提供的代码复制到这个新文件中。 运行此脚本会将你的标注转换为 YOLOv8 格式,为训练模型奠定基础:

import ast
import os.path
from xml.dom import minidom

out_dir = './out'
if not os.path.exists(out_dir):
    os.makedirs(out_dir)

file = minidom.parse('annotations.xml')

images = file.getElementsByTagName('image')

for image in images:
    width = int(image.getAttribute('width'))
    height = int(image.getAttribute('height'))
    name = image.getAttribute('name')
    elem = image.getElementsByTagName('points')
    bbox = image.getElementsByTagName('box')[0]
    xtl = int(float(bbox.getAttribute('xtl')))
    ytl = int(float(bbox.getAttribute('ytl')))
    xbr = int(float(bbox.getAttribute('xbr')))
    ybr = int(float(bbox.getAttribute('ybr')))
    w = xbr - xtl
    h = ybr - ytl
    label_file = open(os.path.join(out_dir, name + '.txt'), 'w')

    for e in elem:

        label_file.write('0 {} {} {} {} '.format(
            str((xtl + (w / 2)) / width),
             str((ytl + (h / 2)) / height),
             str(w / width),
             str(h / height)))

        points = e.attributes['points']
        points = points.value.split(';')
        points_ = []
        for p in points:
            p = p.split(',')
            p1, p2 = p
            points_.append([int(float(p1)), int(float(p2))])
        for p_, p in enumerate(points_):
            label_file.write('{} {}'.format(p[0] / width, p[1] / height))
            if p_ < len(points_) - 1:
                label_file.write(' ')
            else:
                label_file.write('\n')

运行脚本后,删除 annotations.xml以避免后续步骤中出现任何潜在的混乱。

3、数据分割

对数据集进行标注和转换后,下一步是将图像和标注组织成不同的集合以进行训练和评估。

  • 在项目中创建两个目录:一个名为 images,另一个名为 labels
  • 将图像及其相应的标注文件分别分发到这些文件夹中。
  • 为了促进此数据分割过程,请创建一个名为 splitdata.py的 Python 文件。
  • 将提供的代码复制并粘贴到 splitdata.py 文件中。
  • 通过运行该文件来执行 Python 脚本

此过程可确保你的数据被适当地划分为训练和测试子集,为 Ultralytics YOLOv8 训练做好准备。

import splitfolders

input_fol_path = "path to folder, that includes images and labels folder"
splitfolders.ratio(input_fold_path, output="output",
    seed=1337, ratio=(.8, .2, .0), group_prefix=None, move=False)

结果将是一个包含两个不同目录的输出文件夹: train和 test。 这些文件夹已准备好在 YOLOv8 训练过程中使用。

4、训练 YOLOv8 模型进行姿势估计

下一阶段涉及制作一个 data.yaml文件,该文件充当 YOLOv8 的路线图,将其定向到你的数据集并定义训练类。 将必要的代码插入 data.yaml,自定义数据集目录的路径。

请根据需要调整数据集目录路径。 配置 data.yaml后,就可以开始训练模型了。

path: "path to the dataset directory"
train: train
val: val 

kpt_shape: [12, 2]
flip_idx: [0,1,2,3,4,5,6,7,8,9,10,11]
names:
  0: tiger

一旦完成,就可以开始了! 你可以使用提供的命令来启动 YOLOv8 模型的训练以进行老虎姿势估计。

yolo task=pose mode=train data="path/data.yaml" model=yolov8n.pt imgsz=640

训练持续时间会有所不同,并且取决于你拥有的 GPU 设备。

5、使用 YOLOv8 进行推理

训练后,通过对新数据进行推理来测试你的模型。 运行提供的命令以应用姿势估计模型来检测和分析姿势。

# Run inference using a tiger-pose trained model
yolo task=pose mode=predict \
source="https://www.youtube.com/watch?v=MIBAT6BGE6U" \
show=True model="path/to/best.pt"

下图显示推理结果,展示了模型将所学知识应用到现实场景的能力:

图 1.7:使用 Tiger-Pose 估计模型估计老虎姿势


原文链接:YOLOv8姿态估计模型训练 - BimAnt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1286641.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Avalonia开发之HelloWrold

前言 本文所有讲解是以VS2022为开发工具&#xff0c;官方提供了VS2022和2019的扩展支持&#xff0c;大家根据自己的是实际情况下载相应的扩展进行安装。 安装扩展 如下图&#xff0c;我们在扩展菜单里面找到扩展管理&#xff0c;如下图&#xff1a; 在扩展管理的搜索栏里面…

解决:docx.opc.exceptions.PackageNotFoundError: Package not found at ‘xxx’

解决&#xff1a;docx.opc.exceptions.PackageNotFoundError: Package not found at ‘xxx’ 文章目录 解决&#xff1a;docx.opc.exceptions.PackageNotFoundError: Package not found at ‘xxx’背景报错问题报错翻译报错位置代码报错原因解决方法今天的分享就到此结束了 背景…

MIT_线性代数笔记:第 12 讲 图、网络、关联矩阵

目录 图和网络 Graphs & Networks关联矩阵&#xff08;Incidence matrices&#xff09;矩阵的零空间矩阵列空间矩阵的左零空间矩阵的行空间 本讲讨论线性代数在物理系统中的应用。 图和网络 Graphs & Networks “图”就是“结点”和“边”的一个集合。 边线上的箭头代…

js实现AES加密解密,简易又全面

常规是直接安装CryptoJS库&#xff0c;但为了减少项目体积&#xff0c;使用这简单的20k文件就ok 一览&#xff1a; 代码中使用的是Pkcs7&#xff0c;但我需要的填充方式是ZeroPadding 所以稍微有修改&#xff1a; q (p.pad {}).ZeroPadding {pad: function (data, blockSi…

波奇学C++:类型转换和IO流

隐式类型转换 int i0; double pi; 强制类型转换 int* pnullptr; int a(int)p; 单参数构造函数支持隐式类型转换 class A { public:A(string a):_a(a){} private:string _a; }; A a("xxxx"); //"xxx" const char* 隐式转换为string 多参数也可以通过{…

c语言指针详解(上)

目录 一、指针的基本概念和用法 二、指针运算 2.1 指针的自增和自减运算 2.2 指针的自增和自减运算 三、数组和指针 四、指针和函数 4.1 在函数中使用指针作为参数和返回值 4.1.1 使用指针作为函数参数 4.1.2 使用指针作为函数返回值 4.2 指针参数的传值和传引用特性 4.2.1 指针…

Visual Studio Code tasks.json中控制任务执行问题面板显示内容的PresentationOptions介绍

☞ ░ 前往老猿Python博客 ░ https://blog.csdn.net/LaoYuanPython 一、引言 在 Visual Studio Code 中&#xff0c;tasks.json 文件用于配置和控制任务的执行&#xff0c;其中的 presentation配置项可以用来控制任务执行时在终端面板窗口中输出的内容&#xff0c;presentat…

单机无锁线程安全队列-Disruptor

Disruptor 1、基本介绍 说到队列&#xff0c;除了常见的mq中间件&#xff0c;java中也自带线程安全的BlockingQueue&#xff0c;但是BlockingQueue通过在入队和出队时加锁的方式避免并发操作&#xff0c;性能上会大打折扣。 而Disruptor是一个线程安全、低延迟、吞吐量高的队…

代替APP?微信小程序到底好在哪?

2019年是微信小程序宣布登场的一年&#xff0c;它实现了应用程序能被“垂手可得”的愿望。用户只需简单扫一扫或搜索&#xff0c;就能轻松打开应用。与需要在应用市场下载的APP相比&#xff0c;微信小程序可以在微信中被轻易地获取和传播&#xff0c;同时也带来了非凡的使用体验…

102.套接字-Socket网络编程4(TCP通信流程)

目录 TCP编程流程 套接字函数 1.创建套接字 2.绑定地址 3.监听连接请求 4.接受连接 5. 连接到服务器 6. 发送数据 7. 接收数据 8.关闭套接字 服务器端通信流程 示例代码 客户端通信流程 代码示例 TCP编程流程 TCP是一个面向连接的&#xff0c;安全的&#xff0c;流…

单调栈与单调队列算法总结

单调栈 知识概览 单调栈最常见的应用是找到每一个数离它最近的且比它小的数。单调栈考虑的方式和双指针类似&#xff0c;都是先想一下暴力做法是什么&#xff0c;然后再挖掘一些性质如单调性&#xff0c;最终可以把目光集中在比较少的状态中&#xff0c;从而达到降低时间复杂…

【Linux】基础IO--重定向理解Linux下一切皆文件缓冲区

文章目录 一、重定向1.什么是重定向2.dup2 系统调用3.理解输入重定向、输出重定向和追加重定向4.简易shell完整实现 二、理解linux下一切皆文件三、缓冲区1.为什么要有缓冲区2.缓冲区的刷新策略3.缓冲区的位置4.实现一个简易的C语言缓冲区5.内核缓冲区 一、重定向 1.什么是重定…

VMware虚拟机系统CentOS镜像的下载

文章目录 阿里云下载官网下载参考文档 一些小版本可能过时或者其他原因已经不能存在了&#xff0c;只有大版本号最新的&#xff0c;或者其他最新版本 阿里云下载 1-百度搜索&#xff1a;阿里云 2-找到开发者社区 3-找到下载&#xff0c;选择镜像 4-选择系统 5-点击镜像地…

【eNSP实践】eNSP实战篇(2)之简单实现交换机与主机的配置(图文详解)

目录 写在前面涉及知识1、交换机实验1.1 实验条件1.2 实验步骤A、打开eNSP软件&#xff0c;创建拓扑B、搭建主机与交换机连线C、配置交换机和主机D、验证不同网段设备可通性 1.3 通过交换机查看MAC地址 写在最后 写在前面 其实前面文章我有介绍关于路由器的使用&#xff0c;但…

OCP Java17 SE Developers 复习题08

答案 答案 答案 A. This code is correct. Line 8 creates a lambda expression that checks whether the age is less than 5, making option A correct. Since there is only one parameter and it does not specify a type, the parentheses around the parameter are …

TrustZone​之在安全状态之间切换

如果处理器处于NS.EL1,而软件想要转移到S.EL1,应该如何实现呢? 要改变安全状态,无论是向上还是向下,执行都必须经过EL3,如下图所示: 前面的图表显示了在不同安全状态之间移动涉及的步骤的示例序列。逐步进行解释: 进入较高的异常级别需要一个异常。通常,此异常…

网络程序设计

互相连接&#xff0c;发送信息 tcp和udp协议 tcp会有准备&#xff0c;udp不会准备。 8080端口&#xff1a;tomcat端口&#xff0c;java和web相连接 80端口&#xff1a;http 21端口&#xff1a;ftp 套接字 socket&#xff1a;提供给程序可以对外进行连接的接口 ip地址 特…

利用github copilot完成代码,利用正则化完成字符串中信息查找

利用正则化完成字符串中的字符拆解。 下面的代码是实现在“计算机组成原理-计科2101-123456-小明同学.docx”中提取出班级&#xff08;grade&#xff09;&#xff0c;学号&#xff08;id&#xff09;&#xff0c;姓名&#xff08;name&#xff09;。以下的代码都是github copi…

java中Random随机数使用和生成随机数的多个示例

在 Java 中&#xff0c;我们可以使用 java.util.Random 类生成伪随机数。伪随机数的特性是&#xff0c;虽然它们看起来是随机的&#xff0c;但实际上它们是由一个固定的算法生成的。只要我们提供相同的种子&#xff0c;这个算法就会生成相同的数字序列。 首先&#xff0c;我们…

Java链接数据库

本文介绍的是Java链接数据库中的JDBC操作&#xff0c;JDBC虽然现在用的不多&#xff0c;但面试的时候会问道。需要有相应的了解。下面以链接MySQL为例子。 JDBC 什么jdbc Java DataBase Connectivity是一种用于执行SQL语句的Java API&#xff0c;它由一组用Java语言编写的类和…