YOLOv6训练自己的数据集

news2024/11/16 22:33:04

文章目录

  • 前言
  • 一、YOLOv6简介
  • 二、环境搭建
  • 三、构建数据集
  • 四、修改配置文件
    • ①数据集文件配置
    • ②权重下载
    • ③模型文件配置
  • 五、模型训练和测试
    • 模型训练
    • 模型测试
  • 总结

前言

提示：本文是YOLOv6训练自己数据集的记录教程，需要大家在本地已配置好CUDA,cuDNN等环境，没配置的小伙伴可以查看我的往期博客：在Windows10上配置CUDA环境教程

YOLOv6是美团视觉智能部研发的一款面向工业应用的目标检测框架，该框架在保持高检测精度的同时，兼顾了推理效率，是YOLO系列中的又一改进版本。

在这里插入图片描述

代码地址：https://github.com/meituan/YOLOv6
论文地址：https://arxiv.org/abs/2209.02976

在这里插入图片描述

一、YOLOv6简介

主要特点：

  1. Hardware-friendly的骨干网络设计
    YOLOv6采用了基于RepVGG style的可重参数化、更高效的骨干网络EfficientRep Backbone，以及Rep-PAN Neck，这些设计使得网络在推理时能够更有效地利用硬件资源，提高推理速度。

  2. 更简洁高效的Decoupled Head
    YOLOv6采用了解耦检测头（Decoupled Head）结构，并对其进行了精简设计，以减少网络延时，同时保持较高的检测精度。

  3. 高精度与高效率
    YOLOv6在工业界常用的尺寸模型中表现出色。例如，YOLOv6-nano在COCO数据集上的精度可达35.0% AP，在NVIDIA Tesla T4 GPU上的推理速度可达1242 FPS；YOLOv6-s在COCO上的精度可达43.1% AP，推理速度可达520 FPS。

  4. 部署友好
    YOLOv6支持多种不同平台的部署，包括GPU（TensorRT）、CPU（OPENVINO）、ARM（MNN、TNN、NCNN）等，极大地简化了工程部署时的适配工作。

二、环境搭建

在配置好CUDA环境，并且获取到YOLOv6源码后，建议新建一个虚拟环境专门用于YOLOv6模型的训练。将YOLOv6加载到环境后，安装剩余的包。requirements.txt 中包含了运行所需的包和版本，利用以下命令批量安装：

pip install -r requirements.txt

三、构建数据集

YOLOv6模型的训练需要原图像及对应的YOLO格式标签，还未制作标签的可以参考我这篇文章：LabelImg安装与使用教程。

我的原始数据存放在根目录的data文件夹（新建的）下，里面包含图像和标签。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

标签内的格式如下：
在这里插入图片描述

具体格式为 class_id x y w h，分别代表物体类别，标记框中心点的横纵坐标(x, y)，标记框宽高的大小(w, h)，且都是归一化后的值，图片左上角为坐标原点。

将原本数据集按照8：1：1的比例划分成训练集、验证集和测试集三类，划分代码如下。

# 将图片和标注数据按比例切分为 训练集和测试集
import shutil
import random
import os
 
# 原始路径
image_original_path = "originaldata/images/"
label_original_path = "originaldata/labels/"
 
cur_path = os.getcwd()
#cur_path = 'D:/image_denoising_test/denoise/'
# 训练集路径
train_image_path = os.path.join(cur_path, "data/images/train/")
train_label_path = os.path.join(cur_path, "data/labels/train/")
 
# 验证集路径
val_image_path = os.path.join(cur_path, "data/images/val/")
val_label_path = os.path.join(cur_path, "data/labels/val/")
 
# 测试集路径
test_image_path = os.path.join(cur_path, "data/images/test/")
test_label_path = os.path.join(cur_path, "data/labels/test/")
 
# 训练集目录
list_train = os.path.join(cur_path, "data/train.txt")
list_val = os.path.join(cur_path, "data/val.txt")
list_test = os.path.join(cur_path, "data/test.txt")
 
train_percent = 0.8
val_percent = 0.1
test_percent = 0.1
 
 
def del_file(path):
    for i in os.listdir(path):
        file_data = path + "\\" + i
        os.remove(file_data)
 
 
def mkdir():
    if not os.path.exists(train_image_path):
        os.makedirs(train_image_path)
    else:
        del_file(train_image_path)
    if not os.path.exists(train_label_path):
        os.makedirs(train_label_path)
    else:
        del_file(train_label_path)
 
    if not os.path.exists(val_image_path):
        os.makedirs(val_image_path)
    else:
        del_file(val_image_path)
    if not os.path.exists(val_label_path):
        os.makedirs(val_label_path)
    else:
        del_file(val_label_path)
 
    if not os.path.exists(test_image_path):
        os.makedirs(test_image_path)
    else:
        del_file(test_image_path)
    if not os.path.exists(test_label_path):
        os.makedirs(test_label_path)
    else:
        del_file(test_label_path)
 
 
def clearfile():
    if os.path.exists(list_train):
        os.remove(list_train)
    if os.path.exists(list_val):
        os.remove(list_val)
    if os.path.exists(list_test):
        os.remove(list_test)
 
 
def main():
    mkdir()
    clearfile()
 
    file_train = open(list_train, 'w')
    file_val = open(list_val, 'w')
    file_test = open(list_test, 'w')
 
    total_txt = os.listdir(label_original_path)
    num_txt = len(total_txt)
    list_all_txt = range(num_txt)
 
    num_train = int(num_txt * train_percent)
    num_val = int(num_txt * val_percent)
    num_test = num_txt - num_train - num_val
 
    train = random.sample(list_all_txt, num_train)
    # train从list_all_txt取出num_train个元素
    # 所以list_all_txt列表只剩下了这些元素
    val_test = [i for i in list_all_txt if not i in train]
    # 再从val_test取出num_val个元素，val_test剩下的元素就是test
    val = random.sample(val_test, num_val)
 
    print("训练集数目：{}, 验证集数目：{}, 测试集数目：{}".format(len(train), len(val), len(val_test) - len(val)))
    for i in list_all_txt:
        name = total_txt[i][:-4]
 
        srcImage = image_original_path + name + '.jpg'
        srcLabel = label_original_path + name + ".txt"
 
        if i in train:
            dst_train_Image = train_image_path + name + '.jpg'
            dst_train_Label = train_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_train_Image)
            shutil.copyfile(srcLabel, dst_train_Label)
            file_train.write(dst_train_Image + '\n')
        elif i in val:
            dst_val_Image = val_image_path + name + '.jpg'
            dst_val_Label = val_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_val_Image)
            shutil.copyfile(srcLabel, dst_val_Label)
            file_val.write(dst_val_Image + '\n')
        else:
            dst_test_Image = test_image_path + name + '.jpg'
            dst_test_Label = test_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_test_Image)
            shutil.copyfile(srcLabel, dst_test_Label)
            file_test.write(dst_test_Image + '\n')
 
    file_train.close()
    file_val.close()
    file_test.close()
 
 
if __name__ == "__main__":
    main()

划分完成后将会在data文件夹下生成划分好的文件，其中images为划分后的图像文件，里面包含用于train、val、test的图像，已经划分完成；labels文件夹中包含划分后的标签文件，已经划分完成，里面包含用于train、val、test的标签；train.tet、val.txt、test.txt中记录了各自的图像路径。

在这里插入图片描述

在这里插入图片描述

在训练过程中，也是主要使用这三个txt文件进行数据的索引。

四、修改配置文件

①数据集文件配置

数据集划分完成后，在项目的data文件下，新建bubbleplume.yaml，替代coco.yaml。用于指明数据集路径和类别，我这边只有一个类别，nc中只留了一个，多类别的在names内加上类别名即可。bubbleplume.yaml中的内容为：

# Please insure that your custom_dataset are put in same parent dir with YOLOv6_DIR
train: ./data/images/train # train images
val: ./data/images/val # val images
test: ./data/images/test # test images (optional)

# whether it is coco dataset, only coco dataset should be set to True.
is_coco: False
# Classes
nc: 1  # number of classes
names: ['plume']  # class names

在这里插入图片描述

②权重下载

在进行模型训练之前，需要到官网下载预训练权重，权重地址为：https://github.com/meituan/YOLOv6/releases

权重下载完成后，在项目根目录新建weights文件夹，将下载的权重放到里面，要用哪个版本的模型加载哪个权重即可

在这里插入图片描述

③模型文件配置

在模型配置中，YOLOv6只需要修改tools文件夹中的train.py,在24行处的def parse_opt()函数中，主要修改data-path、conf-file、img-size、batch-size、epochs、workers以及device。这些参数已足够顺利训练了，其他参数就是一些后续的调参工作了。

data-path是配置数据集文件的路径，将default中的内容修改成自己的数据集yaml文件路径。

parser.add_argument('--data-path', default='./data/bubbleplume.yaml', type=str, help='path of dataset')

conf-file指选用的模型文件，在configs文件夹下，里面包含模型结构和一些超参数。选用哪个模型，就在default中填上他的路径。yaml文件中带有finetune的表示使用预训练权重，即下载在weight文件夹下的权重，不是用带finetune的则表示不使用权重，直接训练。

parser.add_argument('--conf-file', default='./configs/yolov6m_finetune.py', type=str, help='experiments description file')

epochs指训练的轮次，这里我这边在default中定了一个300次，只要模型能收敛即可。

parser.add_argument('--epochs', default=400, type=int, help='number of total epochs to run')

batch-size是表示一次性将多少张图片放在一起训练，越大训练的越快，如果设置的太大会报OOM错误，我这边在default中设置16，表示一次训练16张图像。设置的大小为2的幂次，1为2的0次，16为2的4次。

parser.add_argument('--batch-size', default=16, type=int, help='total batch size for all GPUs')

img-size表示送入训练的图像大小，会统一进行缩放。要求是32的整数倍，尽量和图像本身大小一致。这边在default中设置为640。

parser.add_argument('--img-size', default=320, type=int, help='train, val image size (pixels)')

device指训练运行的设备。该参数指定了模型训练所使用的设备，例如使用 GPU 运行可以指定为 default=‘0’，或者使用多个 GPU 运行可以指定为 device=0,1,2,3，如果没有可用的 GPU，可以指定为device=‘cpu’使用 CPU 进行训练。

parser.add_argument('--device', default='0', type=str, help='cuda device, i.e. 0 or 0,1,2,3 or cpu')

workers是指数据装载时cpu所使用的线程数，默认为8，过高时会报错：[WinError 1455] 页面文件太小，无法完成操作，此时就只能将default调成0了。

parser.add_argument('--workers', default=10, type=int, help='number of data loading workers (default: 8)')

在这里插入图片描述

模型训练的相关基本参数就是这些啦，其余的参数可以等到后期训练完成进行调参时再详细了解。

五、模型训练和测试

模型训练

在将train.py文件配置完成后，即可运行此文件，便会开始训练啦

在这里插入图片描述
在这里插入图片描述

训练完成后，将会在runs/train/exp/weight文件夹下存放训练后的权重文件。

模型测试

使用tools/eval.py进行测试，需要修改def parse_opt()中的data、weights、batch-size、img-size、devicey以及task。

其中weights为训练出来的新模型权重，路径在runs/train文件夹下，

parser.add_argument('--weights', type=str, default='./runs/train/exp/weights/best_ckpt.pt', help='model.pt path(s)')

task，表示在验证时所使用的数据集，这里使用test

parser.add_argument('--task', default='test', help='val, test, or speed')

其余参数和训练时一致。

在这里插入图片描述

运行eval.py文件后便会得出训练精度等相关信息。

在这里插入图片描述

总结

以上就是YOLOv6训练自己数据集的全部过程啦，欢迎大家在评论区交流~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1981756.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

思源笔记结合群晖WebDav与cpolar内网穿透实现跨网络笔记云同步

思源笔记结合群晖WebDav与cpolar内网穿透实现跨网络笔记云同步

文章目录 前言1. 开启群晖WebDav 服务2. 本地局域网IP同步测试3. 群晖安装Cpolar4. 配置远程同步地址5. 笔记远程同步测试6. 固定公网地址7. 配置固定远程同步地址 前言 本教程主要分享如何将思源笔记、cpolar内网穿透和群晖WebDav三者相结合，实现思源笔记的云同步…
阅读更多...
如何使用代理IP进行电子邮件保护？

如何使用代理IP进行电子邮件保护？

🎬 鸽芷咕：个人主页 🔥 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想，就是为了理想的生活! 前言 随着企业信息化的深入发展，电子邮件在私人生活和商业运营中起到越来越重要的作用，随之而来电子邮件…
阅读更多...
掌握eBay刊登：十大工具助力卖家脱颖而出

掌握eBay刊登：十大工具助力卖家脱颖而出

在经济全球化的浪潮中，eBay作为全球最大的跨境电商平台之一，为卖家提供了一个展示商品、拓展市场的广阔舞台。然而，平台越大，意味着商家之间的竞争越激烈。如何在eBay上有效刊登商品，是卖家吸引用户的关键步骤。本文将…
阅读更多...
500元蓝牙耳机排行榜有哪些？四款百元蓝牙耳机品牌排行推荐

500元蓝牙耳机排行榜有哪些？四款百元蓝牙耳机品牌排行推荐

在如今这个充满科技魅力的时代，蓝牙耳机已成为我们日常生活中不可或缺的一部分，无论是沉浸在音乐的世界中，还是在繁忙的通勤路上享受片刻宁静，一副优秀的蓝牙耳机都能为我们带来无与伦比的听觉享受，面对市场上琳琅满目…
阅读更多...
合作文章（IF=5.9）|16s和非靶代谢组分析揭示亚麻籽木脂素对PAM过量诱导的肝毒性的保护作用

合作文章（IF=5.9）|16s和非靶代谢组分析揭示亚麻籽木脂素对PAM过量诱导的肝毒性的保护作用

研究背景 扑热息痛（PAM）是世界上最常用的镇痛解热的药物之一。在肝酶细胞色素P450 Cyp2E1和Cyp1A2PAM酶的作用下，PAM转化为一种高活性的代谢物乙酰对位苯醌亚胺(NAPQI)，通过与谷胱甘肽(GSH)偶联可解毒为无毒的谷胱甘肽-NAPQI。然…
阅读更多...
视频汇聚平台EasyCVR接入移动执法记录仪，视频无法播放且报错500是什么原因？

视频汇聚平台EasyCVR接入移动执法记录仪，视频无法播放且报错500是什么原因？

GB28181国标视频汇聚平台EasyCVR视频管理系统以其强大的拓展性、灵活的部署方式、高性能的视频能力和智能化的分析能力，为各行各业的视频监控需求提供了优秀的解决方案。视频智能分析平台EasyCVR支持多协议接入，兼容多类型的设备，包括IPC、NV…
阅读更多...
自动化测试中元素定位失败的解决策略

自动化测试中元素定位失败的解决策略

🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快 一、引言 自动化测试是软件开发流程中的重要组成部分，它能够帮助测试人员快速地验证应用程序的功能是否符合预期。然而，在自动化测试的过程…
阅读更多...
互联网解决方案-文件存储方案：seafile真实案例

互联网解决方案-文件存储方案：seafile真实案例

目录 seafile可靠性保证 事件驱动 seafile.log events.log 事件驱动好处 本地联思文件同步云联思真实案例 本地联思文件同步云联思架构 云联思客户端检查文件API 本地联思访问客户端封装 本地联思队列消费检查 实践过程中的弯路 文件目录处理 move = copy & de…
阅读更多...
ANTD PRO VUE使用

ANTD PRO VUE使用

目录 1.访问Antd Pro Vue官网 2.安装 3.目录结构 4.安装运行 5.npm run serve可能会报以下错误 6.解决办法 ​7.缩放会报以下错误 ​8.解决办法 1.访问Antd Pro Vue官网 https://pro.antdv.com 点击开始使用 2.安装 从 GitHub 仓库中直接安装最新的脚手架代码。 git…
阅读更多...
TF卡（SD NAND）参考设计和使用提示

TF卡（SD NAND）参考设计和使用提示

目录 电路设计 Layout 设计说明 贴片注意事项 电路设计 1、参考电路： R1~R5 (10K-100 kΩ)是上拉电阻，当SD NAND处于高阻抗模式时，保护CMD和DAT线免受总线浮动。 即使主机使用SD NAND SD模式下的1位模式，主机也应通过上拉电…
阅读更多...
《Attention Is All You Need》总结

《Attention Is All You Need》总结

🧙‍♂️ 诸位好，吾乃斜杠君，编程界之翘楚，代码之大师。算法如流水，逻辑如棋局。 📜 吾之笔记，内含诸般技术之秘诀。吾欲以此笔记，传授编程之道，助汝解技术难题。 &#…
阅读更多...
H5 使用微信地址

H5 使用微信地址

效果图 1.先引入sdk 文件 $.ajax({type: "get",url: baseUrl "api/wechat/Pubaccount/jssdk?url" linkurl,//请求接口，获取授权success:function(data){let res data;jWeixin.config({debug: false,appId: res.appId,timestamp: res.time…
阅读更多...
【批处理】一、批量修改文件的后缀名

【批处理】一、批量修改文件的后缀名

一、简介 批处理(Batch)是常被应用于windows系统下的脚本语言； 此文章主要讲解如何利用批处理批量修改指定后后缀名的文件，具体过程如下所示； 二、批处理代码实现 REM 关闭请求回显功能 echo offREM 延迟环境变量拓展 setlocal enabledela…
阅读更多...
Transformers实战04-微调gpt-2生成python代码。

Transformers实战04-微调gpt-2生成python代码。

文章目录 简介案例描述收集数据数据集处理回顾预处理input\_ids和attention_mask：special tokenchunkdatacollatormap 预处理 初始化模型回顾模型参数计算 初始化 完整代码测试 简介 GPT-2（Generative Pre-trained Transformer 2）是由OpenAI…
阅读更多...
C语言——自定义函数调用

C语言——自定义函数调用

今天&#xff0c;在完成大小写转换时遇到了一个问题&#xff1a; 注释&#xff1a;本VS版本为2022&#xff0c;使用了更为安全的scanf_s()函数 代码如下&#xff1a; #include <stdio.h> #include <stdlib.h> void daxiaoxie(char *p,int n) {int i;for (i 0; …
阅读更多...
奥运会Ⅶ--史上最快AI芯片“搜狐”，比B200快10倍

奥运会Ⅶ--史上最快AI芯片“搜狐”，比B200快10倍

生成式AI推理的性价比是GPU的140倍。 大模型时代&#xff0c;全球算力短缺&#xff0c;买来铲屎的Nvidia市值被推上天。 如今&#xff0c;终于有一家公司拿出了自己的AI芯片来挑战。 今天早上&#xff0c;科技圈迎来一则重磅消息&#xff0c;美国芯片初创公司Etched推出了旗下…
阅读更多...
以太网UDP测试实验

以太网UDP测试实验

目录 一.UDP简介 1.1UDP概述 1.2UDP协议 二.实验任务 三.模块设计 3.1总体模块设计 3.2UDP模块设计 3.2.1udp_rx模块设计 3.2.2udp_tx模块设计 四.板级验证 一.UDP简介 1.1UDP概述 UDP &#xff08;User Datagram Protocol)用户数据协议 是一种面向无连接的传输层协…
阅读更多...
65、zookeeper+kafka实现订阅号生产及阅读

65、zookeeper+kafka实现订阅号生产及阅读

前言回顾 elk es–elasticsearch l–logstash k–kibana f–filebeat 一、elkfk kafka带入集群当中 zookeeper集群kefka集群 zookeeper是一个开源的&#xff0c;分布式的&#xff0c;为分布式架构提供协调服务的APACHE的项目。 保存元数据。 1.1、zookeeper的工作机…
阅读更多...
微信支付海外走红，中国企业跨境支付‘轻装上阵’

微信支付海外走红，中国企业跨境支付‘轻装上阵’

当我们谈论中国企业走向世界&#xff0c;拓展海外市场的征程时&#xff0c;一个不可忽视的助力者就是微信支付。它不仅是一个支付工具&#xff0c;更是连接中国企业和全球消费者的桥梁&#xff0c;让中国企业在海外也能享受到与国内同等的支付便利与信任。 早在2016年1 月 15 …
阅读更多...
AGV的四点关键技术，你都了解吗？

AGV的四点关键技术，你都了解吗？

AGV 在现代化工业的发展中&#xff0c;提倡高效&#xff0c;快速&#xff0c;可靠&#xff0c;提倡将人从简单的工作中解放出来。机器人逐渐替代了人出现在各个工作岗位上。机器人具有可编程、可协调作业和基于传感器控制等特点&#xff0c;自动导向小车&#xff08;Automated …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023