语义分割：YOLOv5的分割模型训练自己的数据集（从代码下载到实例测试）

news2024/9/24 13:23:05

文章目录

  • 前言
  • 一、环境搭建
  • 二、构建数据集
  • 三、修改配置文件
    • ①数据集文件配置
    • ②权重下载
    • ③模型文件配置
    • ④训练参数配置
  • 四、模型训练和测试
    • 模型训练
    • 模型测试
  • 总结

前言

提示：本文是YOLOv5的分割模型训练自己数据集的记录教程，在调试前需要本地已配置好CUDA,cuDNN等环境，没配置的小伙伴可以查看我的往期博客：在Windows10上配置CUDA环境教程

YOLOv5在v7.0版本中也是更新了分割模型，相比较于检测模型，主要的改动是在检测头部份加入了计算目标掩码的操作，继承于检测头Detect，共用一个骨干网络和颈部网络，能够实现目标的同时检测和分割。

在这里插入图片描述

代码地址：https://github.com/ultralytics/yolov5/tree/v7.0

在这里插入图片描述

一、环境搭建

在配置好CUDA环境，并且获取到YOLOv5源码后，建议新建一个虚拟环境专门用于YOLOv5模型的训练。将YOLOv5加载到环境后，安装剩余的包。requirements.txt 中包含了运行所需的包和版本，利用以下命令批量安装：

pip install -r requirements.txt

二、构建数据集

YOLOv5的分割模型训练需要原图像及对应的YOLO格式标签，还未制作标签的可以参考我这篇文章：Labelme安装与使用教程。注意labelme的标签是json格式的，这在训练前需要将json转成yolo的txt格式。

在转换完成后，将数据存放在根目录的data文件夹下，里面包含图像和标签。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

标签内的格式如下：
在这里插入图片描述

0 0.5655737704918032 0.460093896713615 0.5655737704918032 0.49765258215962443 0.5737704918032787 0.5352112676056338 0.5819672131147541 0.5915492957746479 0.5922131147540983 0.5821596244131455 0.5840163934426229 0.5305164319248826 0.5778688524590164 0.48826291079812206

将原本数据集按照8：1：1的比例划分成训练集、验证集和测试集三类，划分代码如下。

# 将图片和标注数据按比例切分为 训练集和测试集
import shutil
import random
import os
 
# 原始路径
image_original_path = "/root/yolov5-7.0/data/gasplume/newImage/"
label_original_path = "/root/yolov5-7.0/data/gasplume/newLabel/"
 
cur_path = os.getcwd()
# cur_path = 'D:/image/'
# 训练集路径
train_image_path = os.path.join(cur_path, "datasets/bubbleplume/images/train/")
train_label_path = os.path.join(cur_path, "datasets/bubbleplume/labels/train/")
 
# 验证集路径
val_image_path = os.path.join(cur_path, "datasets/bubbleplume/images/val/")
val_label_path = os.path.join(cur_path, "datasets/bubbleplume/labels/val/")
 
# 测试集路径
test_image_path = os.path.join(cur_path, "datasets/bubbleplume/images/test/")
test_label_path = os.path.join(cur_path, "datasets/bubbleplume/labels/test/")
 
# 训练集目录
list_train = os.path.join(cur_path, "datasets/bubbleplume/train.txt")
list_val = os.path.join(cur_path, "datasets/bubbleplume/val.txt")
list_test = os.path.join(cur_path, "datasets/bubbleplume/test.txt")
 
train_percent = 0.8
val_percent = 0.1
test_percent = 0.1
 
 
def del_file(path):
    for i in os.listdir(path):
        file_data = path + "\\" + i
        os.remove(file_data)
 
 
def mkdir():
    if not os.path.exists(train_image_path):
        os.makedirs(train_image_path)
    else:
        del_file(train_image_path)
    if not os.path.exists(train_label_path):
        os.makedirs(train_label_path)
    else:
        del_file(train_label_path)
 
    if not os.path.exists(val_image_path):
        os.makedirs(val_image_path)
    else:
        del_file(val_image_path)
    if not os.path.exists(val_label_path):
        os.makedirs(val_label_path)
    else:
        del_file(val_label_path)
 
    if not os.path.exists(test_image_path):
        os.makedirs(test_image_path)
    else:
        del_file(test_image_path)
    if not os.path.exists(test_label_path):
        os.makedirs(test_label_path)
    else:
        del_file(test_label_path)
 
 
def clearfile():
    if os.path.exists(list_train):
        os.remove(list_train)
    if os.path.exists(list_val):
        os.remove(list_val)
    if os.path.exists(list_test):
        os.remove(list_test)
 
 
def main():
    mkdir()
    clearfile()
 
    file_train = open(list_train, 'w')
    file_val = open(list_val, 'w')
    file_test = open(list_test, 'w')
 
    total_txt = os.listdir(label_original_path)
    num_txt = len(total_txt)
    list_all_txt = range(num_txt)
 
    num_train = int(num_txt * train_percent)
    num_val = int(num_txt * val_percent)
    num_test = num_txt - num_train - num_val
 
    train = random.sample(list_all_txt, num_train)
    # train从list_all_txt取出num_train个元素
    # 所以list_all_txt列表只剩下了这些元素
    val_test = [i for i in list_all_txt if not i in train]
    # 再从val_test取出num_val个元素，val_test剩下的元素就是test
    val = random.sample(val_test, num_val)
 
    print("训练集数目：{}, 验证集数目：{}, 测试集数目：{}".format(len(train), len(val), len(val_test) - len(val)))
    for i in list_all_txt:
        name = total_txt[i][:-4]
 
        srcImage = image_original_path + name + '.jpg'
        srcLabel = label_original_path + name + ".txt"
 
        if i in train:
            dst_train_Image = train_image_path + name + '.jpg'
            dst_train_Label = train_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_train_Image)
            shutil.copyfile(srcLabel, dst_train_Label)
            file_train.write(dst_train_Image + '\n')
        elif i in val:
            dst_val_Image = val_image_path + name + '.jpg'
            dst_val_Label = val_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_val_Image)
            shutil.copyfile(srcLabel, dst_val_Label)
            file_val.write(dst_val_Image + '\n')
        else:
            dst_test_Image = test_image_path + name + '.jpg'
            dst_test_Label = test_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_test_Image)
            shutil.copyfile(srcLabel, dst_test_Label)
            file_test.write(dst_test_Image + '\n')
 
    file_train.close()
    file_val.close()
    file_test.close()
 
 
if __name__ == "__main__":
    main()

划分完成后将会在datasets/bubbleplume文件夹下生成划分好的文件，其中images为划分后的图像文件，里面包含用于train、val、test的图像，已经划分完成；labels文件夹中包含划分后的标签文件，已经划分完成，里面包含用于train、val、test的标签；train.tet、val.txt、test.txt中记录了各自的图像路径。

在这里插入图片描述

在这里插入图片描述

在训练过程中，也是主要使用这三个txt文件进行数据的索引。

三、修改配置文件

①数据集文件配置

数据集划分完成后，在项目的datasets文件下，在data文件夹下新建bubbleplume.yaml，替代coco.yaml。用于指明数据集路径和类别，我这边只有一个类别，names中只留了一个，并替换成自己的类别名，多类别的在names内加上类别名即可。bubbleplume.yaml中的内容为：

train: /root/yolov5-7.0/datasets/bubbleplume/train.txt  # train images (relative to 'path') 118287 images
val: /root/yolov5-7.0/datasets/bubbleplume/val.txt  # val images (relative to 'path') 5000 images
test: /root/yolov5-7.0/datasets/bubbleplume/test.txt  # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Classes
names:
  0: gas plume

在这里插入图片描述

②权重下载

模型训练的时候，需要用到模型的预训练权重。我下载的是yolov5m.pt,用于YOLOv5m模型的训练，放在了项目的根目录下。 模型需要到官网下载预训练权重，权重地址为：https://github.com/ultralytics/yolov5/releases

要用哪个版本的模型加载哪个权重即可。

在这里插入图片描述

在这里插入图片描述

③模型文件配置

YOLOv5的模型文件在./models/segment 文件夹下，我使用的模型文件时YOLOv5m,所以新建了一个yaml文件yolov5-mask.yaml，将yolov5m.yaml文件中的内容复制到 yolov5-mask.yaml下，并将nc修改成1。

在这里插入图片描述

在这里插入图片描述

yolov5-mask.yaml文件中的内容如下：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 1  # number of classes
depth_multiple: 0.67  # model depth multiple
width_multiple: 0.75  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)

   [[17, 20, 23], 1, Segment, [nc, anchors, 32, 256]],  # Detect(P3, P4, P5)
  ]

④训练参数配置

在模型配置中，YOLOv5需要修改项目根目录中的./segment/train.py,在462行处的 def parse_opt(known=False):函数中，主要修改weights、cfg、data、hyp、epochs、batch-size、imgsz、device以及workers。这些参数已足够顺利训练了，其他参数就是一些后续的调参工作了。

weight是配置预训练权重的路径，将default中的内容修改成下载的权重路径，也可以为空，不使用预训练权重，权重放在其他文件夹下的注意加上文件夹路径。

parser.add_argument('--weights', type=str, default=ROOT / 'yolov5m-seg.pt', help='initial weights path')

cfg是配置模型文件的路径，将default中的内容修改成新的模型文件。

parser.add_argument('--cfg', type=str, default='/root/yolov5-7.0/models/segment/yolov5-mask.yaml', help='model.yaml path')

data是配置数据集文件的路径，将default中的内容修改成自己的数据集yaml文件。

parser.add_argument('--data', type=str, default=ROOT / '/root/yolov5-7.0/data/bubbleplume.yaml', help='dataset.yaml path')

hyp是模型训练过程中的超参数，可在data/hyps文件夹下选择不同的超参数。

parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch-low.yaml', help='hyperparameters path')

epochs指训练的轮次，这里我这边在default中定了一个300次，只要模型能收敛即可。

parser.add_argument('--epochs', type=int, default=300, help='total training epochs')

batch-size是表示一次性将多少张图片放在一起训练，越大训练的越快，如果设置的太大会报OOM错误，我这边在default中设置32，表示一次训练16张图像。设置的大小为2的幂次，1为2的0次，16为2的4次。

parser.add_argument('--batch-size', type=int, default=32, help='total batch size for all GPUs, -1 for autobatch')

imgsz表示送入训练的图像大小，会统一进行缩放。要求是32的整数倍，尽量和图像本身大小一致。这边在default中设置为480。

parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=480, help='train, val image size (pixels)')

device指训练运行的设备。该参数指定了模型训练所使用的设备，例如使用 GPU 运行可以指定为 default=‘0’，或者使用多个 GPU 运行可以指定为 device=0,1,2,3，如果没有可用的 GPU，可以指定为 device=‘cpu’ 使用 CPU 进行训练。

parser.add_argument('--device', default='0', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')

workers是指数据装载时cpu所使用的线程数，过高时会报错：[WinError 1455] 页面文件太小，无法完成操作，此时就只能将default调成0了。

parser.add_argument('--workers', type=int, default=10, help='max dataloader workers (per RANK in DDP mode)')

在这里插入图片描述

模型训练的相关基本参数就是这些啦，其余的参数可以等到后期训练完成进行调参时再详细了解。

四、模型训练和测试

模型训练

在将train.py文件配置完成后，即可运行此文件，便会开始训练啦

在这里插入图片描述
在这里插入图片描述

训练完成后，将会在runs/train/exp/weight文件夹下存放训练后的权重文件。

模型测试

在train.py的相同目录下，使用val.py进行测试，需要修改403行中的def parse_opt()中的data、weights、batch-size、imgsz、device、task以及device。

其中weights为训练出来的新模型权重，路径在runs/train文件夹下。

parser.add_argument('--weights', nargs='+', type=str, default=ROOT / '/root/yolov5-7.0/runs/train-seg/exp/weights/best.pt', help='model path(s)')

task，表示在验证时所使用的数据集，这里使用test，数据集中已经划分。

parser.add_argument('--task', default='test', help='train, val, test, speed or study')

其余参数和训练时一致。

在这里插入图片描述

运行val.py文件后便会得出训练精度等相关信息。

在这里插入图片描述

总结

以上就是YOLOv5的分割模型训练自己数据集的全部过程啦，欢迎大家在评论区交流~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2046418.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

测试资料1111

测试资料1111

什么是软件 软件是控制计算机硬件工作的工具 软件产生过程 需求产生（客户、用户）、需求文档（需求文档）、设计效果图（UI设计师）、产品开发（研发人员）、产品测试（测试人…
阅读更多...
multiple definition of `xxxx`问题解决（vscode开发stm32）

multiple definition of `xxxx`问题解决（vscode开发stm32）

一、背景 开发时遇到如下问题： 在Tim.h文件夹中定义了一个结构体变量 TIM_HandleTypeDef htim2;//定时器实例变量 其余的文件在引用此变量时都加上了#include "Tim.h" 但编译时，终端报错： multiple definition of htim2 全局搜…
阅读更多...
hs_err_pid.log分析

hs_err_pid.log分析

hs_err_pid.log 文件是 Java 虚拟机（JVM）在遇到致命错误（如崩溃或内部错误）时生成的错误日志文件。这个文件包含了关于崩溃的详细信息，可以帮助开发者或系统管理员诊断和解决问题。 hs_err_pid.log文件位置和命名 文…
阅读更多...
maven导入依赖后依然爆红？

maven导入依赖后依然爆红？

今天遇到了maven导入依赖后依然爆红的问题，检查了本地仓库发现依赖包已经全有了但是IDEA这边的XML文件里面依然大量爆红；并且我重新将之前的本地仓库相关的依赖包甚至其上级目录进行了删除后重新导入，但问题依然没有解决；因此我非…
阅读更多...
【大模拟】逻辑回环类

【大模拟】逻辑回环类

区块链 AcWing 3285. 区块链 - AcWing 区块链涉及密码学、哈希算法、拜占庭问题、共识算法、故障模型、网络模型等诸多知识，也在金融等领域有广泛的应用。 本题中，我们需要实现一个简单的区块链系统。 在一个分布式网络中，有 nn 个节点通…
阅读更多...
最新软件库系统源码/ 免服务器源码/带后台功能/使用链接上传或服务器存储

最新软件库系统源码/ 免服务器源码/带后台功能/使用链接上传或服务器存储

源码简介： 最新软件库系统源码，它是免服务器的，而且带后台，实现超级管理动态发布，会员系统卡密系统充值的后台功能。注册用户的软件投稿，可以使用链接上传，或者服务器存储。 它带有后台功能&a…
阅读更多...
Springboot 整合 Swagger3（springdoc-openapi）

Springboot 整合 Swagger3（springdoc-openapi）

使用springdoc-openapi这个库来生成swagger的api文档 官方Github仓库： https://github.com/springdoc/springdoc-openapi 官网地址：https://springdoc.org 目录题 1. 引入依赖2. 拦截器设置3. 访问接口页面3.1 添加配置项，使得访问路径变短…
阅读更多...
饮水机功能构建指导思想以及最小试验

饮水机功能构建指导思想以及最小试验

饮水机功能构建指导思想以及最小试验 引言 我们饮水机, 其实就只有两个必须使用的功能, 一个是控制加热, 一个是控制放水, 我们现在就可以直接实现这两个功能. 我们使用stm32单片机, 直接控制两个io口的高低电平, 通过继电器, 就可以控制大电流设备的开关. 没错这就已经结束了…
阅读更多...
时间序列预测 | CEEMDAN+CNN+Transformer多变量时间序列预测（Python）

时间序列预测 | CEEMDAN+CNN+Transformer多变量时间序列预测（Python）

目录 效果一览基本介绍程序设计参考资料 效果一览 基本介绍 时间序列预测 | CEEMDANCNNTransformer多变量时间序列预测（Python） 时间序列预测 创新点 多尺度特征提取：CEEMDAN将复杂的时间序列分解成多个IMFs，使得CNN和Transforme…
阅读更多...
【TVM 教程】在 Adreno™ 上部署预训练模型

【TVM 教程】在 Adreno™ 上部署预训练模型

本文是一个逐步教程，演示如何在 Adreno 上（不同精度）部署预训练的 PyTorch ResNet-18 模型。 首先，我们需要安装 PyTorch 与 TorchVision，因为我们将使用它作为我们的模型库。 可以通过 pip 快速安装： p…
阅读更多...
【Linux】Linux环境基础开发工具使用之Linux编译器-gcc/g++使用

【Linux】Linux环境基础开发工具使用之Linux编译器-gcc/g++使用

目录 一、编译过程二、gcc/g如何完成三、error: for loop initial declarations are only allowed in C99 mode 的解决方法四、预处理五、编译六、汇编七、链接八、数据库8.1 动态库8.2 静态库8.3 动/静态链接的优缺点 结尾 一、编译过程 预处理（头文件的展开、宏替…
阅读更多...
计算机网络12——IM聊天系统——项目分析和架构搭建

计算机网络12——IM聊天系统——项目分析和架构搭建

1、IM——聊天系统主要功能 （1）注册 根据：昵称，手机号，密码 （2）登录 根据：手机号，密码 （3）添加好友 根据：昵称 （4&…
阅读更多...
【IR】Counterfactual Explainer on Graphs

【IR】Counterfactual Explainer on Graphs

图神经网络的反事实解释：最新文章略读 Survey [ 5 ] ^{[5]} [5]CFAD [ 1 ] ^{[1]} [1]CAF [ 3 ] ^{[3]} [3]GCFExplainer [ 2 ] ^{[2]} [2]CFE [ 4 ] ^{[4]} [4]RCExplainer [ 6 ] ^{[6]} [6]CF-GNNExplainer [ 7 ] ^{[7]} [7]Ref Survey [ 5 ] ^{[5]} [5] NeurIP…
阅读更多...
Ubuntu24.04使用SRS 搭建 RTMP流媒体服务器

Ubuntu24.04使用SRS 搭建 RTMP流媒体服务器

一、简介 SRS(Simple Realtime Server)是一个简单高效的实时视频服务器， 是国人写的一款非常优秀的开源流媒体服务器软件，可用于直播/录播/视频客服等多种场景，其定位是运营级的互联网直播服务器集群。支持RTMP/WebRTC/HLS/HTTP-FLV/SRT/GB28…
阅读更多...
基于html5的网上团购系统设计与实现

基于html5的网上团购系统设计与实现

TOC springboot301基于html5的网上团购系统设计与实现 第1章 绪论 1.1 研究背景 互联网时代不仅仅是通过各种各样的电脑进行网络连接的时代，也包含了移动终端连接互联网进行复杂处理的一些事情。传统的互联网时代一般泛指就是PC端，也就是电脑互联网时…
阅读更多...
编码在左，学习在右，你心中的天平如何倾斜？

编码在左，学习在右，你心中的天平如何倾斜？

目录 前言 程序员如何平衡日常编码工作与提升式学习？ 养成高效编码习惯 掌握时间管理技巧 提升式学习的策略 广泛涉猎的优势与考虑因素 深入钻研的优势与考虑因素 职业发展与个人成长的和谐共生 结束语 前言 程序员如何平衡日常编码工作与提升式学习&#…
阅读更多...
vue项目配置基础路由vue-router

vue项目配置基础路由vue-router

1、运行以下命令安装vue-router yarn add vue-router 2、在src目录下的components中新建两个vue页面 3、在src目录下新建router文件夹，在router文件夹下面新建index.js文件 4、配置main.js文件 //引入Vue import Vue from "vue"; //引入App import App…
阅读更多...
demo测试

demo测试

目录 接口commonCodeGenerator entityuser mapperUserMapper controllerUserController serviceUserServiceimplUserServiceImpl mapper.xmlpom.xmlapplication.yml 接口 common CodeGenerator package com.llz.demo.common;import com.baomidou.mybatisplus.core.exceptions…
阅读更多...
P2680 [NOIP2015 提高组] 运输计划（树上二分答案）

P2680 [NOIP2015 提高组] 运输计划（树上二分答案）

[NOIP2015 提高组] 运输计划 - 洛谷 核心思路 树上二分答案。答案这个字眼很重要&#xff0c;因为&#xff0c;二分出来的就是答案。 拟合经验。 AC 代码 #include<iostream> #include<vector> #include<cstring> #include<algorithm> #include&l…
阅读更多...
如何选择合适的虚拟机软件？对比Parallels Desktop 和VMware Fusion 使用虚拟机畅玩黑神话悟空

如何选择合适的虚拟机软件？对比Parallels Desktop 和VMware Fusion 使用虚拟机畅玩黑神话悟空

随着技术的发展&#xff0c;虚拟机软件将更加高效地管理和分配系统资源。虚拟机软件扮演着越来越重要的角色。无论是软件开发者需要测试不同操作系统环境下的应用&#xff0c;还是普通用户希望在一台机器上同时运行多个操作系统&#xff0c;虚拟机软件都是不可或缺的工具。那么…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023