ubuntu下训练自己的yolov5数据集

news2024/11/20 22:38:02

参考文档

yolov5-github

yolov5-github-训练文档

csdn训练博客

一、配置环境

1.1 安装依赖包

前往清华源官方地址 选择适合自己的版本替换自己的源

# 备份源文件
sudo cp /etc/apt/sources.list /etc/apt/sources.list_bak
# 修改源文件
# 更新
sudo apt update && sudo apt upgrade -y

安装必要的环境依赖包

sudo apt-get install -y build-essential ubuntu-drivers-common net-tools python3 python python3-pip
# 修改pip源为清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

1.2 安装docker

具体安装步骤参考ubuntu安装docker官方文档

  1. 卸载所有冲突包

    for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done

  2. 设置 Docker 的apt存储库

    # Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install -y ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
 
# Add the repository to Apt sources:
echo \
  "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

  3. 安装最新的docker包

    sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

1.3 拉取pytorch docker镜像

前往pytorch 官方docker镜像寻找自己合适版本，yolov5要求1.8以上版本，我拉取1.13版本，执行命令：

sudo docker pull pytorch/pytorch:1.13.1-cuda11.6-cudnn8-runtime

1.4 安装nvidia驱动

桌面版参考链接

服务器版参考链接

我们使用pytorch-docker环境无需安装cuda，NVIDIA驱动简单安装如下

  1. 禁用nouveau驱动

    编辑 /etc/modprobe.d/blacklist-nouveau.conf 文件，添加以下内容：

    blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off

  2. 关闭nouveau

    echo options nouveau modeset=0 | sudo tee -a /etc/modprobe.d/nouveau-kms.conf

  3. 重新生成内核并重启

    sudo update-initramfs -u
sudo reboot

  4. 重启后验证
    重启后，执行：lsmod | grep nouveau。如果没有屏幕输出，说明禁用nouveau成功

  5. 查找推荐驱动

    ubuntu-drivers devices
# 输出如下
# modalias : pci:v000010DEd00001EB8sv000010DEsd000012A2bc03sc02i00
# vendor   : NVIDIA Corporation
# model    : TU104GL [Tesla T4]
# driver   : nvidia-driver-450-server - distro non-free
# driver   : nvidia-driver-525-server - distro non-free
# driver   : nvidia-driver-535-server - distro non-free
# driver   : nvidia-driver-418-server - distro non-free
# driver   : nvidia-driver-525 - distro non-free
# driver   : nvidia-driver-470 - distro non-free
# driver   : nvidia-driver-470-server - distro non-free
# driver   : nvidia-driver-535 - distro non-free recommended
# driver   : xserver-xorg-video-nouveau - distro free builtin

  6. 安装推荐的驱动程序

    根据自己系统选择安装，安装完成后重启

    sudo apt install nvidia-driver-535-server

  7. 重启后验证

    nvidia-smi 命令能够输出显卡信息则验证成功

1.5 安装nvidia docker gpus工具

为了让docker支持nvidia显卡，英伟达公司开发了nvidia-docker，该软件是对docker的包装，使得容器能够看到并使用宿主机的nvidia显卡。

根据网上的资料，从docker 19版本之后，nvidia-docker成为了过去式。不需要单独去下nvidia-docker这个独立的docker应用程序，也就是说gpu docker所需要的Runtime被集成进docker中，使用的时候用–gpus参数来控制。以下是工具安装步骤：

# step1 添加包存储库，在终端依次输入以下命令：
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

# step2 下载安装nvidia-container-toolkit包
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit

# step3 重启docker服务
sudo systemctl restart docker

二、训练数据集

2.1 下载yolov5代码

前往github下载代码，或者准备自己的yolov5训练代码，如果是拷贝他人代码，将**.git目录删除**，否则后续训练时检查git信息会报错。

git clone git@github.com:ultralytics/yolov5.git

2.2 启动进入pytorch-docker

# 映射宿主机地址到docker内部，根据显卡实际情况指定显存容量
sudo docker run -v /home/zmj/lishi:/workspace --gpus all --shm-size 18g -p 6006:6006 -it pytorch/pytorch:1.13.1-cuda11.6-cudnn8-runtime /bin/bash

后续都将在docker中执行;

2.3 安装依赖项

在docker下进入yolov5代码目录下将request.txt的opencv注释掉然后执行依赖项安装

image-20231129140344105

pip3 install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

继续安装opencv-python-headless版本opencv；

pip3 install opencv-python-headless

2.4 创建文件

将标准好的图像文件夹命名为images，标签文件夹命名为Annotations都放到源码目录的data文件夹下（注意： images内为数据集原始图片，Annotations内为标注的xml文件，对这两个文件夹做好备份）；

在yolov5根目录下创建make_txt.py文件，内容如下：

import os
import random

# 函数：确保文件夹存在，如果不存在则创建
def ensure_folder_exists(folder):
    if not os.path.exists(folder):
        os.makedirs(folder)
        print(f"Created folder: {folder}")

# 检查并创建所需文件夹
folders = ["data/ImageSets", "data/JPEGImages", "data/labels"]
for folder in folders:
    ensure_folder_exists(folder)

trainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'data/Annotations'
txtsavepath = 'data/ImageSets'
total_xml = os.listdir(xmlfilepath)
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
file_paths = []
file_paths.append(os.path.join(txtsavepath, 'trainval.txt'))
file_paths.append(os.path.join(txtsavepath, 'test.txt'))
file_paths.append(os.path.join(txtsavepath, 'train.txt'))
file_paths.append(os.path.join(txtsavepath, 'val.txt'))

for file_path in file_paths:
    with open(file_path, 'w') as file:
        for i in list:
            name = total_xml[i][:-4] + '\n'
            if i in trainval:
                if file_path.endswith('trainval.txt'):
                    file.write(name)
                if i in train:
                    if file_path.endswith('test.txt'):
                        file.write(name)
                else:
                    if file_path.endswith('val.txt'):
                        file.write(name)
            else:
                if file_path.endswith('train.txt'):
                    file.write(name)
        file.close()
        os.chmod(file_path, 0o666)  # 设置文件权限

print("Finished!")

创建voc_label.py内容如下：

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

# 函数：确保文件夹存在，如果不存在则创建
def ensure_folder_exists(folder):
    if not os.path.exists(folder):
        os.makedirs(folder)
        print(f"Created folder: {folder}")

# 检查并创建所需文件夹
folders = ["data/ImageSets", "data/JPEGImages", "data/labels"]
for folder in folders:
    ensure_folder_exists(folder)

sets = ['train', 'test','val']
#此处修改为实际标注内容
classes = ['fall']
def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)
def convert_annotation(image_id):
    in_file = open('data/Annotations/%s.xml' % (image_id))
    file_path = 'data/labels/%s.txt' % (image_id)
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    if(w==0 or h==0):
        in_file.close()
        print(image_id,"w ", w, "h ", h, "0 error")
        image_file = 'data/images/%s.jpg' % (image_id)
        xml_file = 'data/Annotations/%s.xml' % (image_id)
        os.remove(image_file)
        os.remove(xml_file)
        return
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
        in_file.close()
    out_file.close()
    os.chmod(file_path, 0o666)  # 设置文件权限
wd = getcwd()
print(wd)
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    file_path = 'data/%s.txt' % (image_set)
    with open(file_path, 'w') as list_file:
        for image_id in image_ids:
            list_file.write('data/images/%s.jpg\n' % (image_id))
            convert_annotation(image_id)
    list_file.close()
    os.chmod(file_path, 0o666)  # 设置文件权限
print("Finished!")

依次执行上述两个脚本，如果执行voc_labels.py提示有w 0 h 0 errror字样，说明标注的宽高有0异常，会删除异常标签和图片，重新执行这两个脚本

python3 make_txt.py
python3 voc_label.py

执行完成后会在data下创建ImageSets文件夹和labels文件夹大致内容如下：

image-20231129155751988

image-20231129155819545

data下生成三个txt文件

image-20231129155914301

2.5 修改yaml文件

复制data目录下的coco.yaml，我这里命名为fall.yaml，参照参考文档主要修改三个地方：

  1. 修改train,val,test的路径为自己刚刚生成的路径；

  2. nc 里的数字代表数据集的类别，我这里只有跌倒一类，所以修改为1；

  3. names 里为自己数据集标注的类名称，我这里是fall；

    内容如下

    # YOLOv5 🚀 by Ultralytics, AGPL-3.0 license
# COCO 2017 dataset http://cocodataset.org by Microsoft
# Example usage: python train.py --data coco.yaml
# parent
# ├── yolov5
# └── datasets
#     └── coco  ← downloads here (20.1 GB)


# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
# path: ../datasets/coco  # dataset root dir
# train: train2017.txt  # train images (relative to 'path') 118287 images
# val: val2017.txt  # val images (relative to 'path') 5000 images
test: data/test.txt  # dataset root dir
train: data/train.txt  # train images (relative to 'path') 128 images
val: data/val.txt  # val images (relative to 'path') 128 images
# test: test-dev2017.txt  # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

nc: 1 # number of classes
names: ['fall']  # class names


# Download script/URL (optional)
download: |
  from utils.general import download, Path


  # Download labels
  segments = False  # segment or box labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/yolov5/releases/download/v1.0/'
  urls = [url + ('coco2017labels-segments.zip' if segments else 'coco2017labels.zip')]  # labels
  download(urls, dir=dir.parent)

  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

2.6 修改模型文件

models下有5个模型，smlx需要训练的时间依次增加，按照需求选择一个文件进行修改即可，我选择yolov5s.yaml，只需将nc改为实际值即可；

image-20231129161119063

2.7修改训练tran.py

这里需要对train.py文件内的参数进行修改，weights，cfg，data按照自己所需文件的路径修改，weights如果使用参考博客的文件，将yolov5s.pt下载放到代码根目录下即可，如果使用官方则无需修改，会自行下载。具体参数含义，查看官方文档。我修改内容如下：

image-20231129171756529

2.8 开始训练

执行python train.py

可能报以下错误：

按照提示执行export GIT_PYTHON_REFRESH=quiet继续执行训练命令，就可以开始训练了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1269289.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

三季度同道猎聘遇“瓶颈”，破局重点是中高端人才？

三季度同道猎聘遇“瓶颈”，破局重点是中高端人才？

古往今来，人才一直是企业“争夺”的对象。随着新兴产业的快速冒头以及AI技术的崛起，新型人才以及中高端人才成为市场上的香饽饽，而这类人才的稀缺性让企业和招聘平台双方都很“头疼”。再加上外部环境的不确定性增加，职场人普遍求…
阅读更多...
打造独特封面：封面设计的关键要素与技巧解析！

打造独特封面：封面设计的关键要素与技巧解析！

书籍作品的封面设计非常精致。就像商品的包装一样，有助于提高书籍的销量。书封的设计表现主要从图像、文字、材质等方面进行设计。基本上所有的书都需要有文字，所以特别考验设计师的文字排版能力。今天就和大家分享一些书籍封面设计的小知识，…
阅读更多...
轻松整合Knife4j：快速搭建Swagger文档界面与接口调试

轻松整合Knife4j：快速搭建Swagger文档界面与接口调试

Knife4j 是一个为 Java 开发者提供的 Swagger 文档聚合工具，它是 Swagger-Bootstrap-UI 的升级版。它的主要功能是生成和展示 API 文档，让开发者能够更轻松地查看和测试接口。 整合 Knife4j（Swagger-Bootstrap-UI 的升级版）到 Spr…
阅读更多...
VT驱动开发

VT驱动开发

VT技术(编写一个VT框架) 1.VT技术介绍 1.技术介绍 1.VT技术 VT技术是Intel提供的虚拟化技术，全称为Intel Virtualization Technology。它是一套硬件和软件的解决方案，旨在增强虚拟化环境的性能、可靠性和安全性。VT技术允许在一台物理计算机上同时运…
阅读更多...
WebSocket 接口测试：打通前端与后端的通信之路！

WebSocket 接口测试：打通前端与后端的通信之路！

什么是 WebSocket? WebSocket 是一种基于在单个 TCP 连接上进行全双工通信的协议，解决了HTTP协议不适用于实时通信的缺点，相较于 HTTP 协议，WebSocket 协议实现了持久化网络通信，可以实现客户端和服务端的长连接，能够…
阅读更多...
微信小程序——给按钮添加点击音效

微信小程序——给按钮添加点击音效

今天来讲解一下如何给微信小程序的按钮添加点击音效 注意&#xff1a;这里的按钮不一定只是 <button>&#xff0c;也可以是一张图片&#xff0c;其实只是添加一个监听点击事件的函数而已 首先来看下按钮的定义 <button bind:tap"onInput" >点我有音效&…
阅读更多...
xxl-job适配postgresql数据库

xxl-job适配postgresql数据库

xxl-job支持了mysql数据库&#xff0c;其他的数据库适配得自己弄一下&#xff0c;下面以目前最新的2.4.1为例进行说明适配postgresql数据库的过程。 获取源代码 从github或gitee获取源代码&#xff0c;目前最新版本2.4.1 xxl官网&#xff1a;分布式任务调度平台XXL-JOB 建立…
阅读更多...
OpenCvSharpSlim画中文

OpenCvSharpSlim画中文

github地址&#xff1a;https://github.com/AvenSun/OpenCvSharpSlim Slim Build of OpenCvSharp OpenCvSharpSlim This project provides the slim build of OpenCvSharp native library . Currently therere binary packages for OpenCvSharp 2.4.10, 3.4.20 ,4.8.0 and 4…
阅读更多...
关键词挖掘软件-免费批量挖掘关键词的工具

关键词挖掘软件-免费批量挖掘关键词的工具

在当今数字化时代&#xff0c;网站的曝光和排名对于吸引流量至关重要。而在这个大数据的背后&#xff0c;SEO&#xff08;Search Engine Optimization&#xff0c;搜索引擎优化&#xff09;成为许多网站主和创作者们追逐的关键。在SEO的世界里&#xff0c;关键词的选择和优化是…
阅读更多...
数据结构与算法之美学习笔记：28 | 堆和堆排序：为什么说堆排序没有快速排序快？

数据结构与算法之美学习笔记：28 | 堆和堆排序：为什么说堆排序没有快速排序快？

目录 前言如何理解“堆”&#xff1f;如何实现一个堆&#xff1f;1. 往堆中插入一个元素2. 删除堆顶元素 如何基于堆实现排序&#xff1f;1. 建堆2. 排序 解答开篇内容小结 前言 本节课程思维导图&#xff1a; 我们今天讲另外一种特殊的树&#xff0c;“堆”&#xff08;Heap&…
阅读更多...
电脑IP地址怎么修改？http代理ip设置方法有哪些？

电脑IP地址怎么修改？http代理ip设置方法有哪些？

在互联网时代&#xff0c;我们的网络已经成为我们生活、工作和学习中不可或缺的一部分。有时候&#xff0c;为了保护我们的隐私或者突破网络限制&#xff0c;我们需要修改电脑的IP地址。那么&#xff0c;电脑IP地址怎么修改呢&#xff1f;http代理ip设置方法有哪些呢&#xff1…
阅读更多...
在JS中，手动添加标签

在JS中，手动添加标签

纯个人笔记 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"widthdevice-width, …
阅读更多...
前端:实现二级菜单（二级菜单悬浮在一级菜单左侧）

前端:实现二级菜单（二级菜单悬浮在一级菜单左侧）

效果 代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"widthdevice-width, i…
阅读更多...
正向和反向代理区别

正向和反向代理区别

文章目录 正向代理反向代理二者区别参考 正向代理 正向代理就是一个位于客户端和目标服务器之间的服务器&#xff0c;之间的这个服务器就是代理服务器 客户端为了从目标服务器获取内容&#xff0c;但是客户端由于限制无法直接访问到目标服务器&#xff0c;那么客户端就可以向…
阅读更多...
VMware Workstation 无法连接到虚拟机问题排查（一）

VMware Workstation 无法连接到虚拟机问题排查（一）

文章目录 VMware Workstation无法连接到虚拟机问题排查1. 问题概述2. 排查思路3. 问题修改4. 总结 VMware Workstation无法连接到虚拟机问题排查 近期在使用新电脑安装VMware Workstation&#xff0c;启动虚拟机实例的时候出现失败&#xff0c;提示为:“VMware Workstation 无…
阅读更多...
高性价比的挂耳式蓝牙耳机有哪些？学生党必入的几款蓝牙耳机推荐

高性价比的挂耳式蓝牙耳机有哪些？学生党必入的几款蓝牙耳机推荐

在快节奏的现代生活中&#xff0c;蓝牙耳机已经成为了许多人不可或缺的伙伴&#xff0c;而对于预算有限的学生党来说&#xff0c;一副高性价比的挂耳式蓝牙耳机无疑是最理想的选择之一。本文将围绕这一主题&#xff0c;为大家推荐几款价格亲民、性能出色的挂耳式蓝牙耳机&#…
阅读更多...
汉威科技亮相北京链博会：感知驱动，智链出行

汉威科技亮相北京链博会：感知驱动，智链出行

11月28日&#xff0c;首届中国国际供应链促进博览会在北京中国国际展览中心&#xff08;顺义馆&#xff09;举办&#xff0c;该展会是全球首个以供应链为主题的国家级展会&#xff0c;设置智能汽车链、绿色农业链、清洁能源链、数字科技链、健康生活链5大链条和供应链服务展区&…
阅读更多...
JRT实现缓存协议

JRT实现缓存协议

上一篇介绍的借助ORM的增、删、改和DolerGet方法&#xff0c;ORM可以很精准的知道热点数据做内存缓存。那么就有一个问题存在&#xff0c;即部署了多个站点时候&#xff0c;如果用户在一个Web里修改数据了&#xff0c;那么其他Web的ORM是不知道这个变化的&#xff0c;其他Web还…
阅读更多...
强基固本，红海云数字化重塑提升国企干部管理能力

强基固本，红海云数字化重塑提升国企干部管理能力

国有企业的干部管理体系建设具有重要的战略意义&#xff0c;对于构建高素质专业化的干部队伍&#xff0c;推动企业高质量发展至关重要。特别是在党的二十大以后&#xff0c;建设中国特色现代企业制度&#xff0c;在完善公司治理中加强党的领导&#xff0c;加强党管干部党管人才…
阅读更多...
15.spring源码解析-invokeBeanFactoryPostProcessors

15.spring源码解析-invokeBeanFactoryPostProcessors

BeanFactoryPostProcessor接口允许我们在bean正是初始化之前改变其值。此接口只有一个方法: void postProcessBeanFactory(ConfigurableListableBeanFactory beanFactory);有两种方式可以向Spring添加此对象: 通过代码的方式: context.addBeanFactoryPostProcessor 通过xml…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023