yolov5的工程使用(以人员检测为案例)
使用ubuntu为案例
docker run --gpus all -it -p 6007:6006 -p 8889:8888 --name my_torch -v $(pwd):/app easonbob/my_torch1-pytorch:22.03-py3-yolov5-6.0
使用端口映射功能也就是说打开jupyter lab的指令是
http://localhost:8889/lab
当然，个人建议直接去vscode端口点击就打开jupyter lab和tensorboard比较方便
1. yolo数据格式
YOLO格式的标签文件是一个纯文本文件，每个文件名对应一张图像，每个标签文件中包含了该图像中所有检测到的目标的信息。
YOLOv5的标签格式包含了每个目标的类别和位置信息。具体来说，每个标签文件的每一行都包含了一个目标的信息，每个目标的信息由以下7个字段组成，用空格分隔：
<class> <x_center> <y_center> <width> <height> <confidence> <flag>
其中，是目标的类别，是一个整数；<x_center>和<y_center>是目标的中心点相对于图像宽度和高度的比例；和是目标的宽度和高度相对于图像宽度和高度的比例；是目标检测的置信度，用0到1之间的实数表示；是一个标志位，可以忽略。
例如，下面是一个YOLOv5格式的标签文件的示例：
0 0.456 0.678 0.123 0.234 0.9876
1 0.123 0.345 0.456 0.567 0.8765
2. 跑通人员检测(WiderPerson 数据集的案例的类别)
2.1 先看类别
# 一共是5类
0 pedestrians
1 riders
2 partially-visible persons
3 ignore regions
4 crowd
2.2 制作.yaml配置文件
先看原版 coco128.yaml文件
# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# COCO128 dataset https://www.kaggle.com/ultralytics/coco128 (first 128 images from COCO train2017) by Ultralytics
# Example usage: python train.py --data coco128.yaml
# parent
# ├── yolov5
# └── datasets
# └── coco128 ← downloads here (7 MB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco128 # dataset root dir
train: images/train2017 # train images (relative to 'path') 128 images
val: images/train2017 # val images (relative to 'path') 128 images
test: # test images (optional)
# Classes
nc: 80 # number of classes
names: ['person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus', 'train', 'truck', 'boat', 'traffic light',
'fire hydrant', 'stop sign', 'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow',
'elephant', 'bear', 'zebra', 'giraffe', 'backpack', 'umbrella', 'handbag', 'tie', 'suitcase', 'frisbee',
'skis', 'snowboard', 'sports ball', 'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard',
'tennis racket', 'bottle', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl', 'banana', 'apple',
'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza', 'donut', 'cake', 'chair', 'couch',
'potted plant', 'bed', 'dining table', 'toilet', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone',
'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'book', 'clock', 'vase', 'scissors', 'teddy bear',
'hair drier', 'toothbrush'] # class names
# Download script/URL (optional)
download: https://ultralytics.com/assets/coco128.zip
制作自己的person.yaml文件, 复制到data里面去
path: ../person_data # dataset root dir
train: images/train # train images (relative to 'path') 128 images
val: images/val # val images (relative to 'path') 128 images
test: # test images (optional)
# classes
nc: 5
names: ['pedestrians', 'riders', 'partially-visible persons', 'ignore regions', 'crowd']
2.3 制作model.yaml
复制model/yolov5s.yaml文件，因为要修改类别， 改nc就行了, 简单对比下跟l, n, x， 深度和宽度不同，参数量也不同
# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# Parameters
nc: 5 # number of classes
depth_multiple: 0.33 # model depth multiple
width_multiple: 0.50 # layer channel multiple
anchors:
- [10,13, 16,30, 33,23] # P3/8
- [30,61, 62,45, 59,119] # P4/16
- [116,90, 156,198, 373,326] # P5/32
# YOLOv5 v6.0 backbone
backbone:
# [from, number, module, args]
[[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
[-1, 3, C3, [128]],
[-1, 1, Conv, [256, 3, 2]], # 3-P3/8
[-1, 6, C3, [256]],
[-1, 1, Conv, [512, 3, 2]], # 5-P4/16
[-1, 9, C3, [512]],
[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
[-1, 3, C3, [1024]],
[-1, 1, SPPF, [1024, 5]], # 9
]
# YOLOv5 v6.0 head
head:
[[-1, 1, Conv, [512, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 6], 1, Concat, [1]], # cat backbone P4
[-1, 3, C3, [512, False]], # 13
[-1, 1, Conv, [256, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 4], 1, Concat, [1]], # cat backbone P3
[-1, 3, C3, [256, False]], # 17 (P3/8-small)
[-1, 1, Conv, [256, 3, 2]],
[[-1, 14], 1, Concat, [1]], # cat head P4
[-1, 3, C3, [512, False]], # 20 (P4/16-medium)
[-1, 1, Conv, [512, 3, 2]],
[[-1, 10], 1, Concat, [1]], # cat head P5
[-1, 3, C3, [1024, False]], # 23 (P5/32-large)
[[17, 20, 23], 1, Detect, [nc, anchors]], # Detect(P3, P4, P5)
]
2.4 使用以下命令就可以训练了
python ./train.py --data ./data/person.yaml --cfg ./models/yolov5s_person.yaml --weights ./weights/yolov5s.pt --batch-size 2 --epochs 1 --workers 0 --name s_121 --project yolo_person_s
解释
python: 运行命令的 Python 解释器。
./train.py: yolov5 提供的训练脚本，用于训练目标检测模型。
–data ./data/person.yaml: 数据集配置文件的路径，其中 person.yaml 是数据集的配置文件，里面包含了数据集的路径、类别等信息。
–cfg ./models/yolov5s_person.yaml: 模型配置文件的路径，其中 yolov5s_person.yaml 是 yolov5 基于 yolov5s 模型修改后的配置文件，用于适应特定的数据集和任务。
–weights ./weights/yolov5s.pt: 预训练模型权重文件的路径，其中 yolov5s.pt 是 yolov5 基于 yolov5s 模型在 COCO 数据集上预训练的权重文件。
–batch-size 2: 每个批次的图像数量，这里设置为 2。
–epochs 1: 训练的轮数，这里设置为 1，即只训练一轮。
–workers 0: 用于训练的进程数，这里设置为 0，表示不使用多进程加速训练，而是使用单进程进行训练。
–name s_121: 训练的名称，这里设置为 s_121，自动生成的文件夹在project下面,s是因为使用的是s模型，名字而已
–project yolo_person_demo: 训练项目的名称，这里设置为 yolo_person_demo。自动生成yolo_person_demo文件夹
2.5 增加合适的batch size
watch nvidia-smi这条指令可以每两秒钟查看一次显卡的显存使用率。调整合适的batch_size来满足对应的
主要是看Memory-Usage, 增加的倍数是16的倍数，A100是196好像是不记得了
Every 2.0s: nvidia-smi 46f879adf741: Tue May 23 04:18:14 2023
Tue May 23 04:18:14 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.47.03 Driver Version: 510.47.03 CUDA Version: 11.6 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 NVIDIA A40-12Q On | 00000000:00:0B.0 Off | 0 |
| N/A N/A P8 N/A / N/A | 0MiB / 12288MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
2.6 结果出炉
这里只跑了一轮
AutoAnchor: 4.93 anchors/target, 0.999 Best Possible Recall (BPR). Current anchors are a good fit to dataset ✅
Image sizes 640 train, 640 val
Using 0 dataloader workers
Logging results to yolo_person_demo/s_1212
Starting training for 1 epochs...
Epoch gpu_mem box obj cls labels img_size
0/0 0.512G 0.07661 0.1915 0.02485 85 640: 100%|██████████|
Class Images Labels P R mAP@.5 mAP@.5:.95:
all 1000 28423 0.783 0.208 0.201 0.105
1 epochs completed in 0.236 hours.
Optimizer stripped from yolo_person_demo/s_1212/weights/last.pt, 14.4MB
Optimizer stripped from yolo_person_demo/s_1212/weights/best.pt, 14.4MB
Validating yolo_person_demo/s_1212/weights/best.pt...
Fusing layers...
YOLOv5s_person summary: 213 layers, 7023610 parameters, 0 gradients, 15.8 GFLOPs
Class Images Labels P R mAP@.5 mAP@.5:.95:
all 1000 28423 0.784 0.207 0.201 0.105
pedestrians 1000 17833 0.545 0.827 0.8 0.46
riders 1000 185 1 0 0.00518 0.00235
partially-visible persons 1000 9335 0.374 0.208 0.196 0.0584
ignore regions 1000 409 1 0 0.00319 0.0012
crowd 1000 661 1 0 0.00099 0.000297
Results saved to yolo_person_demo/s_1212
最后在yolov5的文件夹中生成了一个yolo_person_demo文件夹，下面是s1212文件夹下面存放着训练的结果。 这里我们设置的是s121, 这里是s1212，是因为第二次运行这个指令了，每次运行建议更改name这个参数
2.7 对训练结果进行可视化
这里使用训练好的结果
tensorboard --logdir=./yolo_person_demo
docker内部打开最简单办法, 点就完事了
2.8 模型的测试
使用detect.py脚本
python detect.py --source ./test.mp4 --weights ./yolo_person_demo/s_120/weights/best.pt --conf-thres 0.3
## 2.9 模型的评估
使用**val.py**脚本
```bash
python val.py --data ./data/person.yaml --weights ./yolo_person_s/s_120/weights/best.pt --batch-size 12
python val.py --data ./data/yolov5s_person.yaml --weights ./weights/yolov5s.pt --batch-size 12
Class Images Labels P R mAP@.5 mAP@.5:.95:
all 1000 28027 0.451 0.372 0.375 0.209
pedestrians 1000 17600 0.738 0.854 0.879 0.608
riders 1000 185 0.546 0.492 0.522 0.256
artially-visible-person 1000 9198 0.461 0.334 0.336 0.125
ignore-regions 1000 391 0.36 0.132 0.116 0.0463
crowd 1000 653 0.152 0.0468 0.0244 0.00841
指标说明
P: 准确率(Precision),检测出的正确目标数除以检测出的总目标数。
R: 召回率(Recall),检测出的正确目标数除以标注的总目标数。
mAP@.5: Mean Average Precision（平均精度均值）在 Intersection over Union（IoU）阈值为 0.5 时的值。mAP 是一种衡量目标检测模型性能的指标，它结合了 Precision 和 Recall。在计算 mAP 时，将 Precision-Recall 曲线下方的面积进行平均。数值越接近 1，表示模型性能越好。
mAP@.5:.95: 这是在 IoU 阈值从 0.5 到 0.95 之间以 0.05 为间隔的范围内计算的 Mean Average Precision。这是一种更严格的评估方法，因为它考虑了不同 IoU 阈值下的性能。数值越接近 1，表示模型性能越好。
Yolo在pedestrians(行人)类别上表现最好,mAP达到0.879。在riders(骑手)和partially-visible-person(部分可见人)上也还不错。
crowd(拥挤场景)和ignore-regions(忽略区域)的性能较差,因为目标比较小且密集难以检测。
mAP@.5较高,说明Yolo在低阈值下的检测性能较好。mAP@.5:.95较低,在高阈值下的性能有待提高。
P和R值都不算很高,说明Yolo的检测结果里面既包含遗漏的目标(R较低),也包含误检目标(P较低)。总体来说性能尚可,但有提高的空间。
2.9 直接使用预先训练的模型测试
因为yolov5的预先训练的模型是在coco大型数据集上训练出来的，也可以直接使用预先训练好的模型直接做预测
python detect.py --weights yolov5s.pt --img 640 --conf 0.4 --source ./zidane.jpg --classes 0
