【YOLOv8】用YOLOv8实现数字式工业仪表智能读数(二)

news2024/11/15 7:57:10

上一篇圆形表盘指针式仪表的项目受到很多人的关注，咱们一鼓作气，把数字式工业仪表的智能读数也研究一下。本篇主要讲如何用YOLOV8实现数字式工业仪表的自动读数，并将读数结果进行输出，若需要完整数据集和源代码可以私信。

🍓🍓1.yolov8实现数字型仪表智能读数

🙋🙋2.数字仪表数字识别目标检测

🍋2.1准备数据

🍋2.2模型选择

🍋2.3加载预训练模型

🍋2.4数据组织

🍉🍉3.目标检测训练代码

🍉🍉4.目标检测推理代码

快速通道

整理不易，欢迎一键三连！！！

送你们一条美丽的--分割线--

🍓🍓1.yolov8实现数字型仪表智能读数

首先介绍下数字型仪表的数据集如下所示，包含了各种数字型仪表：

最后实现的效果如下：

从原始数据输入至最后输出仪表读数，共需要3步：

从原始影像中通过目标检测识别出表盘的位置；
基于第一步的结果将表盘的位置切分出来，再进一步通过目标检测识别表盘中的数字；
基于第二步的结果对表盘中的数字进行智能读数。

此篇主要介绍第二步【从切分好的表盘影像中通过目标检测识别出仪表中的数字】

🙋🙋2.数字仪表数字识别目标检测

🍋2.1准备数据

训练数据集共包含141张。部分训练数据如下图所示。

label部分采用YOLO格式的txt文件，格式如下所示：

可视化效果如下：

🍋2.2模型选择

以YOLOv8n为例，模型选择代码如下：

model = YOLO('yolov8n.yaml')  # build a new model from YAML
model = YOLO('yolov8n.pt')  # load a pretrained model (recommended for training)
model = YOLO('yolov8n.yaml').load('yolov8n.pt')  # build from YAML and transfer weights

其中yolov8n.yaml为./ultralytics/cfg/models/v8/yolov8n.yaml，可根据自己的数据进行模型调整，打开yolov8n.yaml显示内容如下：

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect
 
# Parameters
nc: 11 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.33, 0.25, 1024] # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPs
  s: [0.33, 0.50, 1024] # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPs
  m: [0.67, 0.75, 768] # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPs
  l: [1.00, 1.00, 512] # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPs
  x: [1.00, 1.25, 512] # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs
 
# YOLOv8.0n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  - [-1, 3, C2f, [128, True]]
  - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  - [-1, 6, C2f, [256, True]]
  - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
  - [-1, 6, C2f, [512, True]]
  - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
  - [-1, 3, C2f, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]] # 9
 
# YOLOv8.0n head
head:
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 6], 1, Concat, [1]] # cat backbone P4
  - [-1, 3, C2f, [512]] # 12
 
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 4], 1, Concat, [1]] # cat backbone P3
  - [-1, 3, C2f, [256]] # 15 (P3/8-small)
 
  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 12], 1, Concat, [1]] # cat head P4
  - [-1, 3, C2f, [512]] # 18 (P4/16-medium)
 
  - [-1, 1, Conv, [512, 3, 2]]
  - [[-1, 9], 1, Concat, [1]] # cat head P5
  - [-1, 3, C2f, [1024]] # 21 (P5/32-large)
 
  - [[15, 18, 21], 1, Detect, [nc]] # Detect(P3, P4, P5)

主要需要修改的地方为nc，也就是num_class，此处我的输入影像中只有数字0-9再加一个小数点，共11个类别，所以nc=11。

如果其他的模型参数不变的话，就默认保持原版yolov8，需要改造模型结构的大佬请绕行。

🍋2.3加载预训练模型

加载预训练模型yolov8n.pt，可以在第一次运行时自动下载，如果受到下载速度限制，也可以自行下载好（下载链接），放在对应目录下即可。

🍋2.4数据组织

yolov8还是以yolo格式的数据为例，./ultralytics/cfg/datasets/data.yaml的内容示例如下：

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco8  # dataset root dir
train: images/train  # train images (relative to 'path') 4 images
val: images/val  # val images (relative to 'path') 4 images
test:  # test images (optional)
 
# Classes (80 COCO classes)
names:
  0: person
  1: bicycle
  2: car
  # ...
  77: teddy bear
  78: hair drier
  79: toothbrush

此处建议根据自己的数据集设置新建一个shuziyibiao_number.yaml文件，放在./ultralytics/cfg/datasets/目录下，最后数据集设置就可以直接用自己的shuziyibiao_number.yaml文件了。以我的shuziyibiao_number.yaml文件为例：

path: /home/datasets/shuziyibiao_dataset_number  # dataset root dir
train: images/train  # train images (relative to 'path') 4 images
val: images/train  # val images (relative to 'path') 4 images
test:  # test images (optional)
 
names:
  0: 0
  1: 1
  2: 2
  3: 3
  4: 4
  5: 5
  6: 6
  7: 7
  8: 8
  9: 9
  10: point

🍉🍉3.目标检测训练代码

准备好数据和模型之后，就可以开始训练了，train.py的内容显示为：

from ultralytics import YOLO
 
# Load a model
model = YOLO('yolov8n.yaml')  # build a new model from YAML
model = YOLO('yolov8n.pt')  # load a pretrained model (recommended for training)
model = YOLO('yolov8n.yaml').load('yolov8n.pt')  # build from YAML and transfer weights
 
# Train the model
results = model.train(data='shuziyibiao_number.yaml', epochs=100, imgsz=640)

训练完成后的结果如下：

其中weights文件夹内hi包含2个模型，一个best.pth，一个last.pth。

贴上我的训练结果，精度基本都在95%以上。

至此就可以使用best.pth进行推理预测表盘位置了。

🍉🍉4.目标检测推理代码

推理代码如下：

from ultralytics import YOLO
from PIL import Image
import os

model = YOLO('./数字仪表识别weights/weights/best.pt')  # load a custom model
path = '/home/数字仪表/dataset/test/'
img_list = os.listdir(path)
for img_path in img_list:
    im1 = Image.open(os.path.join(path,img_path))
    results = model.predict(source=im1, save=True,save_txt=True)

推理得到的结果包含可视化jpg结果和txt结果，其中txt结果存放在labels文件夹里。

可视化结果如下：