深度学习YOLOv5车辆颜色识别检测 - python opencv 计算机竞赛

文章目录

1 前言
2 实现效果
3 CNN卷积神经网络
4 Yolov5
6 数据集处理及模型训练
5 最后

1 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 **基于深度学习YOLOv5车辆颜色识别检测 **

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🥇学长这里给一个题目综合评分(每项满分5分)

难度系数：3分
工作量：3分
创新点：4分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

2 实现效果

在这里插入图片描述

3 CNN卷积神经网络

卷积神经网络(CNN)，是由多层卷积结构组成的一种神经网络。卷积结构可以减少网络的内存占用、参数和模型的过拟合。卷积神经网络是一种典型的深度学习算法。广泛应用于视觉处理和人工智能领域，特别是在图像识别和人脸识别领域。与完全连接的神经网络相比，CNN输入是通过交换参数和局部感知来提取图像特征的图像。卷积神经网络是由输入层、卷积层、池化层、全连接层和输出层五层结构组成。其具体模型如下图所示。
在这里插入图片描述

(1)输入层(Input
layer)：输入层就是神经网络的输入端口，就是把输入传入的入口。通常传入的图像的R，G，B三个通道的数据。数据的输入一般是多维的矩阵向量，其中矩阵中的数值代表的是图像对应位置的像素点的值。

(2)卷积层(Convolution layer)：卷积层在CNN中主要具有学习功能，它主要提取输入的数据的特征值。

(3)池化层(Pooling
layer)：池化层通过对卷积层的特征值进行压缩来获得自己的特征值，减小特征值的矩阵的维度，减小网络计算量，加速收敛速度可以有效避免过拟合问题。

(4)全连接层(Full connected
layer)：全连接层主要实现是把经过卷积层和池化层处理的数据进行集合在一起，形成一个或者多个的全连接层，该层在CNN的功能主要是实现高阶推理计算。

(5)输出层(Output layer)：输出层在全连接层之后，是整个神经网络的输出端口即把处理分析后的数据进行输出。

cnn卷积神经网络的编写如下，编写卷积层、池化层和全连接层的代码

conv1_1 = tf.layers.conv2d(x, 16, (3, 3), padding='same', activation=tf.nn.relu, name='conv1_1')
conv1_2 = tf.layers.conv2d(conv1_1, 16, (3, 3), padding='same', activation=tf.nn.relu, name='conv1_2')
pool1 = tf.layers.max_pooling2d(conv1_2, (2, 2), (2, 2), name='pool1')
conv2_1 = tf.layers.conv2d(pool1, 32, (3, 3), padding='same', activation=tf.nn.relu, name='conv2_1')
conv2_2 = tf.layers.conv2d(conv2_1, 32, (3, 3), padding='same', activation=tf.nn.relu, name='conv2_2')
pool2 = tf.layers.max_pooling2d(conv2_2, (2, 2), (2, 2), name='pool2')
conv3_1 = tf.layers.conv2d(pool2, 64, (3, 3), padding='same', activation=tf.nn.relu, name='conv3_1')
conv3_2 = tf.layers.conv2d(conv3_1, 64, (3, 3), padding='same', activation=tf.nn.relu, name='conv3_2')
pool3 = tf.layers.max_pooling2d(conv3_2, (2, 2), (2, 2), name='pool3')
conv4_1 = tf.layers.conv2d(pool3, 128, (3, 3), padding='same', activation=tf.nn.relu, name='conv4_1')
conv4_2 = tf.layers.conv2d(conv4_1, 128, (3, 3), padding='same', activation=tf.nn.relu, name='conv4_2')
pool4 = tf.layers.max_pooling2d(conv4_2, (2, 2), (2, 2), name='pool4')

flatten = tf.layers.flatten(pool4)
fc1 = tf.layers.dense(flatten, 512, tf.nn.relu)
fc1_dropout = tf.nn.dropout(fc1, keep_prob=keep_prob)
fc2 = tf.layers.dense(fc1, 256, tf.nn.relu)
fc2_dropout = tf.nn.dropout(fc2, keep_prob=keep_prob)
fc3 = tf.layers.dense(fc2, 2, None)

4 Yolov5

简介

我们选择当下YOLO最新的卷积神经网络YOLOv5来进行火焰识别检测。6月9日，Ultralytics公司开源了YOLOv5，离上一次YOLOv4发布不到50天。而且这一次的YOLOv5是完全基于PyTorch实现的！在我们还对YOLOv4的各种高端操作、丰富的实验对比惊叹不已时，YOLOv5又带来了更强实时目标检测技术。按照官方给出的数目，现版本的YOLOv5每个图像的推理时间最快0.007秒，即每秒140帧（FPS），但YOLOv5的权重文件大小只有YOLOv4的1/9。

目标检测架构分为两种，一种是two-stage，一种是one-stage，区别就在于 two-stage 有region
proposal过程，类似于一种海选过程,网络会根据候选区域生成位置和类别，而one-stage直接从图片生成位置和类别。今天提到的 YOLO就是一种
one-stage方法。YOLO是You Only Look Once的缩写,意思是神经网络只需要看一次图片，就能输出结果。YOLO
一共发布了五个版本，其中 YOLOv1 奠定了整个系列的基础，后面的系列就是在第一版基础上的改进，为的是提升性能。

YOLOv5有4个版本性能如图所示：
在这里插入图片描述

网络架构图

在这里插入图片描述

YOLOv5是一种单阶段目标检测算法，该算法在YOLOv4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。主要的改进思路如下所示：

输入端

在模型训练阶段，提出了一些改进思路，主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；

Mosaic数据增强
：Mosaic数据增强的作者也是来自YOLOv5团队的成员，通过随机缩放、随机裁剪、随机排布的方式进行拼接，对小目标的检测效果很不错
在这里插入图片描述

基准网络

融合其它检测算法中的一些新思路，主要包括：Focus结构与CSP结构；

Neck网络

在目标检测领域，为了更好的提取融合特征，通常在Backbone和输出层，会插入一些层，这个部分称为Neck。Yolov5中添加了FPN+PAN结构，相当于目标检测网络的颈部，也是非常关键的。

在这里插入图片描述

FPN+PAN的结构
在这里插入图片描述
这样结合操作，FPN层自顶向下传达强语义特征（High-Level特征），而特征金字塔则自底向上传达强定位特征（Low-
Level特征)，两两联手，从不同的主干层对不同的检测层进行特征聚合。

FPN+PAN借鉴的是18年CVPR的PANet，当时主要应用于图像分割领域，但Alexey将其拆分应用到Yolov4中，进一步提高特征提取的能力。

Head输出层

输出层的锚框机制与YOLOv4相同，主要改进的是训练时的损失函数GIOU_Loss，以及预测框筛选的DIOU_nms。

对于Head部分，可以看到三个紫色箭头处的特征图是40×40、20×20、10×10。以及最后Prediction中用于预测的3个特征图：

①==>40×40×255

②==>20×20×255

③==>10×10×255

在这里插入图片描述

相关代码

class Detect(nn.Module):
  stride = None  # strides computed during build
  onnx_dynamic = False  # ONNX export parameter
    
  def __init__(self, nc=80, anchors=(), ch=(), inplace=True):  # detection layer
      super().__init__()
      self.nc = nc  # number of classes
      self.no = nc + 5  # number of outputs per anchor
      self.nl = len(anchors)  # number of detection layers
      self.na = len(anchors[0]) // 2  # number of anchors
      self.grid = [torch.zeros(1)] * self.nl  # init grid
      self.anchor_grid = [torch.zeros(1)] * self.nl  # init anchor grid
    self.register_buffer('anchors', torch.tensor(anchors).float().view(self.nl, -1, 2))  # shape(nl,na,2)
      self.m = nn.ModuleList(nn.Conv2d(x, self.no * self.na, 1) for x in ch)  # output conv
      self.inplace = inplace  # use in-place ops (e.g. slice assignment)
    
  def forward(self, x):
      z = []  # inference output
      for i in range(self.nl):
        x[i] = self.m[i](x[i])  # conv
          bs, _, ny, nx = x[i].shape  # x(bs,255,20,20) to x(bs,3,20,20,85)
          x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()
    

          if not self.training:  # inference
              if self.onnx_dynamic or self.grid[i].shape[2:4] != x[i].shape[2:4]:
                  self.grid[i], self.anchor_grid[i] = self._make_grid(nx, ny, i)
    
              y = x[i].sigmoid()
              if self.inplace:
                  y[..., 0:2] = (y[..., 0:2] * 2 - 0.5 + self.grid[i]) * self.stride[i]  # xy
                  y[..., 2:4] = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
              else:  # for YOLOv5 on AWS Inferentia https://github.com/ultralytics/yolov5/pull/2953
                xy = (y[..., 0:2] * 2 - 0.5 + self.grid[i]) * self.stride[i]  # xy
                  wh = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
                y = torch.cat((xy, wh, y[..., 4:]), -1)
              z.append(y.view(bs, -1, self.no))
    
      return x if self.training else (torch.cat(z, 1), x)

  def _make_grid(self, nx=20, ny=20, i=0):
      d = self.anchors[i].device
      if check_version(torch.__version__, '1.10.0'):  # torch>=1.10.0 meshgrid workaround for torch>=0.7 compatibility
          yv, xv = torch.meshgrid([torch.arange(ny).to(d), torch.arange(nx).to(d)], indexing='ij')
      else:
          yv, xv = torch.meshgrid([torch.arange(ny).to(d), torch.arange(nx).to(d)])
      grid = torch.stack((xv, yv), 2).expand((1, self.na, ny, nx, 2)).float()
      anchor_grid = (self.anchors[i].clone() * self.stride[i]) \
          .view((1, self.na, 1, 1, 2)).expand((1, self.na, ny, nx, 2)).float()
      return grid, anchor_grid