关于YOLO模型架构中的strides

news2024/11/25 9:31:49

在Ultralytics YOLO模型架构中，m.stride是一个非常关键的属性，用于描述网络在不同尺度（scale）上的空间压缩程度。解释m.stride的原理之前，我们首先要了解深度学习中卷积神经网络（CNN）的基本工作原理。

卷积神经网络（CNN）和Stride

卷积神经网络通过一系列的卷积层、池化层等对输入数据进行处理。在这个过程中，特征图（Feature Map）的空间尺寸逐渐减小，而深度（即特征的数量或通道数）逐渐增加。这种空间尺寸的缩减是通过卷积层的stride和池化层实现的。其中，stride是卷积过程中滤波器（kernel）移动的步长。如果stride大于1，则特征图的空间维度会缩减，有助于增大感受野并减少计算量。

m.stride 在YOLO中的应用

在YOLO的架构中，模型通常会有多个输出尺度，这允许模型能够检测在多个尺度上的物体。这意味着同一幅图像将被处理成不同大小的特征图，以便检测不同大小的物体。m.stride属性就是用来表示这些不同尺度下，输入图像相对于输出特征图的缩减比例。
例如，假设输入图像大小为[3, 640, 640]（通道数, 高度, 宽度），而某一特征图的大小为[255, 20, 20]（通道数, 高度, 宽度），则该特征图的stride可以计算为640 / 20 = 32。这意味着特征图上的每一个单元格，对应原始图像上32x32大小的区域。YOLO模型中的m.stride数组就记录了所有尺度上的这种缩减比例。

参考yolov8-p2.yaml：

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P2-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.33, 0.25, 1024]
  s: [0.33, 0.50, 1024]
  m: [0.67, 0.75, 768]
  l: [1.00, 1.00, 512]
  x: [1.00, 1.25, 512]

# YOLOv8.0 backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2=========80x320x320
  - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4=========160x160x160
  - [-1, 3, C2f, [128, True]]  #2=========160x160x160
  - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8=========320x80x80
  - [-1, 6, C2f, [256, True]]  #4=========320x80x80
  - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16=========640x40x40
  - [-1, 6, C2f, [512, True]] #6=========640x40x40

  - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32=========640x20x20
  - [-1, 3, C2f, [1024, True]] #8=========640x20x20
  - [-1, 1, SPPF, [1024, 5]] # 9=========640x20x20

# YOLOv8.0-p2 head
head:
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]] #10 ========= 640x40x40
  - [[-1, 6], 1, Concat, [1]] #11 cat backbone P4========= 640x40x40+ 640x40x40 = 1280x40x40
  - [-1, 3, C2f, [512]] # 12========= 640x40x40

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]] #13=========640x80x80
  - [[-1, 4], 1, Concat, [1]] #14 cat backbone P3=========640x80x80+ 320x80x80 =960x80x80
  - [-1, 3, C2f, [256]] # 15 (P3/8-small)=========320x80x80

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]] #16 =========320x160x160
  - [[-1, 2], 1, Concat, [1]] #17 cat backbone P2=========320x160x160 + 160x160x160 = 480x160x160
  - [-1, 3, C2f, [128]] # 18 (P2/4-xsmall)=========160x160x160

  - [-1, 1, Conv, [128, 3, 2]] #19=========160x80x80
  - [[-1, 15], 1, Concat, [1]] #20cat head P3=========160x80x80 + 320x80x80 = 480x80x80
  - [-1, 3, C2f, [256]] # 21 (P3/8-small)=========320x80x80

  - [-1, 1, Conv, [256, 3, 2]] #22=========320x40x40
  - [[-1, 12], 1, Concat, [1]] #23 cat head P4=========320x40x40 +  640x40x40 = 960x40x40
  - [-1, 3, C2f, [512]] # 24 (P4/16-medium)=========640x40x40

  - [-1, 1, Conv, [512, 3, 2]] #25=========640x20x20
  - [[-1, 9], 1, Concat, [1]] #26 cat head P5=========640x20x20 + 640x20x20 = 1280x20x20
  - [-1, 3, C2f, [1024]] # 27 (P5/32-large)=========640x20x20

  - [[18, 21, 24, 27], 1, Detect, [nc]] # Detect(P2, P3, P4, P5)

从yaml来看，总共有四个输出，分别是P2, P3, P4, P5，我们就这四个输出来看一下。对于P2，如果输入尺寸是640x640，特征图是160x160x160，根据公式来算，stride应该是：

请添加图片描述 )