YOLO v8目标检测
数据增强
使用场景：在数据加载器加载数据的过程中会使用到数据增强的相关方法，来构造数据集。模型推理方法进行学习之前首先复习了解图像数据增强的相关方法和步骤。
其中在v8的源代码中 augment.py 的源代码文件。它包含了几个用于数据增强的类和函数。
-
BaseTransform 是一个基类，用于定义图像的变换操作。
-
Compose 是一个组合多个变换操作的类。
-
BaseMixTransform 是一个基类，用于定义图像混合的操作。
-
Mosaic 是一个具体的混合操作类，用于将多个图像组合成一个马赛克图像。
下面的一个图给出了在加载不同数据集的基础上数据增强的执行过程。
其中v8_transforms(dataset, imgsz, hyp, stretch=False)用于对yolo v8网络中的数据集进行图像增强的操作。
pre_transform = Compose(
[
Mosaic(dataset, imgsz=imgsz, p=hyp.mosaic),
CopyPaste(p=hyp.copy_paste),
RandomPerspective(
degrees=hyp.degrees,
translate=hyp.translate,
scale=hyp.scale,
shear=hyp.shear,
perspective=hyp.perspective,
pre_transform=None
if stretch
else LetterBox(new_shape=(imgsz, imgsz)),
),
]
return Compose(
[
pre_transform,
MixUp(dataset, pre_transform=pre_transform, p=hyp.mixup),
Albumentations(p=1.0),
RandomHSV(hgain=hyp.hsv_h, sgain=hyp.hsv_s, vgain=hyp.hsv_v),
RandomFlip(direction="vertical", p=hyp.flipud),
RandomFlip(direction="horizontal", p=hyp.fliplr, flip_idx=flip_idx),
]
) # transforms
Mosaic data augmentation
图像增强的常见方式就包括了图像的裁剪，图像的随机水平翻转，图像的对比度改变的一些常见的策略。
在v3-spp v4 和 v5中都使用到了Mosaic图像增强的策略。
本质上是将多张图片拼接在一起进行训练的图像增强方式。
- 增加数据的多样性
- 增加目标个数
- BN能一次性统计多张图片的参数（输入的batchsize变大的过程）
Random affine
优化策略：进行随机的仿射变换。(Rotation, Scale, Translation and Shear)旋转、缩放、平移、侧切。
但根据配置文件里的超参数发现只使用了Scale和Translation即缩放和平移。
MixUp
MixUp，就是将两张图片按照一定的透明度融合在一起
之前在学习opencv的过程中使用到了猫狗图片的融合操作，mixup这种数据增强的策略与融合操作类似。
Albumentations，
主要是做些滤波、直方图均衡化以及改变图片质量等等，代码里写的只有安装了albumentations包才会启用，但在项目的requirements.txt文件中albumentations包是被注释掉了的，所以默认不启用。
Augment HSV
Augment HSV(Hue, Saturation, Value)，随机调整色度，饱和度以及明度。
Letterbox
Letterbox 图像填充是一种在保持原始图像宽高比的同时调整图像大小的技术
可以使用 Letterbox 方法作为一种方式来适配图像以进行方形推理（Square Inference）或矩形推理（Rectangular Inference）
- 方形推理
为了适配非正方形的图像到这些模型，可以使用 Letterbox 方法，在图像的上下或左右添加灰色边框，使其成为正方形。这样做保留了原始图像的宽高比，防止了图像的扭曲
- 矩形推理
可以用来调整图像大小到适合模型的矩形尺寸，同
时保持原始图像的宽高比。这通常涉及在图像的某一边（通常是上下）添加边框。
模型预测执行过程
在演示断点调试的时候，在模型的预热方法时记得进入函数内部执行依次前向传播的过程。在非极大值抑制之前得到84个结果。
在自己调试的过程中使用矩形推理得到的不一定时80x80的方形预测特征层。
