前言 

YOLOv6 是美团视觉智能部研发的一款目标检测框架，致力于工业应用。论文题目是《YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications》。

本框架同时专注于检测的精度和推理效率，在工业界常用的尺寸模型中：YOLOv6-nano 在 COCO 上精度可达 35.0% AP，在 T4 上推理速度可达 1242 FPS；YOLOv6-s 在 COCO 上精度可达 43.1% AP，在 T4 上推理速度可达 520 FPS。在部署方面，YOLOv6 支持 GPU（TensorRT）、CPU（OPENVINO）、ARM（MNN、TNN、NCNN）等不同平台的部署，极大地简化工程部署时的适配工作。

---

学习资料：

原文地址：YOLOv6: A Single-Stage Object Detection Framework for IndustrialApplications

开源代码：GitHub - meituan/YOLOv6: YOLOv6: a single-stage object detection framework dedicated to industrial applications.

前期回顾： 

【YOLO系列】YOLOv5超详细解读（网络详解）

【YOLO系列】YOLOv4论文超详细解读2（网络详解）

【YOLO系列】YOLOv4论文超详细解读1（翻译 ＋学习笔记）

【YOLO系列】YOLOv3论文超详细解读（翻译 ＋学习笔记）

【YOLO系列】YOLOv2论文超详细解读（翻译 ＋学习笔记）

【YOLO系列】YOLOv1论文超详细解读（翻译 ＋学习笔记）

---

目录

前言 

Abstract—摘要 

一、Introduction—介绍

二、Method—方法 

2.1 Network Design— 网络设计

2.1.1 Backbone—主干网络

2.1.2 Neck—颈部 

2.1.3 Head—头部

2.2 Label Assignment—标签分配

2.3 Loss Functions—损失函数

 2.3.1 Classification Loss—分类损失 

2.3.2 Box Regression Loss— 回归框损失 

2.3.3 Object Loss— 目标损失 

 2.4. Industry-handy improvements—工业界处理改进 

2.4.1 More training epochs—更多的训练epoch

2.4.2 Self-distillation— 自蒸馏

2.4.3 Gray border of images— 图像灰色边界

2.5. Quantization and Deployment—量化和部署

 2.5.1 Reparameterizing Optimizer—重新参数化 

2.5.2 Sensitivity Analysis—敏感度

2.5.3 Quantization-aware Training with Channel-wise Distillation—基于通道蒸馏的量化感知训练

三、Experiments—实验

3.1 Implementation Details—实施细节

3.2 Comparisons—对照实验

3.3 Ablation Study—消融实验

3.3.1 Network— 网络

3.3.2 Label Assignment—标签分配

3.3.3 Loss functions—损失函数

3.4 Industry-handy improvements—工业的便利改进

3.5. Quantization Results—量化结果

3.5.1 PTQ

3.5.2 QAT

四、 Conclusion—结论

Abstract—摘要 

翻译

多年来，YOLO系列一直是高效物体检测的事实上的工业级标准。YOLO社区以压倒性的优势丰富了它在众多硬件平台和丰富场景中的应用。在这份技术报告中，我们努力把它的极限推到一个新的水平，以坚定不移的心态向行业应用迈进。考虑到现实环境中对速度和准确性的不同要求，我们广泛地研究了来自工业界或学术界的最新的物体检测进展。具体来说，我们大量吸收了最近的网络设计、训练策略、测试技术、量化和优化方法的思想。在此基础上，我们整合了我们的想法和实践，建立了一套不同规模的可部署的网络，以适应多样化的用例。在YOLO作者的慷慨许可下，我们将其命名为YOLOv6。我们也表示热烈欢迎用户和贡献者的进一步改进。对于性能的表现，我们的YOLOv6-N在COCO数据集上达到了35.9%的AP，在NVIDIA Tesla T4 GPU上的吞吐量为1234 FPS。YOLOv6-S以495 FPS的速度达到了43.5%的AP，超过了其他相同规模的主流检测器（YOLOv5-S、YOLOX-S和PPYOLOE-S）。我们的量化版本YOLOv6-S甚至在869 FPS时带来了新的最先进的43.3%AP。此外，YOLOv6-M/L也比其他具有类似推理速度的检测器取得了更好的准确性表现（即49.5%/52.3%）。我们仔细进行了实验来验证每个组件的有效性。

---

精读

---

二、Method—方法 

翻译

YOLOv6的重新设计由以下部分组成，网络设计、标签分配、损失函数、数据增强、适合工业界的改进，以及量化和部署：

• 网络设计：Backbone：与其他主流架构相比，我们发现RepVGG[3]骨干网络在推理速度相近的情况下，在小型网络中具备更多的特征表示能力，而由于参数和计算成本的爆炸性增长，它很难被扩展以获得更大的模型。在这方面，我们把RepBlock[3]作为我们小型网络的构建模块。对于大型模型，我们修改了一个更有效的CSP[43]块，名为CSPStackRep块。Neck：YOLOv6的颈部采用了YOLOv4和YOLOv5之后的PAN拓扑结构[24]。我们用RepBlocks或CSPStackRep Blocks来增强颈部，以实现Rep-PAN。Head：我们简化了解耦头，使其更加有效，称为高效解耦头。
• 标签的分配：我们通过大量的实验评估了最近在YOLOv6上的标签分配策略[5, 7, 18, 48, 51]的进展，结果表明TAL[5]更加有效和 训练友好。
• 损失函数：主流anchor-free目标检测器的损失函数包含分类损失、box回归损失和object损失。对于每个损失，我们用所有可用的技术进行了系统的实验，最后选择VariFocal损失[50]作为我们的分类损失，SIoU[8]/GIoU[35]损失作为我们的回归损失。
• 适合工业界的改进：我们引入了更多常见的做法和技巧来提高性能，包括自我蒸馏和更多的训练epoch。对于自蒸馏，分类和回归都分别由教师模型进行监督。回归的蒸馏是由于DFL[20]而实现的。此外，软标签和硬标签的信息比例通过余弦衰减动态下降，这有助于学生在训练过程中的不同阶段选择性地获取知识。此外，我们还遇到了在评估时不添加额外的灰边而导致性能受损的问题，对此我们提供了一些补救措施。我们提供了一些补救措施。
• 量化和部署：为了解决基于重新参数化的模型量化时的性能下降问题，我们用RepOptimizer[2]训练YOLOv6，以获得PTQ友好的权重。我们进一步采用QAT与信道精馏[36]和图优化来追求极致的性能。我们的量化YOLOv6-S以42.3%的AP和869 FPS的吞吐量（批次大小=32）达到了一个新的技术水平。

---

2.1 Network Design— 网络设计

翻译

一个单阶段目标检测器一般由以下部分组成：backbone、neck和head。主干部分主要决定了特征表示能力，同时，由于它承载了很大一部分计算成本，所以它的设计对推理效率有关键影响。neck用于将低层次的物理特征与高层次的语义特征聚合在一起，然后在各个层次建立金字塔特征图。头部由几个卷积层组成，它根据neck集合的多层次特征预测最终的检测结果。从结构上看，它可以分为 anchor-based 和 anchor-free的，或者说是参数耦合头和参数解耦头。

在YOLOv6中，基于硬件友好型网络设计的原则[3]，我们提出了两个可扩展的可重新参数化的骨干和颈部，以适应不同规模的模型，以及一个高效的混合通道策略的解耦头。

精读

• 主干网络：主要决定了特征表示能力  
• 颈部：用于将低级的物理特征与高级的语义特征进行聚合，然后在所有层次上建立金字塔形特征映射
• 头部：由多个卷积层组成，并根据颈部组装的多级特征预测最终检测结果

---

目的

在硬件上达到高效推理的同时，保持较好的多尺度特征融合能力

方法Rep-PAN 基于 PAN拓扑方式，用 RepBlock 替换了 YOLOv5 中使用的 CSP-Block，同时对整体 Neck 中的算子进行了调 整，目的是在硬件上达到高效推理的同时，保持较好的多尺度特征融合能力

---

2.1.3 Head—头部

Efficient decoupled head—高效的解耦头

翻译

高效的解耦头 YOLOv5的检测头是一个耦合头，其参数在分类和定位分支之间共享，而其在FCOS[41]和YOLOX[7]中的同类产品则将这两个分支解耦，并且在每个分支中引入额外的两个3×3卷积层以提高性能。在YOLOv6中，我们采用混合通道策略来建立一个更有效的解耦头。具体来说，我们将中间的3×3卷积层的数量减少到只有一个。头部的宽度由骨干和颈部的宽度乘数共同缩放。这些修改进一步降低了计算成本，以实现更低的推理延迟。

精读

方法

   （1）将中间的3x3卷积层的数量减少为 1

   （2）Head 的尺度和 backbone 及 neck 同大同小

目的

   进一步降低了计算成本，以实现更低的推断延迟。

---

Anchor-free

翻译

Anchor-free Anchor-free检测器因其更好的泛化能力和解码预测结果的简单性而脱颖而出。其后期处理的时间成本大大降低。有两种类型的Anchor-free检测器：基于锚点[7, 41]和基于关键点[16, 46, 53]。在YOLOv6中，我们采用了基于锚点的范式，其回归分支实际上预测了从锚点到box四边的距离。

精读

 不用Anchor-based的原因 

 由于 Anchor-based检测器需要在训练之前进行聚类分析以确定最佳 Anchor 集合，这会一定程度提高检测器的复杂度    在一些边缘端的应用中，需要在硬件之间搬运大量检测结果的步骤，也会带来额外的延时

Anchor-free优点

Anchor-free方案不需要预设参数，同时后处理耗时短

Anchor-free方案有两种

• point-base  ( FCOS)  ——YOLOv6使用的
• keypoint-based  ( CornerNet)

• ---

  2.2 Label Assignment—标签分配

  SimOTA

  翻译

  SimOTA OTA[6]认为物体检测中的标签分配是一个最优传输问题。它从全局的角度为每个ground-truth目标定义了正/负的训练样本。SimOTA[7]是OTA[6]的简化版本，它减少了额外的超参数并保持了性能。在YOLOv6的早期版本中，SimOTA被用作标签分配方法。然而，在实践中，我们发现引入SimOTA会减慢训练过程。而且，陷入不稳定的训练也并不罕见。因此，我们渴望有一个替代SimOTA的方法。

  精读

  介绍

  OTA 将目标检测中的标签分配视为最佳传输问题。它从全局角度为每个真实对象定义了正/负训练样本。

  SimOTA 是 OTA 的简化版本，它减少了额外的超参数并保持了性能。

  步骤

     ①计算成对预测框与真值框代价，由分类及回归loss构成

     ②计算真值框与前k个预测框IoU，其和为Dynamic k；因此对于不同真值框，其Dynamic k存在差异

     ③最后选择代价最小的前Dynamic k个预测框作为正样本

  不足

  SimOTA 会拉慢训练速度，容易导致训练不稳定

• ---

  Task alignment learning—任务对齐学习

• 翻译

  任务对齐学习 任务对齐学习（TAL）最早是在TOOD[5]中提出的，其中设计了一个统一的分类分数和预测框质量的指标。IoU被这个度量所取代，用于分配对象标签。在一定程度上，任务（分类和箱体回归）不一致的问题得到了缓解。

  TOOD的另一个主要贡献是关于任务对齐的头（T-head）。T-head堆叠卷积层以建立交互式特征，在此基础上使用任务对齐预测器（TAP）。PP-YOLOE[45]改进了T-head，用轻量级的ESE注意力取代了T-head中的层注意力，形成ET-head。然而，我们发现ET-head在我们的模型中会降低推理速度，而且没有准确性的提高。

  因此，我们保留了Efficient解耦头的设计。此外，我们观察到TAL比SimOTA能带来更多的性能提升，并且能稳定训练。因此，我们在YOLOv6中采用TAL作为默认的标签分配策略。

• 精读

  介绍

  TAL 是在 TOOD 中被提出的，其中设计了一个【分类得分和定位框质量的统一度量标准】，使用该度量结果代替 IoU 来帮助

  分配标签，有助于解决任务不对齐的问题，且更稳定，效果更好

  步骤

    ①在各个特征层计算gt与预测框IoU及与分类得分乘积作为score，进行分类检测任务对齐

    ②对于每个gt选择top-k个最大的score对应bbox

    ③选取bbox所使用anchor的中心落在gt内的为正样本

    ④若一个anchor box对应多个gt，则选择gt与预测框IoU最大那个预测框对应anchor负责该gt

  效果

     TAL比SimOTA带来更多的性能改善，稳定训练。

• ---

  2.3 Loss Functions—损失函数

   2.3.1 Classification Loss—分类损失 

• 翻译

• 提高分类器的性能是优化检测器的一个关键部分。Focal Loss[22]修改了传统的交叉熵损失，以解决正负样本之间或难易样本之间类别不平衡的问题。为了解决训练和推理之间质量估计和分类的不一致使用问题，质量Focal Loss（QFL）[20]进一步扩展了Focal Loss，对分类分数和分类监督的定位质量进行联合表示。而VariFocal Loss（VFL）[50]则源于Focal Loss[22]，但它对正负样本的处理是不对称的。通过考虑正负样本的不同重要程度，它平衡了来自两个样本的学习信号。Poly Loss[17]将常用的分类损失分解为一系列的加权多项式基数。它在不同的任务和数据集上调整多项式系数，通过实验证明它比交叉熵损失和Focal Loss更好。

  我们在YOLOv6上评估了所有这些高级分类损失，最终采用了VFL[50]。

• 精读

• VariFocal Loss (VFL) ：提出了非对称的加权操作。针对正负样本有不平衡的问题和正样本中不等权的问题，来发现更多有价值的正样本。因此选择 VariFocal Loss 作为分类损失。

  ---

  2.3.2 Box Regression Loss— 回归框损失

  翻译

  回归损失提供了精确定位box边界的重要学习信号。L1损失是早期工作中最初的回归损失。逐渐地，各种精心设计的回归损失涌现出来，如IoU系列损失[8, 11, 35, 47, 52, 52] 和概率损失[20]。

  IoU-系列损失 IoU损失[47]将预测框的四个边界作为一个整体单位进行回归。它被证明是有效的，因为它与评价指标一致。IoU有很多变体，如GIoU[35]、DIoU[52]、CIoU[52]、α-IoU[11]和SIoU[8]等，形成相关损失函数。在这项工作中，我们用GIoU、CIoU和SIoU进行实验。而SIoU被应用于YOLOv6-N和YOLOv6-T，而其他的则使用GIoU。

  概率损失 Distribution Focal Loss（DFL）[20]将连续分布的box位置简化为离散的概率分布。它考虑了数据的模糊性和不确定性，而没有引入任何其他强的先验因素，这有助于提高box的定位精度，特别是当ground-truth boxes模糊时。在DFL的基础上，DFLv2[19]开发了一个轻量级的子网络，以利用分布统计和实际定位质量之间的密切关联，这进一步提高了检测性能。然而，DFL通常比一般的目标框回归多输出17倍的回归值，导致了大量的开销。额外的计算成本大大阻碍了小模型的训练。而DFLv2由于有了额外的子网络，进一步增加了计算负担。在我们的实验中，DFLv2在我们的模型上带来了与DFL相似的 在我们的模型上，DFLv2带来的性能增益与DFL相似。因此，我们 只在YOLOv6-M/L中采用DFL。实验细节可以在可在第3.3.3节中找到。

  精读

  IoU-series Loss— IoU系列损失

  SIoU Loss在小模型上提升明显， GIoU Loss在大模型上提升明显，因此选择SIoU  (for n/t/s)  /GIoU (for m/l) 损失作为回归损失。

  Probability Loss—概率损失

  Distribution Focal Loss (DFL) 和 Distribution Focal Loss (DFL) v2可以带来一定的性能提升，但是对效率影响较大，因此弃用。

  ---

  2.3.3 Object Loss— 目标损失 

  翻译

  物体损失最早是在FCOS[41]中提出的，用于降低低质量bounding boxes的得分，以便在后期处理中过滤掉它们。它也被用于YOLOX[7]，以加速收敛并提高网络精度。作为一个像FCOS和YOLOX一样的anchor-free框架，我们已经在YOLOv6中尝试了object loss。不太幸运的是，它并没有带来很多好的效果。详细情况在第3节中给出。

  精读

  Object loss 首次提出是在 FCOS 中，用于降低 low-quality bbox 的得分，利于在 NMS 中过滤掉， YOLOX 中使用了该 loss 来加 速收敛并提升准确性，但 YOLOv6 中使用同样的方法后并无收益。

  ---

   2.4. Industry-handy improvements—工业界处理改进 

  2.4.1 More training epochs—更多的训练epoch

  翻译

  经验结果表明，随着训练时间的增加，检测器的性能也在不断进步。我们将训练时间从300 epochs延长到400 epochs，以达到一个 更好的收敛性。

  精读

  将训练从300个epochs延长到400个epochs，以达到更好的收敛性。

  效果

  

  YOLOv6-N、T、S在较长时期的训练中，使AP分别提高了0.4%、0.6%和0.5%。

  ---

  2.4.2 Self-distillation— 自蒸馏

  翻译

  为了进一步提高模型的准确性，同时不引入太多的额外计算成本，我们应用经典的知识蒸馏技术，使教师和学生的预测之间的KL-散度最小。我们把老师限定为学生本身，但进行了预训练，因此我们称之为自我蒸馏。请注意，KL-散度通常被用来衡量数据分布之间的差异。然而，在目标检测中有两个子任务，其中只有分类任务可以直接利用基于KL-散度的知识提炼。由于DFL损失[20]的存在，我们也可以在box回归上执行它。知识提炼损失 可以被表述为：

  L KD = KL(p cls t ||p s ) + KL(p t ||p s ),

  其中p cls t和p s分别是教师模型和学生模型的班级预测，相应地p reg t和p reg是盒式回归预测。现在，总体损失s函数被表述为：

  L total = L det + αL KD ,

  其中L det是用预测和标签计算的检测损失。引入超参数α是为了平衡两种损失。在训练的早期阶段，教师的软标签更容易学习。随着训练的继续，学生的表现将与教师相匹配，因此硬标签将更多地帮助学生。在此基础上，我们对α应用余弦权重衰减来动态调整来自硬标签和来自教师的软标签的信息。我们进行了详细的实验来验证YOLOv6的自我蒸馏的效果，这将在第3节讨论。

  精读

  背景

  为了进一步提高模型的准确性，同时不引入太多的额外计算成本，我们应用经典的知识蒸馏技术，使教师和学生的预测之间的KL-散度最小。

  方法

  作者限制教师模型与学生模型网络结构相同，但经过预训练，因此称为自蒸馏。

  归因于DFL损失，回归分支也可使用知识蒸馏，损失函数如式1所示：

  效果

• 仅在分类分支上应用自蒸馏可以提高0.4%的AP
• 在预测框回归任务上执行自蒸馏可以提高0.3%的AP
• 权重衰减的引入自蒸馏使模型可以提高0.6%的AP

---

2.4.3 Gray border of images— 图像灰色边界

翻译

我们注意到，在评价YOLOv5[10]和YOLOv7[42]的实现中的模型性能时，每个图像周围都有一个半截灰色的边框。虽然没有增加有用的信息，但它有助于检测图像边缘附近的物体。这个技巧也适用于YOLOv6。然而，额外的灰色像素显然会降低推理速度。没有灰色边界，YOLOv6的性能就会下降，这也是[10, 42]的情况。我们推测，这个问题与Mosaic增强中的灰边填充有关[1, 10]。为了验证，我们进行了在最后一个epoch中关闭马赛克增强的实验[7]（又称淡化策略）。在这方面，我们改变了灰色边框的面积，并将带有灰色边框的图像直接调整为目标图像的大小。结合这两种策略，我们的模型可以在不降低推理速度的情况下保持甚至提高性能。推理速度。

精读

背景

半截灰色的边框它有助于检测图像边缘附近的物体

方法

   （1）在最后一个epoch中关闭mosaic增强的实验(又称淡化策略)

   （2）改变了灰色边框的面积，并将带有灰色边框的图像直接调整为目标图像的大小

效果

 YOLOv6-N/S/M的最终性能更准确，最终图像尺寸从672减少到640。

---

2.5. Quantization and Deployment—量化和部署

 2.5.1 Reparameterizing Optimizer—重新参数化 

翻译

RepOptimizer[2]在每个优化步骤中提出梯度重新参数化。该技术也能很好地解决了基于再参数化的模型的量化问题。因此，我们以这种方式重建了YOLOv6的重新参数化块，并使用重新优化器对其进行训练，以获得对PTQ友好的权值。特征图的分布很窄（如图4，B.1），这大大有利于量化过程，结果见第3.5.1节。 

精读

（1）RepOptimizer 提出了在每次训练的时候进行梯度重参数化，该方法能够较好的解决基于重参数化的模型。               

（2）YOLOv6 中就使用了 RepOptimizer 用于获得 PTQ-friendly 的权重，其特征的分布是非常狭窄的，能够有利于量化。

---

2.5.2 Sensitivity Analysis—敏感度

翻译

我们通过将量化敏感操作部分转换为浮点计算，进一步提高了PTQ的性能。为了获得灵敏度分布，我们常用了几个指标，即均方误差（MSE）、信噪比（SNR）和余弦相似度。通常，为了进行比较，可以选择输出特征映射（在激活某一层之后）来计算有量化和没有量化的这些度量。作为一种替代方法，它也可以通过开关特定层[29]的量化来计算验证AP。

 我们在使用重新优化器训练的YOLOv6-S模型上计算所有这些指标，并选择前6个敏感层，以浮动形式运行。敏感性分析的完整图表见B.2。

精读