YOLOv9/YOLOv8算法改进【NO.128】使用ICCV2023超轻量级且高效的动态上采样器（ DySample）改进yolov8中的上采样

news2024/12/24 3:14:40

前言
YOLO算法改进系列出到这，很多朋友问改进如何选择是最佳的，下面我就根据个人多年的写作发文章以及指导发文章的经验来看，按照优先顺序进行排序讲解YOLO算法改进方法的顺序选择。具体有需求的同学可以私信我沟通：

首推，是将两种最新推出算法的模块进行融合形成最为一种新型自己提出的模块然后引入到YOLO算法中，可以起个新的名字，这种改进是最好发高水平期刊论文。后续改进将主要教大家这种方法，有需要的朋友可私信我了解。

第一，创新主干特征提取网络，将整个Backbone改进为其他的网络，比如这篇文章中的整个方法，直接将Backbone替换掉，理由是这种改进如果有效果，那么改进点就很值得写，不算是堆积木那种，也可以说是一种新的算法，所以做实验的话建议朋友们优先尝试这种改法。

第二，创新特征融合网络，这个同理第一，比如将原yolo算法PANet结构改进为Bifpn等。

第三，改进主干特征提取网络，就是类似加个注意力机制等。根据个人实验情况来说，这种改进有时候很难有较大的检测效果的提升，乱加反而降低了特征提取能力导致mAP下降，需要有技巧的添加。

第四，改进特征融合网络，理由、方法等同上。

第五，改进检测头，更换检测头这种也算个大的改进点。

第六，改进损失函数，nms、框等，要是有提升检测效果的话，算是一个小的改进点，也可以凑字数。

第七，对图像输入做改进，改进数据增强方法等。

第八，剪枝以及蒸馏等，这种用于特定的任务，比如轻量化检测等，但是这种会带来精度的下降。

...........未完待续

一、创新改进思路或解决的问题

💡💡💡DySample，这是一款超轻量级且高效的动态上采样器。

二、基本原理

原文：[2204.00826] Online Convolutional Re-parameterization (arxiv.org)

代码：GitHub - OSVAI/KernelWarehouse: The official project website of "KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution" (KW for short)

摘要：DySample，这是一款超轻量级且高效的动态上采样器。虽然最近基于内核的动态上采样器（如 CARAFE、FADE 和 SAPA）的性能提升令人印象深刻，但它们引入了大量工作负载，这主要是由于耗时的动态卷积和用于生成动态内核的额外子网。此外，对FADE和SAPA的高分辨率功能指导的需求在某种程度上限制了它们的应用场景。为了解决这些问题，我们绕过了动态卷积，从点采样的角度制定了上采样，这更节省资源，并且可以通过 PyTorch 中的标准内置函数轻松实现。我们首先展示了一个朴素的设计，然后演示了如何逐步加强其上采样行为，以达到我们的新上采样器 DySample。与之前基于内核的动态上采样器相比，DySample 不需要定制的 CUDA 包，参数、FLOP、GPU 内存和延迟要少得多。除了轻量级特性外，DySample 在五项密集预测任务中的表现优于其他上采样器，包括语义分割、对象检测、实例分割、全景分割和单目深度估计。