【RT-DETR有效改进】带你分析如何确定改进的基础模型，解决模型无法收敛精度很差的问题(ResNet官方一比一复现)

news2024/11/18 14:02:22

一、本文介绍

Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。

其次我也将RT-DER的官方版本ResNet18、ResNet34、ResNet50、ResNet101集成在ultralytics仓库（不同于现在仓库里更新的R50和R101我是根据RT-DETR官方的代码一比一移植过来的参数量基本保持一致，网上发的都是ResNet的本身，但这和RT-DETR官方实验的版本其实是有很大的出入的）所以从今天开始正式开始更新RT-DETR的改进了，下面来教大家选取自己的baseline也就是你改进的基础模型，后面会说到如何解决模型为何不收敛的问题，以及我用我复现模型训练的结果。

本专栏旨在打造全网最好的RT-DETR专栏！

一、本文介绍

二、RT-DETR发表论文的方向

三、Baseline的选择

四、模型无法收敛的问题

五、专栏链接

二、RT-DETR发表论文的方向

开始之前先来给大家聊一下RT-DETR发论文的方向，我们发论文的两个大方向一个就是轻量化另一个就是提高mAP精度，针对于RT-DETR这个模型我认为其无论选取这两个方向的任意一个都是非常好的选择，但总有一个更容易，我下面分别来讲一下。

选择轻量化的理由(十分推荐)：RT-DETR的模型都是非常大的，其最小的版本RT-DETR-R18都有2kw的参数量GFLOPs达到了60，这是一个非常大的参数了，我们如果想在其基础上做一个轻量化的操作，我们拿市面上的任意一个主干基本上都可以减少其参数量，所以我认为如果大家想在RT-DETR领域发一遍论文轻量化是一个非常好的选择，尤其是在一些实时检测领域上。

提高mAP精度的理由(推荐)：从RT-DETR的实验对比上来看，其精度其实是不如YOLO系列的，所以我们就有很多的借鉴模块来使用，来提高mAP，不过提高mAP肯定不如轻量化的方向毕竟其打的旗号就是在实时检测领域超越YOLO的存在。

其它方向就不介绍了，我觉得都不如这两个好发。

三、Baseline的选择

下面来给大家说一下如何选取你的baseline

第一考虑的肯定是大家的算力，RT-DETR的模型非常大，我移植到ultralytics仓库的R18版本RT-DETR参数量基本和官方一致为2kw但GFLOps稍微有点差别为58.6和官方差了1.4(为YOLO版本自带的误差）。

（此版本大家在网上任意一个地方都找不到为我本人按照官方的内容一比一移植过来的）

上面说到了算力，我自己的电脑是3070-8G的显卡跑R18只能跑到4batch_size，如果更高的版本我的batch_size就需要往下降低。

然后先讲解我们选择Baseline的两个大的方向一个是ResNet版本，另一个是PPHGNetV2版本的，这里我建议大家选择的是ResNet版本，我来说一下理由

ResNet好像是2015年提出的，其效果早已被如今的各种网络模型超越，所以其改进空间非常大，无论是从轻量化的角度还是提高精度的角度出发都更容易一些。

PP-HGNetV2是百度今年新提出来的网络模型，其无论是精度还是成熟度上都已经很完美了，如果大家选择这个可能就会陷入像YOLOv8一样提高精度和轻量化都不好做，所以我推荐的是ResNet系列的版本(个人见解)。

我们再来说一下ResNet的多个版本。

其中首先pass掉的就是R101了模型太大改进成本太高了。

其次是R18、R34、R50。

一开始我想推荐R50了但是觉得其不如R18首先R18作为最基础版本的模型，其精度远不如哪几个，然后其参数量也是一个绝大多数人可以接受的范围内2kw和计算量60GFLOPs，所以我个人推荐的就是最基础的R18版本，其可以被绝大多数人接受的同时也更能容易改进，同时现在ultralytics仓库里面还没有集成ResNet18(这也是因素之一)，如果大家和我学习改进的话就相当于快人一步了，下面给大家看一下完整网络结构的打印。

四、模型无法收敛的问题

这里再给大家说一下大家训练模型不拟合的问题是因为有些参数没有按照官方版本的进行设置，因为 ultralytics首先是要为了YOLO系列服务的，而RT-DETR对于参数是非常的敏感的其有一些代码设置的也和YOLO系列相不符合，所以现在的ultralytics仓库的RT-DETR只能说有了RT-DETR的外壳内部确是不符的，所以这些问题导致大家训练模型不能够拟合，无论怎么换数据集效果都一样。

所以想要学习RT-DETR的您可以关注本专栏(我会教大家如何调参数，然后修改模型中的代码适配RT-DETR还原RT-DETR的环境)，相信本专栏一定会让您有所收获，本专栏本次旨在打造全网最好的RT-DETR专栏，订阅专栏之后您也可以像我的YOLOv8用户一样获得官方的交流群和完整的项目文件(包含我所有的改进机制，均可完美运行)，以及我的视频讲解教大家一些发论文过程种我本人的各种经验。

下面是按照我修改完以后RT-DETR模型的拟合图片，这还仅仅是R18的版本，所以想要和我学习RT-DETR发论文的读者可以关注一下本专栏的动态。