论文速读:动态再训练-更新用于无源目标检测的Mean Teacher(ECCV2024)

news2024/11/24 0:34:47

原文标题:Dynamic Retraining-Updating Mean Teacher for Source-Free Object Detection

中文标题:动态再训练-更新用于无源目标检测的Mean Teacher

本篇文章为论文速读,以帮助大家快速了解大意,具体详解可以看这篇分享。ECCV2024新鲜出炉!动态再训练-更新用于无源目标检测的Mean Teacher-CSDN博客本文重点研究了在源域不可用的情况下,域自适应目标检测所面临的挑战。本文探讨了自训练均值教师框架恶化的原因,并提出了相应的改进措施。具体来说,我们引入了动态再训练更新机制来促进学生和教师模型的共同进化。在各种SFOD基准测试中,我们的方法显著提高了自训练范式的稳定性和适应性,实现了甚至可与先进的UDA方法相媲美的最先进性能。https://blog.csdn.net/m0_63294504/article/details/143581604

1Abstract

在目标检测中,无监督域自适应(UDA)的目的是将知识从标记的源域转移到未标记的目标域。 然而,UDA对标记源数据的依赖限制了它在与隐私相关的场景中的适应性。本研究的重点是无源目标检测(SFOD),它使源训练的检测器适应于未标记的目标域,而不使用标记的源数据。最近在自训练方面的进展,特别是Mean Teacher(MT)框架,为SFOD的应用带来了希望。然而,缺乏有源的监督严重损害了这些方法的稳定性。我们确定了两个主要问题,(1)由于来自学生模型的不合时宜的更新而导致教师模型的不可控退化,以及(2)学生模型倾向于在不正确的伪标签上重复犯错,导致其陷入局部最优。这两个因素都造成了有害的循环依赖,导致最近的自训练框架的性能迅速下降。为了应对这些挑战,我们提出了动态再训练更新(DRU)机制,该机制主动管理学生训练和教师更新过程,以实现协同进化训练。此外,我们引入历史学生损失,以减轻不正确伪标签的影响。我们的方法在多个域自适应基准的SFOD设置中实现了最先进的性能,可与先进的UDA方法相媲美甚至超越。

2、Introduction

2.1、无监督域适应面临的挑战

无监督域自适应(Unsupervised Domain Adaptation,UDA)在目标检测中得到了广泛关注,其重点是将知识从源域转移到目标域。UDA方法通常需要同时访问已标记的源数据和未标记的目标数据,以实现跨域的特征对齐。然而,实际场景通常涉及隐私问题,限制对源域数据的访问,从而给UDA带来新的挑战。因此,无源目标检测(Source-Free Object Detection,SFOD)最近成为一个很有前途的研究方向。SFOD旨在使源训练的模型适应未标记的目标域,而不需要访问标记的源数据。

2.2、无源目标检测的瓶颈

在SFOD中,在缺乏有源监督的情况下使用伪标签进行自训练成为惯例。利用Mean Teacher(MT)进行自训练的最新进展显示出了巨大的潜力。这些基于mt的方法采用教师模型来指导学生模型。迭代过程包括通过学生模型的指数移动平均(EMA)权重来更新教师模型,然后使用经过更新的教师模型生成的伪标签来训练学生模型。尽管取得了一些进展,但由于缺乏标记的源数据和域转移引起的噪声伪标签,迭代自训练方法仍然遇到衰退问题。

2.3、自训练退化的原因

我们研究了导致 SFOD 中 MT 框架内自训练恶化的两个因素:(1)教师模型不恰当的更新可能会导致错误累积,因为它不断地从未进化完全的学

生模型中聚合不正确的知识;(2)当教师模型出错并提供不正确的信息时,学生模型会重现这些错误而不进行任何纠正,从而导致陷入局部最优。这两个因素形成了一种有害的循环关系,即教师模型为学生模型提供了不良的指导,而学生模型为教师模型提供了有偏差的知识。由于缺乏有目的的进化,这个循环最终导致自训练范式的毁灭。如图1所示,调整EMA权重或更新间隔并不能完全解决自训练MT框架中的不可控退化问题。此外,寻找用于模型更新的最佳 EMA 超参数非常耗时。

2.4、本文提出的方法

在本研究中,我们提出了动态再训练更新(DRU)方法来解决上述不稳定性.DRU 的概述如图 2 所示。DRU 积极管理学生训练和教师更新流程,以克服当前自训练 MT 范式中固有的有害相互依赖性。

图 2:传统 Mean Teacher (MT) 框架(左)和动态再训练更新 (DRU) 方法(右)的比较。左:在 MT 中,教师模型以固定间隔 m(m >=1)持续更新。右图:在 DRU 中,学生模型会动态重新训练,教师模型会根据预测反馈动态更新。此外,当前学生模型还受到历史学生模型的进一步监督。

具体而言,在学生进化状态反馈的指导下,如果学生陷入局部最优,则动态地对其进行再训练,而教师模型则根据进化和再训练的学生动态更新。

通过这种机制,学生可以摆脱因不准确的伪标签而产生偏差的次优状态,教师可以从进化的学生那里积累有价值的见解,促进训练中的共同进化。此外,我们引入了一个额外的历史学生损失,以减轻由不正确的伪标签引起的快速性能下降。这种损失利用了历史学生模型中的知识,为当前学生提供进一步的监督。在这种损失的额外指导下,学生模型可以减少恶化的教师模型产生的错误伪标签的影响,从而使训练更加稳定。

2.5、本文贡献

通过努力,DRU在各种SFOD场景中实现了最先进的(SOTA)结果,可与先进的UDA方法相媲美甚至超越。大量实验表明,DRU有效地解决了MT框架自训练固有的退化问题,在训练过程中具有显著的稳定性和适应性。我们的贡献可以概括为:

(1)我们探索了MT框架中自训练的退化问题,特别是当与基于transformer的检测器一起使用时,它容易受到域移位的影响。据我们所知,这是第一个基于transformer检测器对SFOD问题的有效性研究。

(2)我们引入动态再训练更新(DRU)方法来解决 MT 框架中观察到的退化问题。DRU主动控制学生训练和教师更新,促进协同进化训练。

(3)我们提出历史学生损失(Historical Student Loss),以防止由噪音伪标签引起的严重性能下降。

(4)在多个基准测试中,与最近的 SFOD 方法相比,我们的 DRU 实现了 SOTA 性能,并超越了几种先进的 UDA 方法。

3、Related Works

3.1、Object Detection

目标检测是计算机视觉中的一项基本任务。多年来,基于 CNN 的检测器引起了广泛的关注。然而,他们依赖于手工设计组件,例如非极大值抑制限制了它们端到端训练的能力。基于 Transformer 的检测器最近出现作为端到端目标检测的替代方案。虽然这些检测器在与训练数据分布一致的数据上表现出鲁棒性,但在面对域转移时它们会出现退化。我们的目标是增强模型对新领域的适应性,而无需注释。在本研究中,我们采用 Deformable DETR 作为我们的基线检测器,因为它的流线型简单性和对迁移学习有适应能力的注意力机制。

3.2、Source-Free Object Detection

引入无源目标检测(Source-Free Object Detection,SFOD)是为了解决涉及隐私问题的适配场景。如果没有源域监督,将现有的UDA方法应用于SFOD可能会导致不理想的结果,在训练过程中容易出现明显的不稳定性。SED代表了通过自熵下降引入伪标签自训练的开创性尝试。A2SFOD将对抗组件集成到MT框架中,以对齐源相似和源不相似图像的特征空间。IRG引入了一种新的由实例关系图网络引导的对比损失来增强目标域表示。为了确保稳定的自我训练,HCL约束当前模型优先考虑与历史模型一致的知识。PETS 提出了一个由静态教师、动态教师和学生模型组成的多教师框架,以解决自训练不稳定性问题。虽然大多数SFOD方法利用MT框架,但它们忽略了学生和教师模型之间必不可少的共同进化,这对于稳定自我训练范式至关重要。 在观察的基础上,我们引入了动态再训练更新方法,通过训练过程来促进学生模型和教师模型的改进。

3.3、Selective Retraining

基于transformer的模型由于参数较多,容易在小的训练集上过度拟合,陷入局部最优。在SFOD中,由于错误的伪标签,这个问题变得更糟。最近的研究表明,再训练为解决这个问题提供了有效的解决方案。MRT 采用MT框架内的周期性再训练,以减轻UDA任务中错误伪标签的影响。然而,它们依赖于标记的源数据来生成最佳的初始化权重。我们提出了一种新的方法,动态地重新训练学生模型,使其在源数据不可用时收敛到更好的局部最小值。

4、Problem Definition

在本节中,我们定义了SFOD的问题形式。令Ds = {(xs, ys)}表示已标记的源域数据,Dt = {xt}表示未标记的目标域数据。其中,x表示图像,y = (b, c)表示包含边界框b和类别c的注释。UDA方法需要标记源数据Ds和未标记目标数据Dt进行适配。相比之下,SFOD设置仅利用源训练模型G(在标记的源数据Ds上训练)和未标记的目标数据Dt进行适应。

5、Conclusion

本文重点研究了在源域不可用的情况下,域自适应目标检测所面临的挑战。本文探讨了自训练均值教师框架恶化的原因,并提出了相应的改进措施。具体来说,我们引入了动态再训练更新机制来促进学生和教师模型的共同进化。此外,我们提出了历史学生损失来减轻噪声伪标签的影响。在各种SFOD基准测试中,我们的方法显著提高了自训练范式的稳定性和适应性,实现了甚至可与先进的UDA方法相媲美的最先进性能。我们希望我们的研究能够提供新的见解,并提高自训练方法在更复杂情况下的有效性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2234845.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

科研绘图系列:R语言带有面积区域的折线图(linechart)

文章目录 介绍加载R包数据画图准备图1图2图3图4图5图6图7图8图9图10合并所有图形系统信息介绍 带有面积区域的折线图通常被称为面积图(Area Chart)。面积图结合了折线图和条形图的特点,通过在折线下方的区域填充颜色或纹理,来展示一个或多个组的数值如何随第二个变量(通常…

Golang--文件操作

1、文件 文件:文件用于保存数据,是数据源的一种 os包下的File结构体封装了对文件的操作(记得包os包) 2、File结构体--打开文件和关闭文件 2.1 打开文件 打开文件,用于读取(函数): 传…

Ubuntu学习笔记 - Day3

文章目录 学习目标:学习内容:学习笔记:vim简介vim键盘图工作模式 vim移动光标操作上下左右移动翻页 vim替换和删除操作替换删除 vim插入模式详解进入模式搜索 vim底行模式操作保存退出行号 学习目标: 一周掌握 Linux基本使用技巧 …

Java中的JDBC的详解

数据库驱动包 Java提出的一套关于数据库操作的接口 各个数据库厂商要把自己的api对接到/适配到jdbc上 程序员只需要掌握一套api就可以操作不同的数据库了 数据库厂商提供的这个原生api适配到jdbc转换程序,称为“数据库驱动包” 1)创建数据源 //1,创…

Apache-Hive数据库使用学习

前期准备 Hadoop-分布式部署(服务全部在线) Mysql-node1节点部署(确认安装正常) apache-hive -node1节点部署(需要与MySQL元数据联动存储) 参考博客: Hadoop Hadoop集群搭建-完全分布式_hadoop完…

【极客兔兔-Web框架Gee详解】Day2 上下文Context

文章目录 一、框架结构二、设计上下文(Context):day2-context/gee/context.go1. 设计Context必要性1.1 接口粒度过细:1.2 缺乏扩展性:2. 代码3. 优势三、路由(Router): day2-context/gee/router.go四、框架入口:day2-context/gee/gee.go1. 代码五、框架使用: day2-context/m…

LeetCode17. 电话号码的字母组合(2024秋季每日一题 59)

给定一个仅包含数字 2-9 的字符串,返回所有它能表示的字母组合。答案可以按 任意顺序 返回。 给出数字到字母的映射如下(与电话按键相同)。注意 1 不对应任何字母。 示例 1: 输入:digits “23” 输出:[“…

DApp开发定制:合约设计与源码搭建支持快速上线

随着区块链技术的飞速发展,去中心化应用(DApp)已经成为区块链生态中不可或缺的一部分。DApp不仅改变了传统互联网应用的运作方式,还通过去中心化的理念和智能合约的支持,赋能了用户和开发者。无论是金融、游戏、社交、…

【C++】手动实现C++ vector容器:深入理解动态数组的工作原理

💯个人主页: 起名字真南 💯个人专栏:【数据结构初阶】 【C语言】 【C】 【OJ题解】 目录 1. 引言2. 实现思路3. vector 容器的代码实现4. 代码详解4.1 构造与析构函数4.2 容量管理4.3 迭代器与访问操作4.4 增删操作 5.测试代码6. 时间和空间复杂度分析7.…

深入探讨钉钉与金蝶云星空的数据集成技术

钉钉报销数据集成到金蝶云星空的技术案例分享 在企业日常运营中,行政报销流程的高效管理至关重要。为了实现这一目标,我们采用了轻易云数据集成平台,将钉钉的行政报销数据无缝对接到金蝶云星空的付款单系统。本次案例将重点介绍如何通过API接…

Appium环境搭建/使用教程(图文超详细)

一,环境依赖JDK和Android SDK搭建 (1) JDK: 下载安装(推荐java8版本,其他版本不兼容,会导致appiumServer启动不了) 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html根据自己的系…

大数据-209 数据挖掘 机器学习理论 - 梯度下降 梯度下降算法调优

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完&am…

模拟实现strcat函数

1.strcat的作用 char * strcat ( char * destination, const char * source ); 作用:将源字符串的附加到目标字符串中。目标字符串中的终止空字符将被源字符串的第一个字符替换,并且在将两个字符串连接形成的新字符串的末尾将包含一个空字符。 destina…

c++多线程QThreadpool调用Python脚本时崩溃报错的解决方案二

问题 还是c Qt多线程调用Python脚本时的问题。使用QthreadPool的方式调用,按照上次的解决方案也可以实现,虽然可能不出现崩溃问题。但是仍然有很大可能会出现死锁。即调入函数后,再无输出,变成一个黑洞… 解决方案 因为我使用的…

知从科技受邀出席ARM日产技术日

10月29日,上海知从科技有限公司受 ARM 之邀,参与了由其主办的日产技术日活动。此次活动在日本神奈川县厚木市的日产技术中心盛大举行,这一活动汇聚了行业内的前沿技术与精英人才,成为科技创新技术交流的重要平台。 知从科技积极参…

设计模式讲解02—责任链模式(Chain)

1. 概述 定义:责任链模式是一种行为型模式,在这个模式中,通常创建了一个接收者对象的链来处理请求,该请求沿着链的顺序传递。直到有对象处理该请求为止,从而达到解耦请求发送者和请求处理者的目的。 解释:责…

Vue项目引入侧边导航栏

Vue项目引入侧边导航栏 侧边导航栏能够非常方便进行信息检索,这一款不错的侧边导航栏:vue-side-catalog,基本上能满足快速检索的需求 安装 官网 首先需要进入** vue-side-catalog**的官网,然后下载对应的源码,下载…

【大数据学习 | kafka】kafka的偏移量管理

1. 偏移量的概念 消费者在消费数据的时候需要将消费的记录存储到一个位置,防止因为消费者程序宕机而引起断点消费数据丢失问题,下一次可以按照相应的位置从kafka中找寻数据,这个消费位置记录称之为偏移量offset。 kafka0.9以前版本将偏移量信…

专业 UI 设计公司:为您开启交互设计新征程

在当今数字化时代,UI设计不仅是产品外观的呈现,更是用户体验的核心组成部分。专业的UI设计公司凭借其深厚的设计底蕴、前沿的设计理念以及丰富的项目经验,能够为企业开启全新的交互设计征程,提升产品的市场竞争力。以下是对一家专…

【神经科学学习笔记】基于分层嵌套谱分割(Nested Spectral Partition)模型分析大脑网络整合与分离的学习总结

一、前言 1.学习背景 最近在学习脑网络分析方法时,笔者偶然读到了一篇发表在Physical Review Letters上的文章,文章介绍了一种名为嵌套谱分割(Nested-Spectral Partition, NSP)的方法,用于研究大脑功能网络的分离和整合特性。 传统的脑网络分…