论文：Learning Multiple Adverse Weather Removal via Two-stage Knowledge Learning and Multi-contrastive Regularization: Toward a Unified Model【通过两阶段知识学习多种不利天气排除】

论文下载地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Chen_Learning_Multiple_Adverse_Weather_Removal_via_Two-Stage_Knowledge_Learning_and_CVPR_2022_paper.pdf

项目地址：fingerk28/Two-stage-Knowledge-For-Multiple-Adverse-Weather-Removal: [CVPR 2022] Learning Multiple Adverse Weather Removal via Two-stage Knowledge Learning and Multi-contrastive Regularization: Toward a Unified Model (github.com)

目录

1、Introduction【介绍】

2.Related Works【相关工程】

2.1Adverse Weather Removal【恶劣天气排除】

3.Proposed Method【建议方法】

3.1Problem Formulation【问题制定】

3.2Two-stage Knowledge Learning【两阶段知识学习】

3.3Collaborative Knowledge Transfer【合作知识转移CKF】

---

摘要

        本文研究了一个多重不利天气去除的不适定问题。我们的目标是训练一个具有“统一”架构和一组预训练权重的模型，这些权重可以同时应对多种不利天气，如雾霾、雪和雨。为此，提出了一种基于多师生架构的两阶段知识学习机制，包括知识整理（KC）和知识考试（KE）。在KC，学生网络旨在从多个训练有素的教师网络中学习全面的恶劣天气排除问题，每个教师网络都在专门处理特定的恶劣天气排除问题。为了完成这一过程，提出了一种新的协作知识转移方法。在KE中，学生模型在没有教师网络的情况下进行训练，并通过由地面实况导出的具有挑战性的像素损失进行检查。此外，为了提高我们的训练框架的性能，提出了一种新的损失函数，称为多对比知识正则化(MCR)损失。在几个数据集上的实验表明，我们的学生模型可以同时在不同的恶劣天气清除任务上取得有希望的结果。

1、Introduction【介绍】

        恶劣天气，如雾霾、雨、雪和粘附雨滴是我们日常生活中常见的现象。它通常会降低图像的可见性，并降低高级视觉应用程序（例如，对象检测和语义分割）的性能。为了解决这个问题，在过去的几十年里，人们对几种恶劣天气恢复算法进行了广泛的探索，如去噪、去噪、除雾和一体式恶劣天气去除。尽管这些方法实现了有希望的性能，但由于扩展成本高，在监控系统、自动驾驶汽车系统或边缘设备等现实应用中部署不利天气消除仍然存在限制。具体而言，现有的方法无法同时解决统一架构或一组预先训练的权重中的几种天气类型。在现实世界中，处理各种天气类型是不可避免的。如图1所示

 图1：现有恶劣天气消除算法概述。我们提出的方法可以在综合恶劣天气排除问题中取得有希望的性能，而无需推理阶段的额外成本。

方法可能有几个局限性，我们总结它们如下：

(i)单一天气去除算法：对于大多数单一天气去除方法来说，尽管它们在特定天气下可以取得有希望的结果，但由于没有考虑它们的特征，它们在其他类型的天气上的性能可能有限。因此，在现实世界的应用中，系统需要首先确定天气类型，然后选择相应的不利天气恢复方法。

(ii)多重退化去除算法：最近的一些研究旨在通过单一框架解决多重退化问题。尽管如此，它们通常需要几组预先训练过的重量来进行各种降解。它要求网络根据天气类型采用不同的预训练权重，这既麻烦又低效。

(iii)一体式恶劣天气排除方法：近年来，一体式恶劣气候排除模式引起了相当大的关注，因为它可以处理通过使用神经结构搜索（NAS）技术。尽管这种方法可以在各种类型的恶劣天气下取得令人鼓舞的性能，但它存在模型效率低下的问题。具体而言，如果模型需要解决更多类型的天气，则该方法的模型大小可能会显著增加，因为需要更多的特征提取器。

        对于真实世界的室外系统，恢复模型应该能够在没有额外成本的情况下扩展到其他天气类型，同时可以实现良好的重建性能。为了实现这一目标，在知识蒸馏的启发下，我们提出了一种基于两阶段知识学习过程的恶劣天气去除新方法，包括知识整理（KC）和知识考试（KE）。对于前一阶段，几个训练有素的教师模型通过所提出的协作知识转移（CKT）技术引导“不成熟”的学生模型整合和学习各种天气类型的知识。CKT由渐进特征投影和双向特征匹配组成，以解决多个不利天气去除网络的知识转移问题。这两种机制可以约束和改进公共特征空间中的特征学习过程。对于后一阶段，目标是通过在具有挑战性的约束条件下进行检查，提高“成熟”学生网络的稳健性，以进行全面的天气排除。此外，为了增强鲁棒性，开发了多对比正则化（MCR）来优化通过提高学生网络的辨别能力适用于不同的天气类型。

        本文的贡献总结如下：

• 提出了一种基于两阶段知识学习的综合恶劣天气去除新方法。在测试阶段，网络可以处理具有统一架构和一组预先训练的参数的不同天气去除问题。
• 提高拟议培训的绩效，设计了协作知识转移CKT【collaborative knowledge transfer.】和多对比正则化MCR【multi-contrastive regularization】。
• 进行了大量实验，以验证所提出的训练方案可以同时在几种不利天气类型上取得有希望的结果。

2.Related Works【相关工程】

2.1Adverse Weather Removal【恶劣天气排除】

        有几种针对恶劣天气的图像恢复算法，包括去噪、去雾/去雾、去雾、多重退化去除和一体化
策略。

        单一天气排除。我们简要介绍不同的单一天气清除方法。

• 对于雾霾去除，Qu等人提出了一种基于GAN的增强Pix2pix网络来生成无雾霾图像。
• Dong等人开发了密集特征融合来重建缺失的空间信息。
• Wu等人采用了对比正则化学习技术和动态特征增强模块来去除雾霾。
• 对于雨水去除，Li等人采用递归网络来捕捉雨带信息。
• Yang等人开发了深度神经网络来联合学习雨带的强度和位置。
• Deng等人提出了DRD网络，该网络由降雨残差网络和详细的修复网络组成。
• Quan等人提出了一种基于NAS的体系结构，可以同时处理雨带和雨滴。
• 对于除雪，Liu等人采用Inception-v4模型构建了一个名为DesnowNet的两阶段除雪网络。
• Chen等人提出了一种联合尺寸和透明度的除雪工艺，以处理不透明度和各种尺寸的雪粒。
• Jaw等人提出将高级语义特征和其他特征图相结合来处理除雪问题。
• Chen等人将双树小波变换引入了一个名为HDCW-Net的网络，用于雪信息检索。

        尽管上述工作取得了可喜的进展在特定天气类型上的表现，在其他类型的不利天气上可能不会产生好的结果 。

        多重降解去除。

• Zou等人提出了一个统一的框架，该框架由一个名为“分离批判”的判别网络和一个交叉L1损失函数组成。
• Zamir等人提出了一种称为MPRNet的多阶段策略图像恢复网络，该网络采用注意力模块，用于细化每个阶段。
• Pan等人提出了一种通用架构，该架构侧重于在并行分支中同时估计结构和细节。

        尽管这些策略在具有统一框架的各种天气类型中可以获得令人鼓舞的结果，他们需要几组预先训练的权重来处理不同的天气类型。

        一体式恶劣天气排除。

• Li等人提出了一种基于NAS架构的端到端训练方案，用于从不同天气类型的多个编码器中搜索关键特征。然后，通过分类对抗性学习对重建的图像进行优化，以生成用于各种天气类型的鲁棒网络。

        尽管这种方法在几种天气类型中可以取得令人鼓舞的结果，当它需要处理更多的天气类型时模型尺寸迅速增加，它们需要自己的编码器。

        知识提炼与对比学习。
        知识提炼（KD）是通过师生架构将大型教师模型的知识转移到较小的学生网络中。这一想法得到了扩展，使用从教师那里提取的中间表示来帮助学生网络的训练过程。KD模型在对象检测、语义分割和图像恢复等几个主题上取得了令人鼓舞的结果。对比学习在图像检索、ReID、图像分类和人脸识别等计算机视觉任务中引起了极大的关注。其关键思想是使阳性样本以及被对比损失排斥的阴性样本具有吸引力。

3.Proposed Method【建议方法】

3.1Problem Formulation【问题制定】

        在这项工作中，我们的目标是通过统一的架构和一组预先训练的权重来解决多重不利天气消除问题。受KD的启发，我们提出了一种训练方案，该方案可以将知识从专门用于各种天气排除问题的多个教师模型协同转移到学生模型。其细节如下。给定K个训练有素的教师模型

 ，每个模型都执行特定的天气消除任务。让Wi成为Ti模型处理的天气类型。我们进一步假设，

以防止模型失去通用性。所提出的方法旨在训练一个紧凑的模型，该模型可以在测试阶段在统一的架构中解决综合恶劣天气去除问题。也就是说，该模型可以去除

中的K种恶劣天气。这项任务很有挑战性，因为模型应该同时包含几种天气类型的知识。此外，可以在不增加模型成本的情况下保持性能。我们在以下小节中说明了所提出的策略。

3.2Two-stage Knowledge Learning【两阶段知识学习】

        现有的基于KD通常利用经过清晰的图像培训的教师网络，并将知识转移到接受过单一天气退化训练的学生网络中。然而，在多天气情况下，由于缺乏适当的指导，学生网络无法了解不同天气类型的判别特征，因此性能可能受到限制。为了解决这个问题，如图所示。2，我们提出了一个两阶段的知识学习方案，如下所示。

图2:用于消除不利天气的拟议方法的架构。它由两个阶段组成：KC和KE。在KC中，学生网络由几个教师网络和一个学生网络训练，通过CKT投影它们的特征进行共同特征学习。在KE中，学生网络在没有教师网络指导的情况下进行训练。

        Knowledge Collation 【知识整理（KC）】
        在KC，有几个训练有素的教师网络和一个学生网络。每个教师网络专门用于一次天气排除，学生网络旨在学习和整理教师的知识，以实现全面的天气排除。在每个时代，学生网络都同时与不同的教师网络进行训练。由于学生网络在现阶段无法模仿来自基本事实的完美表示，我们建议进行更容易的正则化，即损失计算基于教师网络预测的结果。而且为了稳健地完成知识转移，我们提出了一种称为协作知识转移的新技术，该技术在第3.3小节中介绍。

        Knowledge Examination【知识考试（KE）】
        在KC之后，我们可以假设学生网络是“成熟的”，并且可以在不同的天气类型下取得有希望的结果。因此，该阶段旨在通过更严格的约束来检查学生网络，从而增强网络的鲁棒性和判别能力。
为此，在没有教师网络指导的情况下训练学生网络，并应用更具挑战性的正则化。

3.3Collaborative Knowledge Transfer【合作知识转移CKF】

所提出的协作知识转移（CKT）的体系结构如图所示。

图3。拟议合作知识的细节转移。

迫使从学生网络学习的特征接近教师网络的特征，而

保持投影特征的有效性。

通过渐进特征投影仪（PFP）将由几个教师网络和学生网络生成的特征投影到公共特征空间。
然后，为了实现稳健有效的知识转移，进行了双向特征匹配。具体说明如下。 

        Progressive Feature Projector【渐进式功能投影仪PFP】。

        对于大多数基于KD的策略，知识转移过程通常应用特征适配器模块将教师网络的特征投影到学生的特征空间中进行特征对齐。这种策略可能对这些任务有效，因为它们只涉及单一的知识转移（例如：将清晰特征的知识转移到学生网络）。然而，这可能不适合我们的场景，因为转移的知识更加多样化（即多天气网络）。由于各种天气类型的领域差异，从教师网络投影的特征不能保证学生网络的特征空间对于特征学习过程是最优的。因此，为了解决这个问题，如图3所示，

        我们提出了渐进特征投影仪（PFP）投射来自教师和学生的特征网络到公共特征空间。PFP是一个可学习的模块，可以使网络确定最适合公共特征学习的特征空间。PFP是由几个卷积块组成的小型网络具有步幅率1和ReLU激活功能。

        然后，投影特征误差被提出为约束特征学习过程。我们使投影的特征在公共特征空间中更接近。我们采用L1损耗来计算两者之间的距离投影特征。此外，对投影特征采用金字塔池，以在不同层次上扩展上下文信息。操作是：

待续......