【遥感图像】目标检测系列.1

Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment and Entropy Minimization, TGRS2022

Semi-Supervised Cloud Detection in Satellite Images by Considering the Domain Shift Problem, RS2022

CoF-Net: A Progressive Coarse-to-Fine Framework for Object Detection in Remote-Sensing Imagery, TGRS2023

Category Correlation and Adaptive Knowledge Distillation for Compact Cloud Detection in Remote Sensing Images, TGRS2022

Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment and Entropy Minimization, TGRS2022

解读：TGRS2022/云检测：Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment_HheeFish的博客-CSDN博客

论文：https://ieeexplore.ieee.org/document/9387459/

代码：https://github.com/nkszjx/grouped-features-alignment

大多数基于卷积神经网络（CNN）的云检测方法都建立在监督学习框架上，该框架需要大量像素级标签。然而，为海量遥感图像手动注释像素标签既昂贵又耗时。为了降低标记成本，论文提出了一种无监督域自适应（UDA）方法，将源卫星标记图像上训练的模型推广到目标卫星的未标记图像。为了有效解决跨卫星图像的域偏移问题，论文开发了一种新的基于分组特征对齐（GFA）和熵最小化（EM）的UDA方法来提取域不变表示，以提高跨卫星图像的云检测精度。

贡献：

提出了一个有效的UDA框架，该框架具有特征和输出级对齐策略，用于目标卫星遥感图像的云检测。
提出了一种GFA域自适应方法，有效地最小化源域和目标域之间的特征分布距离，以获得域不变的特征表示。
引入了EM目标，以在输出级别弥合源和目标数据集之间的域差距，从而有效地对目标预测实施高预测确定性（低熵）。

图1。ZY-3缩略图的示例，其中（a）–（f）是多光谱图像的RGB缩略图，（g）和（h）是全色图像的灰色缩略图。由于陆地覆盖、云层和成像系统的不同，在同一颗卫星上获取的图像通常呈现不同的视觉外观，从而显示出区域内的差异。

框架：

由于域差异，例如图像分辨率、云状的高动态范围和背景土地覆盖类型，在源域上训练的基于CNN的方法很难概括目标域。本文采用域自适应策略来减少源和目标卫星图像之间的域差异。UDA框架在特征级别和输出级别上实施域对齐，以鼓励在源域上训练的语义分割网络很好地推广到目标域。在正向传播过程中，源域和目标域样本都通过共享分割网络。
具体来说，提出了一种GFA策略来执行域自适应。我们将特征图分为不同的组，并分别对每组特征图应用基于对抗学习方法的域自适应。为了有效地进行特征对齐，在分割网络的多个中间层应用了GFA域自适应。此外，开发一种有效的输出级预测自适应方法，以提高目标图像上的云检测精度。本文介绍了EM方法来对齐源域和目标域之间输出预测的加权自信息映射，以进一步改进模型的泛化。

Semi-Supervised Cloud Detection in Satellite Images by Considering the Domain Shift Problem, RS2022

解读：RS2022/云检测：考虑域偏移问题的卫星图像半监督云检测Semi-Supervised Cloud Detection in Satellite Images by Considering the_morita semi ptn6002_HheeFish的博客-CSDN博客

论文：Remote Sensing | Free Full-Text | Semi-Supervised Cloud Detection in Satellite Images by Considering the Domain Shift Problem

https://core.ac.uk/download/551611741.pdf

代码：https://github.com/nkszjx/SSCDnet

在半监督云检测工作方面，正在努力通过有限数量的像素级标记图像和大量未标记图像学习一个有前途的云检测模型。然而，从同一卫星传感器获取的遥感图像往往会出现数据分布漂移问题，因为地球表面的云形状和陆地覆盖类型不同。因此，标记卫星图像与未标记卫星图像之间存在区域分布空白。为了解决这一问题，论文在半监督学习(SSL)网络中考虑了域转移问题。通过特征级和输出级的域适配，减小了有标记图像和无标记图像之间的域分布差距，提高了SSL网络预测结果的准确性。

传统的和本文的网络框架：

本文在半监督学习(SSL)框架中考虑了域转移问题，以提高分割网络的泛化能力，生成可信的伪标签进行自我训练。采用UDA策略对标准SSL网络进行改进，提出了一种改进的半监督云检测网络，如图所示。UDA方法能够帮助语义分割网络学习不同表示层的域不变特征，如输入级(像素级)，特征级，或输出级。
与传统的SSL框架不同，本文在网络中间层和终端层分别采用特征级和输出级域适配，以减少域分布间隙，提高SSCDnet的泛化性能。对于未标记的样本，高度泛化的网络能够产生高度确定的预测结果。为了进一步提高伪标签的质量，没有直接利用未标记样本的预测结果进行网络训练，而是提出了一种可信的伪标签标注方法，以获得高质量的伪标签。具体来说，利用outputlevel域适应的反馈信息来获得高质量的候选标签。然后，使用阈值策略从高质量的候选标签中获得可信区域。最后，通过自我训练损失，将可信区域作为网络训练的真实标签。

模块：

CoF-Net: A Progressive Coarse-to-Fine Framework for Object Detection in Remote-Sensing Imagery, TGRS2023

解读：TGRS2023/遥感/目标检测：CoF-Net: A Progressive Coarse-to-Fine Framework for Object Detection_HheeFish的博客-CSDN博客

论文：https://ieeexplore.ieee.org/document/10005072

代码：未找到

本文提出了一种新颖的由粗到精的遥感图像目标检测框架( CoF-Net )。CoF - Net主要由两个并行分支组成，即由粗到精的特征自适应( CoF-FA )和由粗到精的样本分配( CoF-SA )，分别旨在逐步增强特征表示和选择更强的训练样本。具体来说，CoF - FA将原始的粗特征平滑地细化为具有判别性空谱细节和语义关系的多光谱非局部精细特征。同时，CoF - SA通过在训练过程中逐步引入几何和分类约束进行样本分配，动态地从粗到细考虑样本。

CoF - FA以由粗到精的方式设计用于多光谱非局部特征自适应。CoF - FA在频域中显著地丰富了空谱特征细节，提高了细粒度对齐的隐式语义判别能力。
CoF - SA引入几何和分类感知约束，在训练过程中逐步动态分配样本，避免监督干扰。与CoF - FA相比，CoF - SA对遥感图像中密集和杂乱物体的准确和鲁棒定位具有重要贡献。

框架：

所提出的CoF - Net的整体流程如图2所示。CoF - Net建立在RetinaNet 的基础上，是一个具有全卷积层的单阶段框架，可以在少量参数的情况下实现快速推理，用于实际场景中的多尺度地理空间目标检测。

CoF - Net主要由4个部分组成：

ResNet作为CNN主干进行粗特征提取；
基于FPN结构的CoF-FA ，用于增强粗略和错位特征，以自适应地生成细粒度的非局部特征，同时包含光谱和空间信息；
CoF - SA通过引入几何先验和分类约束作为选择标准，在训练过程中动态生成和提名更精细、高质量的样本，而不是简单地使用大量粗定位；
检测头，由两个紧凑且并行的子网络组成，用于分类和回归以产生最终的检测结果。

由粗到精的光谱特征自适应 Coarse-to-Fine Spectral Feature Adaptation：针对存在背景干扰的前景目标，为了提取更具鲁棒性和判别性的具有全局语义关系的特征，基于所提出的由粗到精的方法，提出了谱非局部特征自适应。本方法考虑了遥感图像中的光谱特性，并将深度特征适应于空间和频率域。CoF - FA由空谱嵌入( SSE )、光谱非局部调制( SNM )和细粒度特征对齐( FFA )三个模块组成。

空间-光谱嵌入Spatial–Spectral Embedding，SSE模块：

将原始图片I输入ResNet基线会得到多尺度特征图F，但受限于CNN的感受野，提取的特征在遥感图像中易受形变和干扰。粗粒度可以由两个原因造成，仅使用空间域表示和全局语义不足。前者激励SSE模块将光谱信息引入到空间特征中，可以增强特征的判别性和多样性。
应用离散余弦变换( DCT )将粗空间特征变换到频域形成频谱特征，然后将频谱特征压缩并嵌入到粗空间特征中。为提高目标边界响应和可区分性。基于通道嵌入，生成n个不同的频率成分，从低频到高频，并融合成原始的粗特征。
关于物体边界的细节和关键频率信息都被聚合到空谱特征中。

图3。SSE模块的示意图，其中原始的粗略特征通过以通道方式嵌入多个频率成分提升为空谱特征。

图4 . ( a )基于粗特征和不同的光谱分量，通过逐元的乘法生成多个光谱向量。( b )从低频到高频的16种不同频谱成分的可视化。

光谱非局部调制Spectral Nonlocal Modulation，SNM模块：

通过融合短程和长程视觉依赖关系来进一步细化空谱特征，灵活构建非局部语义关系。
亲和矩阵被设计为对称的，以增强其稳定性，从而抑制背景噪声并提高前景区域的响应。
SNM模块，可以在相似度矩阵A中稳定地保留光谱特性，而在输出中可以有效地调制非局部语义以增强其区分度。

图5 . SNM模块的详细结构，该模块通过引入非局部上下文依赖来增强空间-光谱特征，并且仍然保留光谱特性。

细粒度特征对齐Fine-Grained Feature Alignment，FFA模块：

典型的自底向上自顶向下构建层次特征金字塔的方案[，将高层特征上采样，与自顶向下路径中对应的低层特征进行聚合。然而，如果简单地采用Vanilla FPN作为颈部，可能会出现改进的精细特征和粗上采样特征之间的特征错位问题。
特征错位或混叠主要是由双线性插值等累积粗略和非学习的上采样操作造成的，而没有准确的对应关系，这反过来破坏了从所提出的SSE和SNM模块中生成的精化特征。
为了解决这个问题，FFA模块被设计来自适应地学习一个细粒度的逐像素变换。

图6 .提出的FFA模块的示意图。A部分展示了基于FFA和Vanilla FPN架构的区别，而B部分描述了在细粒度像素级别对齐粗特征和细特征的详细过程

由粗到细的样本分配策略：

图7 .提出了CoF - SA策略的概念，该策略在粗-细-精方案中逐步分配更精确的样本用于训练。Mcoarse、Mfine和Mfiner分别表示3个渐进式匹配指标。

Category Correlation and Adaptive Knowledge Distillation for Compact Cloud Detection in Remote Sensing Images, TGRS2022

解读：TGRS2022/云检测：Category Correlation and Adaptive Knowledge Distillation 类别相关和自适应知识蒸馏在遥感图像致密云检测中的应用_HheeFish的博客-CSDN博客

论文：https://ieeexplore.ieee.org/document/9774409

代码：未找到

基于深度卷积神经网络(DCNNs)的云检测获得了显著的精度，但代价是高昂的计算和存储成本，这很难部署到资源受限的设备，如智能卫星。近年来，知识蒸馏(KD)已经成为一种很有前途的解决紧凑模型的方法。然而，现有的KD方法大多只传递成对像素的特征关系，无法处理复杂场景中的薄云和类云物体。此外，这些KD方法直接模拟复杂模型的输出，而不考虑其正确性。本文提出了一种新的类别相关和自适应KD (CAKD)框架用于轻量级云检测网络。

设计了一个类别关系上下文(CRC)模块，从教师和学生网络中提炼结构化的像素-类别相关性。
然后，进行类别相关蒸馏(CCD)，使学生模型更好地解决类内一致性和类间差异，从而减少类别混淆。
此外，利用像素自适应蒸馏(PAD)模块提取教师的像素预测概率，自适应地传递教师模型的软输出知识。

图1所示。云探测中的困难例子。(a)具有一定背景信息的半透明薄体在不同场景中具有复杂而多样的目标特性。(b)背景中的云状物体常常被错误地归类为云。

与自然场景中的物体不同，不规则形状的云更具挑战性，以下事实说明了云检测的困境。一方面，薄云在RSIs中呈现半透明，造成薄云包含一些来自地面物体的信息。如图1(a)所示，受森林、城市、水域等不同场景的影响，薄云通常表现出复杂多样的目标特征。因此，为了学习更准确的特征表示，轻量级网络应该增强薄云的类内特征一致性，以捕获不同上下文中的共同特征。另一方面，如图1(b)所示，类似云的物体，如沙、冰和高亮显示的物体，会干扰云的检测，经常被错误地分类为云。在这种情况下，学生网络容易在云和云类物体之间产生特征混淆。因此，增强类别之间的特征差异，从而区分易混淆的目标是轻量级网络的关键。然而，现有的kd方法主要利用中间特征的空间像素-像素关系，而没有考虑特征图中像素的类别依赖性，导致性能较差。

此外，目前的蒸馏方法都是在像素级直接模仿教师分数图。然而，网络老师可能并不总是像地面真理一样给出正确的指导，尤其是在不规则和复杂的云的边缘。教师网络的像素分类错误会导致学生网络用错误的软标签更新梯度。因此，教师网络以其独特的辨别能力对学生模型进行自适应的指导是很有必要的。

框架：

KD的工作原理是将性能良好的教师网络的建设性信息传输到紧凑的学生网络，提高云检测性能。CRC模块用于构建云特征的类内一致性和类间差异。CCD将CRC图从老师传输到学生，从而为学生网络提供了更紧凑的薄云分类描述，并减少了云和类云对象之间的特征混淆。PAD模块提取教师的每个像素概率值，以自适应的方式指导软输出(评分图)的蒸馏。

特征CCD（Feature CCD）：

在RSIs中，薄半透明云所覆盖的区域可以解释为云层和地面反射的能量综合[9]。紧凑的学生网络特征的缺乏降低了薄云特征的一致性。此外，学生所研究的薄云特征与背景相似，使得薄云像素不易被检测到。此外，云状物体的出现会引起对云目标的详细描述的混淆。现有的蒸馏方法在细化空间位置关系方面取得了一定的进展。他们计算像素与周围相邻像素的成对关系，甚至与完整特征图中的所有像素的关系。该方法对特征图的空间相关性建立非常简单。然而，在计算相对关系时，他们并没有明确地考虑一个像素来自哪个类别。在下采样的特征表示下，网络需要恢复像素的类别信息;因此，像素特征和类别之间的内在联系是必不可少的。

图4所示。RSIs中厚云和薄云区域的插图。厚云呈现出均匀高亮的色彩特征，薄云呈现出模糊的视觉。红色和黄色虚线分别表示厚云区和薄云区。

神经网络在云的视觉均匀性下抽象出云的特征描述，从而对不同的云进行分割。通过给具有ground truth的特征区域赋值correct class属性，计算类原型(类中心)[44]来统一属于同一像素类的特征。为了利用网络细化的云特征的特征类别相关性，提出了CRC模块。如图5所示，CRC 模块测量像素特征与不同类别原型之间的相似度，进一步得到的类别之间的相似度分布图描述了特征图的类别相关性。

图5所示。CRC模块的详细信息。它计算特征图与不同类原型之间的相似度关系。归一化的CRCmap集合了类内和类间的结构化知识

Pixel-Adaptive蒸馏：

CCD在高嵌入空间上完成表示学习。正如最初提出的蒸馏，教师网络的softmax输出包含负样本的信息，这有助于学生网络的泛化能力。同样，语义分割通常被视为像素级的分类任务，KD执行像素级的知识模仿.

对于复杂的遥感场景，教师网络具有对不同像素的可变预测能力。正确的预测分布的注入对学生网络的训练是积极的。但是，对于困难的像素，特别是在不规则和复杂的云的边缘，教师网络可能并不总是提供正确的指导与标签相比。如图7所示，教师网络可以在绿色框内的概率边际值较小的情况下进行正确预测，甚至在红色框内给出的指导值为负值。因此，我们提出了自适应教学的PAD损失，以避免局部像素错误.

算法：