【ICCV2023】频率成分在少样本学习中的重要性

news2024/12/27 12:32:05

论文标题：Frequency Guidance Matters in Few-Shot Learning

论文链接：https://openaccess.thecvf.com/content/ICCV2023/html/Cheng_Frequency_Guidance_Matters_in_Few-Shot_Learning_ICCV_2023_paper.html

代码：暂未开源

引用：Cheng H, Yang S, Zhou J T, et al. Frequency Guidance Matters in Few-Shot Learning[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 11814-11824.

导读

少样本学习旨在学习一种具有判别性的特征表示，以便使用很少标记的支持样本来识别未见过的类别。虽然大多数少样本学习方法关注图像样本的空间信息，但频率表示在分类任务中也被证明是重要的。本文研究了不同频率分量对少样本学习任务的影响。

为了增强少样本学习方法的性能和泛化能力，作者提出了一种新颖的"Frequency-Guided Few-shot Learning"（FGFL）框架，该框架利用任务特定的频率成分来自适应地遮蔽相应的图像信息。该框架采用了一种新颖的多级度量学习策略，包括原始图像、遮蔽图像和未遮蔽图像之间的三元损失，以及遮蔽和原始支持集和查询集之间的对比损失，以利用更多的判别性信息。

作者进行了广泛的实验，涵盖了四个基准数据集，并考察了几种不同的少样本学习场景，包括标准场景、跨数据集、跨领域和粗粒度注释分类。无论是定性还是定量的结果都表明，所提出的FGFL方案能够关注与类别判别相关的频率成分，从而将这些信息整合到更有效和更具泛化性的少样本学习中。

本文贡献

首先，本文提出了FGFL框架，利用频率信息来增强少样本学习方法在空间域中的性能和泛化能力。

其次，提出了两种类型的排名损失函数，包括原始和生成图像的样本和任务级别的三元组和对比损失函数，以强制网络专注于每个少样本元任务的类别判别频率成分。此外，生成的未遮蔽图像也被用于增强支持集的可区分性。

第三，研究了不同频率成分对当前方法在几种泛化少样本设置下的影响，即跨数据集、跨领域和粗到细粒度注释泛化。实验证明了所提出的FGFL能够提高少样本方法的性能和泛化能力，在几种少样本设置下获得了卓越的结果。

本文方法

少样本学习的频率分析

这部分研究了频率成分对不同少样本分类设置下现有少样本方法的泛化性能的影响。研究通过在元任务中去除和保留每个图像的部分频率成分，用于进行类别预测。为了生成输入RGB图像X的频率表示，作者采用了2D-离散余弦变换（2D-DCT）函数，得到D = DCT(X)。

然后，可以去除或保留每个输入图像的部分频率成分，随后再应用反2D-DCT函数，将其转换回到具有原始输入尺寸的空间域，得到

通过使用DCT函数，可以将原始数据分解为两部分

，其中XH和XO分别代表高频成分和其他成分。

对于给定的新测试集上的少样本任务

，可以使用部分频率信息重建图像以更新测试任务，得到

。然后，采用现有的少样本方法来为每个查询样本

进行预测。表1显示了在不同测试领域上的分类准确度，图2绘制了经过训练的特征编码器提取的图像特征的t-SNE可视化。

可以观察到，去除特定频率成分可以提高少样本模型的泛化性能，但会降低相同测试场景下的标准少样本性能。因此，频率信息在不同分类场景中起到不同的作用。通过评估和观察，可以推测少样本方法的泛化行为与频率成分有关，而这些频率成分在不同数据集和领域之间可能有所变化。

频率引导的少样本学习

由于不同的频率成分编码了特定的图像信息，作者提出了"Frequency-Guided Few-shot Learning"（FGFL）框架，利用频率掩模来指导在空间域中的训练。如图3所示，FGFL具有两个分支，分别具有两个编码器

，用于在频率和空间域中进行特征提取。

首先，根据频率域中的分类生成任务特定的类别判别频率掩模。这个掩模会突出与当前任务相关的重要频率信息。接下来，我们将遮蔽和未遮蔽的频率样本转换回到空间域，并根据遮蔽和未遮蔽区域生成两个图像集。最后，采用新颖的多级度量策略（如图4所示）来进行类别预测。

图4为所提出的多级度量策略的示意图。具体来说，对于元任务中图像集X中的每一幅图像，我们分别从相应的未掩蔽和掩蔽集

中构建其三元组，作为正对和负对，分别采用样本级别的三元组损失

来挖掘它们之间的关联。

在任务级别，我们通过重新组合

中的图像构建了两个额外的少样本任务。然后，我们提出了一个类别级对比损失

，用于处理正对（原始支持和查询样本）和负对（来自不同集合的支持和查询样本)。

计算如下：

其中，

此外，为了分类，我们使用未遮蔽的图像来增强支持集，并使用

损失。

计算如下：

其中，

增强分类损失：

综上，总体分类损失如下：

实验

实验结果

与SOTA的比较：

可视化结果：

5-way 5-shot 设置下的结果：

3-way 1-shot设置下的三个具有挑战性的少样本泛化场景：

消融实验

结论

本文提出了一种新的频率引导的少样本学习（FGFL）框架，用于少样本的分类和泛化。具体而言，DCT域中由分类梯度生成的频率掩模可以强调当前元任务中的类别判别频率组分。本文提出的多级度量策略，包括样本级三元组损失和类别级对比损失，可以更好地利用样本和任务级别的频率信息，并鼓励模型捕获更多与任务相关的频率信息，以帮助空间域中的分类。此外，本文系统地研究了频率信息对少样本泛化行为的影响。大量实验证明，FGFL在标准少样本设置上取得了与最先进方法相竞争的结果，并显著改善了在未见测试领域的泛化性能。

☆ END ☆

如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 woshicver」，每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓