当前的问题:Base-New Tradeoff(BNT)困境
现有的提示调优方法通常无法摆脱Base-New Tradeoff(BNT)困境，即调优/调整的模型对基本任务的泛化效果越好，对新任务的泛化效果就越差(包含不可见的类)，反之新任务的泛化效果越好，所需要的代价便是基本任务的泛化效果越差。
作者最终达到的结果便是：Base和New的准确率上同时得到提升
什么原因导致了Base-New Tradeoff(BNT)
Base和New联合训练Oracle
为了训练一个近乎BNT问题的模型，作者使用base task τ b a s e \tau_{base} τbase和new task τ n e w \tau_{new} τnew来联合派生模型Oracle。按我理解，应该是Oracle这个模型利用上了base和new上的数据，所以自然而然地不存在上述的Base-New Tradeoff(BNT)问题。
通道重要性(CI)的计算
第
r
(
r
=
1
,
…
,
d
)
r(r=1,\ldots,d)
r(r=1,…,d)个通道重要性计算如下：
其中
f
j
,
e
∗
f_j,e_*
fj,e∗分别为
x
j
x_j
xj学习到的
d
d
d维图像和文本特征。
N
N
N为任务中的示例数。ReLU[1]用于避免分母等于0。
将Oracle与CoOp进行比较
在(a)©中，
x
x
x轴是对分别base task
τ
b
a
s
e
\tau_{base}
τbase和new task
τ
n
e
w
\tau_{new}
τnew根据通道重要性(CI)进行排序后的索引(
x
x
x越小，CI得分越低，
x
x
x越大，CI得分越高)，
y
y
y轴即为通道重要性(CI)大小。从图中可以看出，oracle模型得到的base task和new task的CI分布比CoOp模型得到的CI分布具有更大的一致性。
在(a)©中，oracle的准确率确实比CoOp高。
提出的idea
oracle模型在很大程度上优于CoOp，这表明oracle模型产生的大多数特征通道包含任务共享知识，这对新任务的泛化很有价值。简而言之，在提示调优之后，绝大多数学习到的特征通道被特定于基础的知识所占据，导致对新任务很重要的任务共享知识的崩溃(或灾难性遗忘)——我们在本工作中将其称为通道偏差问题。
我们能否在特征通道中同时保留特定于base-task共享的知识，以克服提示调优中的BNT问题?
个人理解：既然BNT问题与CI分布紧密相关，那么我们接下来的改进可以围绕着特征通道这一角度着手。
解决办法
解决办法非常简单，仅仅只是加了一个即插即用(Plug-and-Play)的CAT Head。
CAT Head
对于Image Encoder和Text Encoder的输出
S
i
m
g
=
{
f
j
}
j
=
1
J
,
S
t
e
x
t
=
{
e
j
}
j
=
1
J
S_{img}=\{\bm f_j\}^J_{j=1},S_{text}=\{e_j\}_{j=1}^J
Simg={fj}j=1J,Stext={ej}j=1J，CAT Head利用通道转换层(cwT)将Simg和Stext转换为新的特征空间，即
类似地，得到
S
i
m
g
′
=
{
f
j
′
}
j
=
1
J
,
S
t
e
x
t
′
=
{
e
j
′
}
j
=
1
J
S'_{img}=\{\bm f'_j\}^J_{j=1},S'_{text}=\{e'_j\}_{j=1}^J
Simg′={fj′}j=1J,Stext′={ej′}j=1J
再将
S
i
m
g
′
,
S
t
e
x
t
′
S'_{img},S'_{text}
Simg′,Stext′拼接在一起，即
S
∪
=
S
i
m
g
′
∪
S
t
e
x
t
′
=
{
s
j
}
j
=
1
2
J
,
Y
∪
=
{
y
j
}
j
=
1
2
J
S_{\cup}=S'_{img}\cup S'_{text}=\{s_j\}^{2J}_{j=1}, \mathcal{Y}_ {\cup}=\{\bm y_j\}^{2J}_{j=1}
S∪=Simg′∪Stext′={sj}j=12J,Y∪={yj}j=12J
其中
y
j
∈
R
M
\bm y_j\in \mathbb{R}^M
yj∈RM是
s
j
s_j
sj的on-hot标签。
对于每一对
(
s
,
y
)
(s, \bm y)
(s,y)， CAT头最小化以下交叉熵损失:
L
CAT
=
−
∑
i
y
i
log
P
CAT
(
c
i
∣
x
)
\mathcal{L}_{\text{CAT}}= -\sum_{i}{\bm y_i \text{log}\mathcal{P}_{\text{CAT}}(\bm c_i|\bm x)}
LCAT=−∑iyilogPCAT(ci∣x)
其中
总损失与推理
总损失如下：
Base与New上的推理
对于基本任务，我们的CAT头直接将测试样例的图像特征作为输入，使用线性分类器预测分布内类标签。
在推理时，使用标准ITM头来实现对原始特征空间中新任务的zero-shot泛化/预测。
参考资料
论文下载(2024 CVPR)
https://arxiv.org/abs/2309.07439
代码地址
https://github.com/Koorye/DePT
