sigir24
#paper/⭐
不要读这篇论文以及笔记了，没有用的东西。。这采样技术都是21-23年的论文的技术了，到24年还在用，也没有理论支撑。。。后悔读了
贡献：利用节点度和节点相似性去构造自适应增强
增强
构造度矩阵：
D
∈
R
N
×
d
max
D \in \mathbb{R}^{N\times d_{\max}}
D∈RN×dmax。其中，dmax是度的最大值
基于原始特征，可以构造相似性矩阵：
S
0
=
M
e
a
n
(
S
i
m
(
X
⋅
X
T
)
)
,
S
0
∈
R
N
×
1
S_0=\mathrm{Mean}(\mathrm{Sim}(\mathcal{X}\cdot\mathcal{X}^T)),S_0\in\mathbb{R}^{N\times1}
S0=Mean(Sim(X⋅XT)),S0∈RN×1
我们构造如下重要性分数矩阵:
P
=
S
o
f
t
m
a
x
(
σ
(
M
L
P
(
D
⊕
S
)
)
)
P=\mathrm{Softmax}(\sigma(MLP(D\oplus S)))
P=Softmax(σ(MLP(D⊕S)))其中，
⊕
\oplus
⊕ 代表拼接操作.
σ
\sigma
σ代表sigmoid激活函数
我们根据MLP学习重要性分数
L
s
a
m
(
θ
)
=
−
1
∣
V
‾
∣
∑
ω
‾
log
(
P
θ
i
)
⋅
(
1
−
x
i
⊤
z
i
∥
x
i
∥
⋅
∥
z
i
∥
)
γ
\mathcal{L}_{\mathrm{sam}}(\theta)=-\frac{1}{|\overline{{\mathcal{V}}}|} \sum_{\overline{{\boldsymbol{\omega}}}}\operatorname{log}(P_{\theta}^{\boldsymbol{i}})\cdot\left(1-\frac{x_{\boldsymbol{i}}^{\top}z_{\boldsymbol{i}}}{\|x_{\boldsymbol{i}}\|\cdot\|z_{\boldsymbol{i}}\|}\right)^{\boldsymbol{\gamma}}
Lsam(θ)=−∣V∣1ω∑log(Pθi)⋅(1−∥xi∥⋅∥zi∥xi⊤zi)γ
x是原始特征，z是重构特征，
γ
\gamma
γ是缩放系数
动态采样算法
损失
L
=
L
sce
+
ξ
L
sam
,
\mathcal{L}=\mathcal{L}_\text{sce}+\xi\mathcal{L}_\text{sam},
L=Lsce+ξLsam,
sam是采样损失
