推荐指数: #paper/⭐
发表于: CIKM22
一句话总结:本文通过重构相似性矩阵来生成两种特征增强方法.通过对比学习来进行训练.值得一题的一点是他在对比学习中,用了X得到的特征和AX的对比.还是有一丢丢创新性的
主要工作:
图增强
特征相似矩阵
S
~
i
j
F
=
cos
(
x
i
,
x
j
)
=
x
i
⋅
x
j
∣
x
i
∣
∣
x
j
∣
,
\widetilde{S}_{ij}^F=\cos\left(x_i,x_j\right)=\frac{x_i\cdot x_j}{|x_i|\left|x_j\right|},
S
ijF=cos(xi,xj)=∣xi∣∣xj∣xi⋅xj,
其中,x是原始特征
参数化相似性矩阵
S
~
L
=
cos
(
E
S
,
E
S
⊤
)
\tilde{S}^L=\cos{(E_S,E_S^\top)}
S~L=cos(ES,ES⊤)
E
S
=
σ
(
E
S
(
l
−
1
)
⊙
W
S
(
l
)
)
,
\mathbf{E}_S=\sigma\left(\mathbf{E}_S^{(l-1)}\odot\mathbf{W}_S^{(l)}\right),
ES=σ(ES(l−1)⊙WS(l)),
其中,
E
s
(
0
)
=
X
E_{s}^{(0)}=X
Es(0)=X(即原始特征矩阵),
⊙
\odot
⊙是hadamard积.
σ
\sigma
σ表示非线性操作
重构相似性矩阵
A
~
i
j
=
{
S
~
i
j
∗
,
S
~
i
j
∗
∈
k
(
S
~
i
∗
)
0
,
S
~
i
j
∗
∉
k
(
S
~
i
∗
)
\tilde{A}_{ij}=\begin{cases}\tilde{\mathrm{S}}_{ij}^*,&\tilde{\mathrm{S}}_{ij}^*\in k\left(\tilde{\mathrm{S}}_i^*\right)\\0,&\tilde{\mathrm{S}}_{ij}^*\notin k\left(\tilde{\mathrm{S}}_i^*\right)\end{cases}
A~ij=⎩
⎨
⎧S~ij∗,0,S~ij∗∈k(S~i∗)S~ij∗∈/k(S~i∗)
k
(
⋅
)
k(\cdot)
k(⋅)代表与节点i相连的top-k近的节点集.
数据增强
A
~
=
A
⊙
M
E
\widetilde{A}=A\odot M_{\mathbf{E}}
A
=A⊙ME
其中,
M
E
M_{E}
ME通过
p
E
p_{E}
pE二项式分布得到
X
~
=
X
⊙
M
F
,
\widetilde{X}=X\odot M_{\mathbf{F}},
X
=X⊙MF,
对比框架
编码器
H
~
=
σ
(
X
~
W
1
)
W
2
\tilde{H}=\sigma(\tilde{X}W_1)W_2
H~=σ(X~W1)W2
(可以理解为两层mlp)
L
O
=
∥
H
~
1
−
H
~
2
∥
F
2
⏟
L
i
n
v
+
λ
(
∥
H
~
1
⊤
H
~
1
−
I
∥
F
2
+
∥
H
~
2
⊤
H
~
2
−
I
∥
F
2
)
⏟
L
d
e
c
,
\mathcal{L}_{O}=\underbrace{\left\|\tilde{H}_1-\tilde{H}_2\right\|_F^2}_{\mathcal{L}_{inv}}+\underbrace{\lambda\left(\left\|\tilde{H}_1^\top\tilde{H}_1-I\right\|_F^2+\left\|\tilde{H}_2^\top\tilde{H}_2-I\right\|_F^2\right)}_{\mathcal{L}_{dec}},
LO=Linv
H~1−H~2
F2+Ldec
λ(
H~1⊤H~1−I
F2+
H~2⊤H~2−I
F2),
L
N
=
−
∑
r
=
1
R
E
v
i
∈
V
∣
log
exp
(
⟨
s
~
i
r
,
h
~
i
⟩
/
τ
)
∑
v
k
∈
V
exp
(
⟨
h
~
k
,
h
~
i
⟩
/
τ
)
∣
,
\mathcal{L}_N=-\sum_{r=1}^R\mathbb{E}_{v_i\in\mathcal{V}}\left|\log\frac{\exp\left(\langle\tilde{s}_i^r,\tilde{h}_i\rangle/\tau\right)}{\sum_{v_k\in\mathcal{V}}\exp\left(\langle\tilde{h}_k,\tilde{h}_i\rangle/\tau\right)}\right|,
LN=−r=1∑REvi∈V
log∑vk∈Vexp(⟨h~k,h~i⟩/τ)exp(⟨s~ir,h~i⟩/τ)
,
其中,
s
~
i
r
=
γ
r
(
A
~
r
h
~
i
)
\tilde{s}_i^r=\gamma_r\left(\tilde{A}^r\tilde{h}_i\right)
s~ir=γr(A~rh~i).这样,这个式子就相当于X和AX的对比了.
s
~
r
\tilde{s}^r
s~r代表节点v的自适应r跳邻居表征
γ
r
\gamma_{r}
γr表示r层的自适应参数.