推荐指数: #paper/⭐⭐
发表于:LoG 2022
推荐指数是因为22年,所以给2行.
贡献:用MLP来区分不同的标签信息.

思想阐述:

假设${\mathcal{N}}_k(v)$表示节点v标签为k的邻居.我们定义基于$a_{v,k}$为聚合标签为k的邻居:(即只聚合标签为k的邻居)
$${\mathbf{a}}_{v,k}=\sum _{u\in {\mathcal{N}}_k(v)}\frac{1}{|{\mathcal{N}}_k(v)|}{\mathbf{x}}_u$$
然后,我们将每个节点聚合不同标签的邻居的嵌入进行拼接:
$${\mathbf{h}}_v^c=\mathsf{CONCAT}({\mathbf{a}}_{v,1},\dots ,{\mathbf{a}}_{v,C})$$
但是,并不是所有的邻居信息都有标签的

伪标签预测

但是,现实中,又很难分清哪个是邻居,哪个不是邻居.因此,就用伪标签预测器$f_P$去预测标签.具体的是,MLP被用作去预测标签:${\hat{\mathbf{y}}}_v^P=\mathrm{MLP}({\mathbf{x}}_v)$,$x_v$是节点v的属性.我们用如下损失函数去训练$f_P$.
$$\underset{{\theta }_P}{\min }{\mathcal{L}}_P=\frac{1}{|{\mathcal{V}}_{train}|}\sum _{v\in {\mathcal{V}}_{train}}l({\hat{y}}_v^P,y_v),$$
其中,$l$是交叉熵函数.这样,我们就得到每个节点的伪标签:$\widehat{y_v^P}$.

LW-gcn

$${\mathbf{a}}_{v,k}^{(l)}=\sum _{u\in {\mathcal{N}}_k^P(v)}\frac{1}{\left|{\mathcal{N}}_k^P(v)\right|}{\mathbf{h}}_u^{(l)},{\mathbf{h}}_v^{l+1}=\sigma \left({\mathbf{W}}^{(l)}\cdot \mathbf{CONCAT}({\mathbf{h}}_v^{(l)},a_{v,1}^{(l)},\dots ,a_{v,C}^{(l)})\right)$$
N k P ( v ) = { u : ( v , u ) ∈ E ∧ y ^ u P = k } \mathcal{N}_{k}^{P}(v)=\{u:(v,u)\in\mathcal{E}\wedge\hat{y}_{u}^{P}=k\} NkP​(v)={u:(v,u)∈E∧y^​uP​=k}表示聚合节点标签为k的邻居.
$${\hat{\mathbf{y}}}_v^C=\mathrm{softmax}({\mathbf{W}}_C\cdot \mathtt{COMBINE}({\mathbf{h}}_v^{(1)},...,{\mathbf{h}}_v^{(K)}))$$
$W_c$表示可学习的参数.$\widehat{y_v^C}$是节点v的预测标签的可能性.

模型的自动选择:(有点像自适应的了)

模型分为GCN和MLP两部分:
我们定义:${\hat{\mathcal{Y}}}^G=\mathrm{GNN}(\mathbf{A},\mathbf{X})$
${\hat{\mathbf{y}}}_v^C$为MLP.
然后,自适应确定MLP和GCN的
$${\hat{\mathbf{y}}}_v=\frac{\exp \left({\varphi }_1\right)}{{\sum }_{i=1}^2\exp \left({\varphi }_i\right)}{\hat{\mathbf{y}}}_v^C+\frac{\exp \left({\varphi }_2\right)}{{\sum }_{i=1}^2\exp \left({\varphi }_i\right)}{\hat{\mathbf{y}}}_v^G$$