【intro】图卷积神经网络（GCN）-续

news2024/9/21 22:51:56

本文为【intro】图卷积神经网络（GCN）-CSDN博客后续（因为经验告诉我超过2w字编辑器就会卡……）

第一部分还是进一步再看看GCN

图卷积神经网络GCN_哔哩哔哩_bilibili

回顾

图神经网络的基本原理就是把图中的节点编码映射成一个低维、连续、稠密的d维向量。这里的d比如128、256。把图中的每一个节点编码成128（or256）维的向量，而这个向量是一维连续稠密的，能够反映这个节点在原图的连接和属性关系。两个节点对应的两个向量在d维空间的相似度，可以反映这两个向量（节点）在原图的相似度

我们要学习的就是这个f函数，我们把图输入给这个函数，会输出每一个节点的embedding（嵌入）。在d维空间的嵌入，向量之间的距离就可以表示节点在原图中的距离和关系。

当然，我们也可以获得子图或者整张图的embedding，来解决各种各样的问题（都可以通过节点embedding向量加一个预测头解决，但是前提是这个节点embedding的d维向量的质量要足够高，足够能反映信息和语义）

图卷积神经网络

计算图

对于图这种没有顺序、参考点而言，我们不能直接把图输入神经网络中，更遑论卷积神经网络了。而是需要通过消息传递的框架去构建局部领域的计算图。

上图左侧为原图，A节点的计算图就是它的一阶邻域（B、C、D三个节点），再看一阶邻域的邻居，B就是A和C，C节点就是ABEF，D就是A。->构建A点的两层神经网络的消息传递的计算图

图中黑色的矩形就是第一层神经网络，灰色的矩形是第二层神经网络->也就是三个黑色矩形共享同一套权重（同一个神经网络）

每个节点可以分别构建出自己的计算图，训练图神经网络的时候，每一个计算图就是一个样本->如果batch size=8，那就是8个这样的计算图输入到网络中去

其实，在两层神经网络中只有两个神经网络。

图神经网络的层数并非神经网络的层数，而是指计算图的层数。而这个黑色矩形中具体神经网络的层数可以有很多。

在第0层输入到图神经网络中的是节点的属性特征（样本自带的属性）不需要学习，比如用户的年龄、学历、婚姻状况、收入etc。我们的目标是输入所有节点的属性特征，通过层层的消息传递、信息汇聚，得到这个节点最终的embedding 向量。

一层神经网络就对应了一个hop的neighborhood，k层就对应了k-hop neighborhood->层数越多，邻居的个数就越多->感受野就越大（覆盖的节点就越大）

不能让图神经网络无限深，if深++，then所有节点的计算图最后都很类似->会产生过平滑（over smoothing）->所有节点的embedding最后都会收敛到同一个值（所有节点的embedding都一样）

通过层层的消息传递，得到节点最终的embedding

以GCN为例。假设每个节点都有128维的属性特征。计算B节点的embedding，就是A和C两个节点的属性特征逐元素求平均，得到一个新的128维的向量，输入到黑色矩形中，输入128维，输出512维，得到B节点的向量，对于C节点就是四个节点ABEF的属性特征逐元素求平均，输入，得到C节点的向量。D节点就是直接输入A节点的属性（128维的embedding）->GCN的第一层

（弹幕：这里输入大小不同，那不就说明神经网络是不一样的吗？
噢噢，我知道了，是逐元素求平均得到128维，所以神经网络是输入128维，输出512维，共享参数没毛病）

那么第二层就是把BCD这三个512维的向量逐元素的求平均，得到一个新的512维向量，输入白色矩形中，输出一个256维的向量，此向量为A节点最终的embedding，作为A节点的输出。

逐元素求平均与顺序无关（order invariant/permutation invariant），当然不仅仅只能用求平均，也可以采用取最大值、求和等操作。这些操作都与顺序无关。