论文《Geom-GCN：Geometric Graph Convolutional Networks》笔记

【Geom-GCN】现有的MPNNs方法具有两个基本弱点：①丢失邻域节点的结构信息；②缺乏捕获非同配性图的长距离依赖的能力。本文从经典神经网络和网络几何学的观察出发，提出了一种新的几何聚合方案，该方案利用图背后的连续空间进行聚合，以克服上述弱点。本文将几何聚合方案应用于图卷积网络，提出Geom-GCN，用于执行图上的归纳学习。Geom-GCN通过节点嵌入、结构邻域和双层聚合三个模块来实现。

本文发表在2020年ICLR会议上，第一作者学校：吉林大学，引用量：1016。

ICLR会议简介：全称International Conference on Learning Representations（国际学习表征会议），深度学习顶会。

查询会议：

会伴：https://www.myhuiban.com/
CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

paper原文：https://arxiv.org/abs/2002.05287
开源代码：https://github.com/alexfanjn/GeomGCN_PyG

0、核心内容

背景：传统的信息传递神经网络（MPNNs）已成功应用于多种实际应用中的图表示学习，但存在两个基本弱点：丢失邻域节点的结构信息和缺乏捕获非同配性图中长距离依赖的能力。

问题：现有的MPNNs聚合器在处理图结构数据时，由于其排列不变性的要求，导致无法区分某些非同配图，并且难以捕获图中的长距离依赖。

方法：作者从经典神经网络和网络几何学的观察出发，提出了一种新颖的几何聚合方案，称为Geometric Aggregation Scheme。该方案利用图背后的连续空间进行聚合，以克服上述弱点。

实现：作者将几何聚合方案应用于图卷积网络，提出了一种新的网络——Geom-GCN，用于执行图上的归纳学习。Geom-GCN通过节点嵌入、结构邻域和双层聚合三个模块来实现。

实验：通过在多个开放图数据集上的实验，结果表明Geom-GCN达到了最先进的性能。

贡献：

提出了一种新颖的几何聚合方案；
实现了Geom-GCN用于图上的归纳学习；
通过广泛的比较实验验证了Geom-GCN的性能。

细节：

节点嵌入：将图中的节点映射到一个潜在的连续空间中，以保持图的结构和属性。
结构邻域：基于图和潜在空间构建结构邻域，该邻域包括图中的邻接节点和潜在空间中的距离中心节点小于预给参数 $ρ$ 的节点。
双层聚合：在结构邻域上提出了一种新颖的双层聚合方案，用于更新图神经网络中节点的隐藏特征，同时保证排列不变性。

结论与未来工作：作者提出了通过图嵌入将离散图桥接到连续几何空间的方法，并通过实验验证了其优势。未来的工作将探索选择合适嵌入方法的技术，并考虑输入图和目标应用的需求。

1、Geometric Aggregation Scheme

在这里插入图片描述

图1：几何聚合方案的说明。

A1-A2：原始图被映射到一个潜在的连续空间
B1-B2：B1中所有相邻的节点都位于一个中心节点周围的一个小区域内，以便于可视化；在B2中，图中的邻域包含了图中所有相邻的节点，潜在空间中的邻域包含半径为 $ρ$ 的虚线圆内的节点。关系算子 $τ$ 由一个彩色的3×3网格表示，其中每个单元对应于与红色目标节点的几何关系。
C：在结构邻域上的双级聚集。虚线和实心箭头分别表示低级和高级聚集；蓝色和绿色箭头分别表示图中邻域和潜在空间上的聚集。

① 节点嵌入（Node embedding）

节点嵌入是将图中的节点映射到一个潜在的连续空间的过程，这个空间可以捕捉和表示图中的结构和属性。具体来说，节点嵌入包括以下几个步骤：

定义映射函数：首先定义一个映射函数 $f:v→z_v$ ，它将图中的每个节点 $v$ 映射到潜在空间中的一个向量 $z_v$ 。在潜在空间中， $z_v$ 可以被看作是节点 $v$ 的位置。

保持图结构：在映射过程中，需要保持图的结构和属性。这意味着图中的拓扑关系，如节点之间的连接和距离，在潜在空间中也应该得到体现。

使用不同的嵌入方法：可以使用不同的嵌入方法来推断潜在空间，这些方法可能包括但不限于：

Isomap：一种等距嵌入方法，它通过保持图中节点间的最短路径长度来嵌入节点。
Poincare Embedding：在超bolic空间中嵌入节点，可以很好地表示层次结构。
struc2vec：一种基于图结构的嵌入方法，可以捕捉图中的局部结构。

维度选择：在实验中，作者通常选择潜在空间的维度为2，以便于可视化和解释。但在实际应用中，可以根据需要选择更高维度的空间。

几何关系：在潜在空间中，节点之间的几何关系（如距离、角度等）被用来构建结构邻域，这些关系有助于在后续的聚合步骤中捕获图中的局部和全局结构。

通过节点嵌入，Geom-GCN能够将图数据映射到一个连续的几何空间，在这个空间中，可以更直观地利用几何关系来进行图卷积操作，从而提高图神经网络对图结构的表示能力。

② 结构邻域（Structural neighborhood）

结构邻域是几何聚合方案的一个关键组成部分，它定义了如何在潜在的连续空间中构建和利用节点的邻域信息。

图邻域和潜在空间邻域：结构邻域由两部分组成，一部分是图中的邻域（ $N_g(v)$ ），即与节点 $v$ 直接相连的节点集合；另一部分是潜在空间中的邻域（ $N_s(v)$ ），即在潜在空间中与节点 $v$ 距离小于预设参数 $ρ$ 的节点集合。

图中的邻域（ $N_g(v)$ ）：定义为节点 $v$ 的所有相邻节点的集合，即与 $v$ 有直接连接的节点。

潜在空间中的邻域（ $N_s(v)$ ）：定义为在潜在空间中距离节点 $v$ 小于某个阈值 $ρ$ 的所有节点的集合。这个邻域可能包括在图中距离 $v$ 较远但在潜在空间中与 $v$ 相似的节点。

关系算子（Relational Operator， $τ$ ）：这是一个在潜在空间中定义的函数，输入是节点 $v$ 和 $u$ 的有序位置对 $z_v,z_u)$ ，输出是一个离散变量 $r$ ，表示在潜在空间中从 $v$ 到 $u$ 的几何关系。关系算子 $τ$ 的输出 $r$ 属于一组几何关系的集合 $R$ 。

几何关系：几何关系可以使任何在潜在空间中定义的有意义的关系，例如距离、角度或其他几何属性。这些关系有助于在聚合过程中区分不同的节点。

长距离依赖：通过在潜在空间中定义邻域，结构邻域能够捕获图中的长距离依赖，即使这些节点在原始图中相隔较远。

排列不变性：尽管结构邻域考虑了节点间的几何关系，但聚合方案仍然需要保证排列不变性，即无论节点如何排列，只要图的拓扑结构不变，聚合结果也应保持不变。

结构邻域的设计允许Geom-GCN在保持排列不变性的同时，更有效地捕获图中的结构信息和长距离依赖，从而提高图神经网络在各种任务上的性能。

③ 双层聚合（Bi-level aggregation）

双层聚合是几何聚合方案的核心机制之一，用于更新图神经网络中节点的特征表示。

**低层聚合（Low-level aggregation）：在这一步中，网络首先在局部邻域内聚合节点特征。**对于每个节点 $v$ ，根据其在图邻域（ $N_g(v)$ ）和潜在空间邻域（ $N_s(v)$ ）中的节点，以及它们与 $v$ 的几何关系 $r$ ，将具有相同几何关系的节点特征聚合到一个虚拟节点上。这是通过一个排列不变的聚合函数 $p$ 完成的，例如 $L p - 范数$ ，它可以是平均、能量或最大池化。

**高层聚合（High-level aggregation）：在低层聚合的基础上，高层聚合进一步处理得到的特征。**它使用一个函数 $q$ 来聚合来自不同虚拟节点的特征，这些虚拟节点对应于不同的邻域和几何关系。函数 $q$ 可以是一个考虑顺序的对象的函数，例如连接（concatenation），以区分不同虚拟节点的特征，从而显式地提取邻域中的结构信息。

非线性变换（Non-linear transform）：在高层聚合之后，节点的新隐藏特征 $h_{l+1}^v$ 通过一个非线性变换得到，其中 $W_l$ 是第 $l$ 层的可学习权重矩阵，非线性激活函数，例如ReLU。