A Survey of Geometric Graph Neural Networks:Data Structures, Models and Applications
本文主要介绍了在化学领域的分子设计和预测任务中,如何利用几何图神经网络(Geometric Graph Neural Networks,简称GGNN)来处理具有几何信息的分子结构数据,并进行了多种不同类型的GGNN模型的比较实验。
具体来说,本文首先对传统图神经网络(Message Passing Neural Network,简称MPNN)进行了简要介绍,并指出了其无法处理具有几何信息的数据的问题。接着,本文详细介绍了三种不同类型的GGNN模型:不变量图神经网络(Invariant Graph Neural Networks)、等变性图神经网络(Equivariant Graph Neural Networks)以及高阶导数图神经网络(High-Degree Steerable Graph Neural Networks)。其中,不变量图神经网络主要用于处理不需要考虑几何变换的任务,而等变性图神经网络则可以处理需要考虑几何变换的任务。此外,本文还介绍了一些具体的GGNN模型,如SchNet、DimeNet、GemNet、LieConv、SphereNet、ComENet等,并对其进行了详细的解释和分析。
最后,本文通过一系列实验对不同的GGNN模型进行了比较,包括使用分子动力学模拟数据集和药物性质预测数据集等多个数据集进行测试,并采用了多个评估指标进行评估,如均方根误差(Root Mean Square Error,RMSE)、平均绝对误差(Mean Absolute Error,MAE)等。实验结果表明,等变性图神经网络相对于不变量图神经网络具有更好的性能表现,同时高阶导数图神经网络也能够提高模型的表现。因此,本文认为,在处理具有几何信息的分子结构数据时,使用等变性图神经网络是一种更为有效的方法。
与一般的拓扑图不同,为了更好描述物理系统,几何图加入了不可或缺的空间信息,需要满足平移、旋转和翻转的物理对称性。
在欧氏空间中,几何图通常表现出平移、旋转和反射的物理对称性,一般使用群来刻画这些变换,包括欧式群、平移群、正交群、置换群等等。直观上看,可以理解为置换、平移、旋转、翻转四种操作按一定顺序的复合。
几何图神经网络分为三类:不变(invariant)模型、等变(equivariant)模型、以及受 Transformer 架构启发的 Geometric Graph Transformer,其中等变模型又细分为标量化方法模型(Scalarization-Based Model)与基于球面调和的高阶可操控模型(High-Degree Steerable Model)。
三者均是采用了消息传递机制,只是身为等变模型的后两者额外引入了一次几何消息传递。
不变模型主要利用节点本身的特征(如原子种类、质量、带电量等)与原子间的不变特征(如距离、角度[4]、二面角[5])等进行消息计算,随后进行传播。
而在此之上,标量化方法额外通过节点间坐标差引入了几何信息,并将不变信息作为几何信息的权重进行线性组合,实现了等变性的引入。
高阶可操控模型则是使用了高阶的球面调和(Spherical Harmonics)与 Wigner-D 矩阵表征系统的几何信息,这类方法通过量子力学中的 Clebsch–Gordan 系数操控不可约表示的阶数,从而实现几何消息传递过程。