摘要

图神经网络(GNN)越来越多地用于情绪识别、运动想象以及神经疾病等任务的脑电信号(EEG)分类。人们已经提出了一系列方法来设计基于GNN的分类器。因此，有必要对这些方法进行系统回顾和分类。本文对已发表的文献进行了详尽地检索，并总结了几种用于比较的类别。这些类别突出了各种方法之间的相似性和差异性。研究结果表明，频谱图卷积层比空间图卷积层的应用更广泛。此外，本研究确定了节点特征的标准形式，其中最流行的是原始EEG信号和微分熵，并概述了基于GNN的方法在EEG分类中的新兴趋势。

引言

脑电图(EEG)是一种用于记录脑电活动的非侵入性技术，在认知神经科学、临床诊断和脑机接口等领域有着广泛的应用。然而，脑电信号的分析存在诸多挑战，包括信噪比低、脑动力学引起的非平稳性以及信号的多变性。在这里，本文重点关注情绪识别、运动想象识别或神经系统疾病的脑电信号分类。

脑电分类中常用的特征提取方法有共空间模式、小波变换和Hilbert-Huang变换等。这些方法旨在从脑电信号中提取有意义的特征，例如利用功率谱密度(PSD)等关键特征来表征大脑状态。然而，依靠这些手动定义的特征来训练机器学习分类器存在几个局限性。特征选择中的主观性和偏差，以及耗时的特征工程和选择过程，限制了可扩展性和泛化性。为了克服这些局限性，需要自动化的特征提取方法来提高效率，减少偏差，并增强分类器对不同脑电数据集的适应性。

深度学习架构，如卷积神经网络(CNN)和长短期记忆网络(LSTM)，也被用于EEG分析。然而，它们在有效捕捉电极之间的空间依赖性和处理脑电信号的时间动态方面面临挑战。对脑电数据中复杂的时序和空间关系进行建模对于更准确的分类和分析至关重要。

网络神经科学通过将信号构建为图的方式，为EEG建模提供了一种替代方法。大脑是一个复杂的网络结构，神经元之间形成连接并相互通信。将EEG数据以图的形式进行分析，使得可以研究网络属性，包括功能连接性，从而为大脑功能和功能障碍提供新的见解。基于图的分析有助于检查网络特征、节点重要性、社区结构和信息流动，同时也为理解大脑的组织和动态提供了新的视角。这些基于图论的特征已被证明在EEG分类中具有强大的预测能力。然而，这些特征与上述基于传统EEG分析方法的手动定义特征具有相同的局限性。

图神经网络(GNN)是网络神经科学框架中建模神经生理数据(如EEG)的强大工具，专门用于处理图形结构数据。它们能够有效地利用脑电数据中的空间结构来提取特征、发现模式，并根据不同电极之间的复杂相互作用进行预测。

图神经网络概述

图被广泛用于捕捉各个领域中的复杂关系和依赖关系，例如社交网络、生物网络和知识图谱等。近年来，图分类问题引起了广泛关注，其目标是为整个图分配一个标签。图神经网络(GNNs)通过将卷积的概念从欧氏结构的数据扩展到图结构的数据，为该问题提供了一个有前景的解决方案。GNNs已成功应用于多个领域，如生物学、生物信息学、网络神经科学、自然语言处理等。

在图分类问题中，输入是一组具有节点集、边集和节点特征的图。设G=(V，E，H)表示特征图，其中V表示节点集，E表示连接节点的边集，H表示D维节点特征V×D矩阵。在脑电信号中，EEG通道是节点，边表示节点对之间的结构或功能连接。每个图G都与一个标签y相关联，表示其类别。目标是学习一个函数f(G)→y，该函数能够根据输入的图G预测其类别标签y。图1展示了用于EEG分类的GNN模型的总体结构。

图1.用于EEG分类的GNN模型的总体架构。

与其他深度学习模型相比，GNNs具有几个优势。首先，GNNs专门为图结构输入设计的。这意味着与需要固定大小输入的传统深度学习模型(如CNN)相比，GNNs可以适应不规则结构的输入，即具有不同节点数量的图。其次，GNNs能够通过接受节点特征矩阵和图结构这两个输入，同时学习节点特征和图结构信息。这种同时集成在传统深度学习方法中是无法实现的。

在Wu等人(2021)和Zhou等人(2020)的研究中，详细地介绍了多种类型的GNNs。在这里，本文简要介绍了图神经网络的两大主要分支，即空间GNNs和频谱GNNs(见图2)。其他类型的GNNs，如注意力GNNs、循环GNNs和图变换器，可以视为空间GNNs的特例，因此在本文中不会进行详细讨论。空间和频谱GNNs都旨在将卷积运算扩展到图结构数据上。有关其相似性和差异性的描述，请参阅Chen等人(2020)的研究。此外，关于不同GNNs在计算复杂度方面的比较，请参阅Wu等人(2021)的研究。

图2.空间和频谱GNNs的示意图。

空间GNNs聚合来自相邻节点的信息，类似于传统卷积应用于图像数据时聚合相邻像素的信息。堆叠多个空间GNN层使得能够从局部到全局逐步整合多种尺度的模式信息。相比之下，频谱GNNs在图频域内执行信息聚合，低频和高频分量分别捕获全局和局部模式。然而，这两种方法都学习如何在图中捕获局部和全局模式，即频谱域中的高频和低频信息。频谱GNNs的优势在于其与图信号处理的联系，这可以从图滤波器的角度进行解释。然而，频谱GNNs在大型图上泛化性不强，因为它们依赖于图拉普拉斯的特征分解。相反，空间GNNs可以应用于大型图，因为它们仅执行局部信息传递。但另一方面，空间GNNs可能难以解释并且容易出现过拟合，因为存在过度平滑问题，从而导致所有节点的嵌入变得相似。

结果

这项调查是基于对63篇文献的回顾。这些文献是根据标题和摘要筛选出来的(检索时间为2022年11月1日)，通过Google Scholar和ScienceDirect进行检索。检索词为：“图神经网络”或“图卷积网络”与“脑电图”或“EEG”。包括同行评审的文章和预印本。所有类型的EEG分类任务都被纳入研究。图3总结了这些文献中的各种EEG分类任务类型。最常见的分类任务包括情绪识别、癫痫诊断与检测以及运动想象。然而，分类任务的类型对GNN架构设计的影响相对较小。因此，本文不对此进行详细的分析和讨论。相反，本文考察了各种基于GNN的脑电分类方法，旨在系统地分类GNN模块的类型，并确定该领域在EEG分类中的新兴趋势。

图3.当前EEG-GNN文献中提出的分类任务。

接下来，本文报告了在文献调查中所确定的比较类别。这些类别是基于GNN模型的不同模块。具体来说，这些类别包括：脑图结构的定义、节点特征的类型、图卷积层的类型、节点特征预处理、节点池化机制、由节点嵌入集合形成的图嵌入。

脑图结构

GNN模型输入的第一部分是从EEG数据中推断出的脑图结构(图1A)。表1总结了定义脑图的方法。这些方法通常可以分为可学习的或预定义的。

表1.获取脑图结构的方法概述。

脑图结构的另一种分类是功能连接(FC)和结构连接(SC)。通常，SC图是预定义的，而FC图可以是预定义的或可学习的。经典意义上的SC是指大脑区域之间的物理连接，由于EEG是在头皮表面记录的，因此这种连接不可能通过脑电信号获得。相反，本文使用该术语来描述基于EEG电极之间的物理距离构建脑图的方法。而FC则是指EEG信号之间的成对统计关系。

SC图是预定义的，电极之间通过边连接，连接的方式如下：

其中，eij是连接节点i和j的边权重，dij是EEG电极之间的距离度量，t是控制图稀疏性的手动定义阈值。

这种方法具有几个优点。首先，SC图不受EEG记录中任何噪声效应的影响，因为它与实际信号无关。其次，如果在记录过程中使用相同的EEG装置，所有数据样本共享相同的图结构。由图拉普拉斯算子特征向量定义的图频率分量是固定的，因此与频谱GNN相结合时具有可解释性的优势。相反，SC图局限于描述短距离关系，因此可能无法准确地代表潜在的大脑网络。一些研究建议通过手动插入全局或半球间边缘来克服这一限制。

相比之下，FC图可以从经典的FC测量方法中获得。本文将这些方法称为FC，因为它们都测量两个节点之间的相互作用程度，因此符合传统FC的定义。与SC不同，每个数据样本的FC图是唯一的，可以包含短边和长边。另一方面，由于它源自EEG信号，因此可能对噪声比较敏感。

基于节点特征距离或特征连接的可学习FC通常计算为：

其中，θ1(⋅)和θ2(⋅)分别表示输入输出维数为R：d→1和R：2×d→1的神经网络；|⋅|表示绝对值；∥表示连接，hi是节点i的节点特征/嵌入。

脑图定义的特殊情况是共享掩码方法。这些方法定义了一个可学习参数矩阵，其形状与输入图的邻接矩阵相同，该矩阵通过与邻接矩阵相乘来充当掩码/过滤器。这个可学习矩阵是模型的一部分。因此，相同的掩码被应用于所有输入图。然而，共享掩码限制了输入图的大小，即节点数必须保持不变，以便邻接矩阵可以与共享掩码相乘。

在现阶段，关于脑图分类任务应该首选哪种方法尚不明确。一些研究者试图通过结合多种方法来避免这个问题。然而，本文建议研究人员应在给定的分类任务背景下仔细考虑所提出的每种方法，因为每种方法都有其优缺点。

节点特征

GNN模型输入的第二部分是节点特征矩阵(图1A)。表2总结了节点特征的各种定义。根据计算的域(即时域、频域和图域)对这些定义进行分类。

表2.定义输入节点特征的方法概述。

时域方法是目前文献中最常用的方法。特别是微分熵(DE)和原始信号方法。DE之所以流行，是因为许多开放的EEG数据集都包含这个特征，例如SEED情绪识别数据集。DE描述了连续变量的复杂性，定义为：

其中，X是一个随机连续变量，f(x)是其概率密度函数。

许多文献将节点特征定义为原始EEG信号。然而，原始信号可能过长，GNN无法有效处理。因此，通常会与节点特征预处理模块和时空GNNs结合使用，以有效地降低维数或提取信号中包含的时间模式。除了使用原始信号节点特征外，还可以使用描述性统计，例如均值、中位数或标准差。

频域节点特征通常定义为通过傅里叶变换或功率谱密度(PSD)获得的傅里叶频率分量。这两种方法都旨在量化脑电信号中各种频率分量的强度。与上述的原始信号相比，这些表征方法的一个优势是它们的维数相对较低。

最后，可以利用图论特征来描述节点，例如平均节点权重和介数中心性。该方法的局限性是需要在提取节点特征之前定义图结构。因此，这种节点特征类型与可学习的脑图方法不兼容。

节点特征预处理

节点特征构建后的下一个可选步骤是节点特征预处理模块(NFP)(图1B)。表3总结了NFP的类型。

表3.节点特征预处理概述。

大多数NFP都集成在GNN架构中，因此允许模型以端到端的方式进行训练。而且在大多数情况下，这些模块是CNN和多层感知器(MLP)的变体。这些模块旨在(1)降低节点特征的维度，以及(2)增强节点特征，包括抑制噪声或冗余信息。

图卷积层的类型

GNN模型的核心部分是图卷积层(GCN)(图1C)。表4总结了使用的GCN类型。接下来，将根据GNN类型对它们进行分类，即空间型、频谱型。此外，本文还添加了时序类别，该类型是空间型或频谱型GCN的结合。

表4.图卷积层概述。

有趣的是，在调查的大多数研究中(包括表4中的ChebConv和频谱时空GNN)都使用了ChebConv。由于EEG通常使用128个高密度蒙太奇电极，因此脑图的大小相对较小。在这种情况下，即使是全谱GNN对于EEG分类的计算成本并不大。因此，为什么许多研究者选择使用ChebConv来近似频谱GNN仍不清楚。本文推测，经典信号处理工具在EEG信号分析中的影响，也可以作为使用频谱GNNs进行脑电信号分类的充分理由。

相反，另一些研究则使用了各种空间型GNNs。在这些方法中，GCN是比较常用的一种方法，相当于一阶ChebConv(K=1)。空间型GNNs的一个特例是图注意力网络(GAT)。GAT通过使用注意力机制重新加权边，从而调整图结构。一般来说，用于计算新的softmax归一化边权重eij的注意力机制定义如下：

其中，w和W是模型的可学习参数，σ是激活函数，h是节点特征向量/嵌入，N(i)是与节点i连接的节点集合。

节点池化机制

在某些情况下，减少图中节点的数量是可取的。这可以通过节点池化模块来实现(图1D)。表5总结了调查论文中使用的节点池化模块。

表5.节点池化机制概述。

文献中存在可学习和不可学习的节点池化模块。这些方法的详细描述请参阅相应的论文(表5)。在EEG-GNN分类模型中，节点池化模块仍然是一个相对未被探索的主题。节点池可以(1)删除冗余节点，(2)在节点嵌入的连接形成设置中减少图嵌入的大小，以及(3)通过识别节点相对于分类任务的重要性来提高模型的可解释性。

从节点嵌入到图嵌入

图卷积的输出是一组学习到的节点嵌入。这种形式的节点嵌入适用于节点分类和链路预测等任务。然而，对于图分类任务，需要将节点特征集转换为统一的图表征形式(图1E)。表6总结了这种转换的方法。

表6.从节点嵌入到图嵌入的方法概述。

形成图嵌入最直接的方法是简单地连接节点特征。但这种方法存在一些局限性。首先，生成的图嵌入随节点数量的增加而增长，因此分类层需要大量的参数。其次，所有输入图必须具有相同数量的节点，这限制了模型对其他数据集的泛化能力。最后，这种方法很可能在图嵌入中包含冗余或重复的信息，因为GNN通过聚合邻近节点的信息来生成节点嵌入。

读出函数是解决这些问题的方法之一。从V个节点嵌入的集合H=[h1，...，hV]中获取图Gi的图嵌入读出的一般定义如下：

其中，P可以是任何置换不变函数。在调查的论文中，这些函数通常是求和、平均和最大值。少数研究使用了注意力加权求和来减弱图嵌入中不重要节点的作用。另一个有趣的方法是逐节点应用类似CNN的平均池化或最大池化。

另外，研究人员探索了各种神经网络模型来获取图嵌入，例如CNN、(双向)LSTM、transformer和胶囊网络(Capsule Networks)。此外，还可以利用图池化方法，如DiffPool、SAGPool、iPool、TAP和HierCorrPool来达到这一目的。

结论

综上所述，本研究考察了EEG-GNN模型用于脑电信号分类的研究现状。目前已提出各种基于GNN的方法用于情绪识别、脑机接口、心理和神经退行性疾病等任务。根据输入和模块对纳入的文献进行分类，包括脑图结构、节点特征、GCN层、节点池化机制和图嵌入。GNNs提供了一种在图域分析和分类EEG的独特方法，从而允许在脑网络中利用其他神经网络无法利用的复杂空间信息。此外，在GNN架构的各个阶段，如节点特征预处理、节点嵌入后处理、图嵌入形成等，可以很容易地使用CNN和基于循环网络的模块进行扩展。然而，这些过程也存在一定的局限性和需要改进的地方。GCN的层缺乏多样性和创新性，许多研究在没有明确理论依据的情况下使用ChebConv或“简单”的空间GCN。对具有不同数量EEG电极的外部数据集的泛化能力有限。进行迁移学习实验和整合跨频率耦合方法是未来提升GNN性能和可解释性的潜在研究方向。

参考文献：D. Klepl, M. Wu and F. He, “Graph Neural Network-Based EEG Classification: A Survey,” in IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 32, pp. 493-503, 2024, doi: 10.1109/TNSRE.2024.3355750.

小伙伴们关注茗创科技，将第一时间收到精彩内容推送哦～