目录
前言
介绍
贡献
分类
预备知识
学习方式
转导式学习
归纳学习
系列文章列表
前言
翻译自A Practical Tutorial on Graph Neural Networks,并给出详细的解释和注意事项以及个人的思考,原作者如下:
介绍
当代人工智能(AI),或更具体地说,深度学习(DL)近年来被神经网络(NN)所主导。NN变体被设计用于提高某些问题领域的性能;卷积神经网络(CNN)在基于图像的任务中表现突出,而循环神经网络(RNN)在自然语言处理(NLP)和时间序列分析领域表现突出。在更复杂的深度学习框架中,神经网络也被用作构建模块——例如,它们在生成对抗网络(GANs)中被用作可训练的生成器和鉴别器,以及在Transformer网络中作为组件。
图神经网络(gnn)提供了这些输入数据类型的统一视图:在计算机视觉中用作输入的图像和在NLP中用作输入的句子都可以解释为单一的、通用的数据结构的特殊情况——图(示例见图1)。形式上,图是一组不同的顶点(表示项目或实体),这些顶点可以通过边(表示关系)相互连接。唯一的是,输入GNN(在训练和评估期间)的图本身没有严格的结构要求;输入图之间的顶点和边的数量可以改变。通过这种方式,gnn可以处理非结构化、非欧氏数据[7],这一特性使它们在图数据丰富的问题领域具有价值。相反,基于nn的算法通常需要对具有严格定义维度的结构化输入进行操作。例如,建立在MNIST数据集上进行分类的CNN必须具有28 ×28神经元的输入层,并且所有后续输入图像的大小必须为28 ×28像素,以符合这个严格的维度要求[50]。图作为一种编码数据的方法的表现力和gnn在非结构化输入方面的灵活性,推动了它们的研究和发展。它们代表了一种探索相对通用的深度学习方法的新方法,并促进了深度学习方法在数据集上的应用,这些数据集直到最近才接触到人工智能。
贡献
本教程论文的主要贡献如下:
(1)一个易于理解的入门教程,不需要对GNNs1有任何先验知识。
(2)对支撑特定类gnn的机制的逐步解释,如表1所示。这些解释逐步建立了对gnn的整体理解。
(3)描述了GNNs的优缺点和关键应用领域。
(4)具体GNN变体如何应用于现实世界问题的完整示例。
分类
论文整体架构及分类见下表。
表1:本教程讨论了各种算法。下表列出了每种算法的潜在用例,以及讨论它们的章节。读者是否更喜欢从基于应用程序/下游任务的角度阅读这篇教程论文,如果是这样的话,请查看后面三个表(原文中为表5、表6和表8,此处不放)。
首先介绍以下架构:
- 图循环神经网络:图循环神经网络,图长短期记忆网络,门控图神经网络。
- 图卷积神经网络:空域图卷积神经网络,谱域图卷积神经网络。
- 图自编码:变种图自编码,图对抗技术。
预备知识
本文非零基础教程,需具备以下知识:
- 数据结构中图的相关知识。
- 深度学习的基本知识,包括线性回归、Softmax回归、多层感知机、循环神经网络、卷积神经网络。
- 一定高等数学基础。
学习方式
转导式学习
转导式学习方法在进行预测之前暴露所有的训练和测试数据。例如:我们的数据集可能由单个大图(例如Facebook的社交网络图)组成,并且只有部分标记的顶点集。训练集由标记的顶点组成,测试集由一小部分标记的顶点(用于基准测试)和剩余的未标记的顶点组成。在这种情况下,我们的学习方法应该在训练过程中暴露整个图(包括测试顶点),因为额外的信息(例如结构模式)将有助于学习。在不引入偏差而难以分离训练数据和测试数据的情况下,直推式学习方法很有用。
归纳学习
归纳学习方法保留独立的训练数据集和测试数据集。学习过程输入训练数据,然后使用测试数据对学习到的模型进行测试,这些数据是它之前从未观察到过的。
系列文章列表
本系列文章持续进行更新和学习。链接如下:
- 循环图神经网络1
- 循环图神经网络2
- 卷积图神经网络1