调研图基础模型（Graph Foundation Models）

🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/

图基础模型（Graph Foundation Models，简称 GFMs）是一种经过预训练的图大模型，旨在处理不同领域的图数据和任务。让我们详细探讨一下这个概念。

Github BUPT GAMMA Lab：GFMPapers: Must-read papers on graph foundation models (GFMs)

有关的这篇综述论文：https://arxiv.org/abs/2310.11829

什么是基础模型？

基础模型是指在广泛数据上进行预训练的模型，可以适应各种下游任务。这些模型在自然语言处理（NLP）和计算机视觉（CV）等领域取得了显著成功。

基础模型的架构和训练策略的进步赋予了它们独特的特性，如涌现（Emergence）和同质化（Homogenization），使它们成为众多下游人工智能应用的主要构建模块。涌现表示随着数据和模型规模的扩大，它可能会自发地展现新颖的能力。同时，同质化暗指模型的多功能性，使其能够在各种应用中部署。

图学习的挑战

图机器学习经历了从浅层方法到深度学习方法的转变。深度图学习方法，如图神经网络（GNNs），通过引入消息传递机制改变了图机器学习的格局。然而，GNNs 模型仍然存在表达能力和泛化性方面的问题，尤其是考虑到不断扩大的数据集和不断增加的任务范围。

许多图神经网络方法的一个显著局限性是它们过于依赖有监督学习，这可能导致在面对稀疏和噪声数据时鲁棒性和泛化能力不足。为了增强图神经网络的泛化能力，自监督学习（Self-Supervised Learning）已经成为图表示学习中的一种有前景的方法。这些方法的目标是生成可泛化到不同下游任务的图表示，但它们仍然需要使用下游图学习场景的标签进行微调。然而，这种对下游任务的标签数据的依赖可能会限制它们在实际情况中的泛化能力，特别是在难以获取高质量标签的情况下。

基础模型在自然语言处理中取得显著成功

大语言模型（LLMs）作为基础模型在 NLP 中取得显著成功。它们不仅可以处理文本，还可以处理图像、视频、音频和多模态输入。这种多功能性使它们在计算机视觉、音频信号处理、推荐系统等各种任务中表现出色。

图基础模型的概念

图基础模型（GFMs）是一个在广泛的图数据上预先训练的大模型，用于在不同的下游图学习任务中进行微调。GFMs 具备两个主要特征：涌现和同质化。涌现指的是仅在大规模图模型中显现的新能力，而同质化表示模型可以适应不同类型的图学习任务。

目前还没有明确的解决方案来设计和实现 GFMs，但研究人员已经探索了基于 GNN、基于 LLM 以及 GNN+LLM 的不同方法。GFMs 的发展将使其具备更强的图表征学习能力、可迁移性，并适用于更复杂的图数据和任务。

GraphGPT

论文地址：https://arxiv.org/abs/2310.13023

Github 地址：https://github.com/HKUDS/GraphGPT

在这里插入图片描述

总得来说，将大语言模型与图学习结合是一项重大的挑战。首先，在图的结构信息和语言空间之间实现适当的对齐需要深入的研究。同时，如何引导大语言模型有效地理解图的结构信息，以及如何赋予大语言模型对于图学习下游任务逐步推理的能力，都是当前面临的关键问题。

GraphGPT 框架将图结构模型和大语言模型进行参数对齐，利用双阶段图指令微调范式提高模型对图结构的理解能力和适应性，再整合 ChatGPT 提高逐步推理能力，实现了更快的推理速度和更高的图任务预测准确率。

用 “文本-图” 对齐编码结构信息：通过任意的图编码器（例如 Graph Transformer）和文本编码器（例如普通 Transformer）获得编码后的图表示和文本表示。接着，通过对比学习进行不同维度的 “文本-图” 对齐。

两阶段图指令微调：

在图指令微调范式的第一阶段，采用了自监督的指令微调策略，该策略将图结构的专有知识融入到语言模型之中，增强了其推理能力，并使其能够准确地捕获图结构中的关联信息。具体而言，这项研究构建了一个结构感知的图匹配任务，指导语言模型利用自然语言标签来识别图中的各个节点。这种指令任务在确切地将图节点与其相关的文本描述关联起来时发挥了核心作用，进而深化了模型对图结构数据的理解。
在第二阶段，提出了特定任务指令微调，旨在定制模型的推理行为，以满足不同图学习任务的特定约束和要求，如节点分类或链接预测。通过使用任务特定的图指令对大语言模型进行微调，引导模型生成更适合当前图学习任务的响应，进一步提高了模型在处理各种图学习任务时的适应性和性能。
最后，通过思维链（Chain-of-Thought）将闭源大语言模型（如，ChatGPT）蒸馏整合到 GraphGPT 中，增强了其逐步推理能力，极大地改善了分布偏移带来的性能下降。

经过上述两个训练阶段，GraphGPT 现在可以理解给定的图结构，并在提供的图中执行各种下游任务。在生成的输出中，大语言模型不仅对节点类型进行预测，还为每个预测提供了详细的解释，以确保模型的决策过程是清晰和可追踪的。

GraphGPT 的贡献：

将图领域特定的结构知识与大语言模型的推理能力对齐，以提高图学习的泛化。
提出的方法旨在通过图指令微调范式将大语言模型与图结构数据对齐。此范式结合了自监督指令微调，增强了大语言模型对图结构知识的理解和推理能力。此外，引入了具体任务的指令微调，以提高模型在不同图学习任务中的适应性。
实验评估了 GraphGPT 在有监督和零样本图学习任务上的表现。通过与最先进的基线进行比较，GraphGPT 展现出在各种设置中优越的泛化能力。

总结要点：

图神经网络（GNN）在处理和学习图数据方面强大，但对稀疏和有噪声的数据鲁棒性和泛化性能不佳。
自监督学习提高图神经网络泛化性能的潜力，但仍需使用下游任务标签进行微调，限制了泛化性能。
香港大学数据智能实验室的 GraphGPT 结合图结构知识和大型语言模型，提升图学习任务性能。
GraphGPT 采用双阶段的图指令微调方法，增强大型语言模型对图结构的理解和推理能力。
GraphGPT 在有监督和零样本图学习任务上展现出优越的泛化能力，超过基线模型。
GraphGPT 通过思维链蒸馏方法提升逐步推断能力，显著提高复杂图学习任务性能。
GraphGPT 训练和推理效率高，处理大规模图数据，减少参数和计算资源消耗。

2023 NeurIPS New Frontiers in Graph Learning Workshop - Graph Meets LLMs: Towards Large Graph Models

论文地址：https://arxiv.org/abs/2308.14522

图大模型是一种在图领域应用的大模型，具有扩展定律特征，能够理解图的结构和属性，具备处理新颖图数据集和图推理能力，广泛应用于多个领域。

文章概览要点：

清华大学首次提出图大模型的概念，旨在推广大模型在图领域的应用。
图大模型具有扩展定律特征，随着模型大小、数据集大小和训练计算量的增加，性能持续优化，提升对图数据的理解能力。
图大模型需要理解图的结构和属性，图预训练是有前途的方法，减少对标签的依赖，赋予模型生成图的能力。
有效的图大模型应具备理解图上下文和处理新颖图数据集的能力，与少样本/零样本图学习、多任务图学习和图分布外泛化能力相关。
图推理是处理图任务的常见方法，包括分析拓扑属性、多跳邻域推理和处理全局属性和模式等，图神经网络和 Graph Transformer 是主流的图深度学习架构。
图大模型的开发依赖于高质量的图数据集，需要收集更多多样性的图数据，以确保模型的有效性。
图大模型在推荐系统、知识图谱、分子构建、金融、代码和程序、城市计算与交通运输等领域有广泛应用。

这篇文章讨论了图与大型语言模型（LLM）的结合，以及这种结合在处理复杂关系和生物数据等实际应用中的重要性。文章提出了一个新的分类法，将现有方法分为三类，根据LLM在图相关任务中的角色（增强器、预测器和对齐组件）进行组织。此外，文章还讨论了现有研究的局限性，并指出了未来研究的可能方向。

图与 LLMs 的结合：研究者们将图和 LLMs 结合起来，以处理包含文本属性的节点的图，这在多个领域都取得了成功。
LLMs 的角色分类：LLMs 在图相关任务中的角色可以分为增强器、预测器和对齐组件三类。

这篇论文提出了一种新颖的概念原型，用于设计具有大语言模型（LLMs）的多功能图学习方法，重点关注 “在哪里” 和 “如何” 方面。从 “在哪里” 角度出发，总结了包括任务定义、图数据特征工程、模型选择和优化、部署和提供服务等四个关键图学习程序，在更广泛的范围内探索了 LLMs 在这些程序中的应用场景。在 “如何” 方面，将 LLMs 的能力与每个程序的要求进行了对齐。

这项研究指出图表示学习是图中心任务中的一个关键步骤，已经取得了显著进展。早期技术通常在端到端的设置中操作，性能在很大程度上依赖于大量标记数据的可用性。这一约束促使图上的小样本学习的出现，其中每个任务只有少量特定于任务的标签可用。鉴于该领域的丰富文献，本调查努力综合最近的发展，提供比较洞察，并识别未来的方向。研究者将现有研究系统地分类为三大类：元学习方法、预训练方法和混合方法，每个类别中都有更细致的分类，以帮助读者在方法选择过程中。在每个类别中，分析这些方法之间的关系，并比较它们的优势和局限。最后，概述了图上小样本学习未来的潜在方向，以促进该领域持续的创新。

小结

大模型在自然语言处理（NLP）和计算机视觉（CV）领域均取得了显著进展，催生了一系列令人瞩目的应用，如 ChatGPT 和 Segment Anything Model。但在图学习领域，如何建立这样的基础模型，以及是否真的可以有一个统一的图学习基础模型，这些问题仍然是个未解之谜。因为不同的图结构在 “语义” 上有很大的差异，难以通过一个单一的模型实现跨数据集和多任务的图结构建模。GraphGPT 的研究借助大语言模型出色的语义建模能力，并通过图指令微调技术赋予其结构化理解，为图基础模型提供了一个可能的发展路径。

对 Data-Centric 图学习的思考：基础模型的崛起凸显了以数据为核心的人工智能（Data-Centric AI）的潜力和优势。但由于不同图结构间的“结构关联” 不能像 NLP 中那样转化为统一的 token 表示，或像 CV 中转化为像素表示，因此如何确立和推进 Data-Centric 图学习的概念仍是个开放性问题。