论文来源：IEEE Transactions on Knowledge and Data Engineering 2023

论文地址：Contrastive Multi-Modal Knowledge Graph Representation Learning | IEEE Journals & Magazine | IEEE Xplorehttps://ieeexplore.ieee.org/abstract/document/9942333

论文代码：暂无 

 Fang Q, Zhang X, Hu J, et al. Contrastive multi-modal knowledge graph representation learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2022, 35(9): 8983--8996.

---

Abstrast

        知识图谱表示学习旨在将实体和关系表示为低维连续空间中的向量，这将促进链接预测、实体检索等各种应用。现有的大部分知识图谱嵌入方法专注于独立建模结构化的事实三元组，而忽略了三元组中多种类型的关系以及知识图谱中实体相关的多种数据类型，因此无法捕获实体-关系三元组内部固有的复杂信息和多模态信息。本文提出一种新的知识图谱嵌入方法，即对比多模态图神经网络CMGNN，该方法可以包含实体的多模态内容描述和高阶连通结构。具体来说，CMGNN首先从多模态内容描述中学习实体嵌入，然后对比来自多关系局部邻居和高阶连通的编码来同时获得实体和关系的潜在表示。实验结果表明，CMGNN可以有效地对知识图谱中的多模态和多类型结构进行建模，并且在链接预测和实体分类任务中取得了SOTA的结果。

Introduction

        知识图谱表示学习模型主要分为基于翻译的模型、基于相似度的模型、因子分解模型和神经模型，利用结构化的实体-关系交互学习KG中实体和关系的低维分布嵌入。代表性模型包括TransE、DistMult、RESCAL、ConE、RGCN等。

        但是，现有方法主要集中于独立建模KG中结构化的事实知识，而缺乏对KG中实体的局部邻居的异质性（即相连的节点具有不同的特征和不同的类标签）和高阶连通结构的关注，这其中可能包含KG嵌入的有价值的内在信息。KG包含一个实体的局部邻居的各种类型的数据和高阶异质结构，这使得实体涉及多种类型的上下文，并表现出不同的含义。

        例如，对于实体“BarackObama”，相关的个人照片和文本描述提供了重要的多模态信息，直观的描述了实体的长相和行为。此外，左边的蓝色子图显示了他作为美国前总统的政治角色，而右边的橙色子图显示了他作为丈夫和父亲的家庭角色，这表现出了多视图的语义。此外，“BarackObama”不仅与邻接实体总统有直接联系，还与高阶关系节点有联系，如政治家。

        本文提出CMGNN，通过利用KGs中的多模态信息和高阶关系来实现知识图谱表示学习。在CMGNN中，将多模态实体嵌入、局部邻居的多关系特征学习、和实体的高阶连接建模结合在一个统一的框架内，采用对比学习的方式充分利用KGs中的多模态数据和异质结构。

        具体来说，

        ①为了处理实体的多模态特征，采用多层感知机网络来学习不同类型数据的实体嵌入；

        ② 为了处理局部邻居三元组的异质性，设计了一个局部对比多关系特征聚合网络来获取实体特征信息，首先利用关系内GCN更新特定关系的实体特征，然后通过对比每个实体及其关系特定子图的编码，构建基于注意力池化的外部关系特征聚合网络。该局部对比多关系学习模块使学习到的实体嵌入能够更好地捕获kg中的局部邻域结构信息。

        ③ 接下来，CMGNN对比了来自高阶邻居的实体编码和KG扩散，以鼓励实体嵌入在KGs中携带高阶连通性信息。

        ④ 最后，利用基于ConvE的解码器模块来学习KGs中的最终实体和关系表示。

Methodology

Overview

CMGNN是一个Encoder-decoder框架，如图2所示，CMGNN由三个部分组成：多模态实体嵌入、局部对比多关系特征聚合、和高阶对比解码。