Relphormer:Relational Graph Transformer for Knowledge Graph Representations

资料

论文：Relphormer:Relational Graph Transformer for Knowledge Graph Representations
代码：https://github.com/zjunlp/Relphormer

摘要

Transformer在包括自然语言处理、计算机视觉和图挖掘在内的广泛领域中取得了显著的表现。然而，传统的Transformer架构在知识图谱（KG）表示上并未带来有希望的改进，该领域主要由平移距离范式主导。请注意，传统的Transformer架构难以捕获知识图谱固有的异构结构和语义信息。为此，我们提出了一种新的知识图谱表示Transformer变体，称为Relphormer。具体来说，我们引入了Triple2Seq，它可以动态采样上下文的子图序列作为输入，以缓解异构性问题。我们提出了一种新颖的结构增强自注意力机制，以编码关系信息并保持实体和关系内的语义信息。此外，我们利用掩蔽知识建模进行通用的知识图谱表示学习，这可以应用于包括知识图谱补全、问答和推荐在内的各种基于KG的任务。在六个数据集上的实验结果表明，Relphormer可以获得与基线相比更好的性能。

引言

完全应用Transformer架构到知识图谱有三个非平凡的挑战如下：

1. 边和节点的异构性。请注意，KG是具有丰富语义边缘的关系图。多条边缘具有不同的关系信息，导致不同的异构表示。
2. 拓扑结构和文本描述。KG是具有两种类型知识的文本丰富的网络，即拓扑结构和文本描述。不同的节点具有独特的拓扑和文本特征。例如，给定一个实体-关系对(ℎ, r)，表征结构上下文和文本描述将在从ℎ和r推断实体节点时提供有价值的信息。然而，以前的Transformer架构通常将所有实体和关系视为普通标记，错过了本质的结构信息。
3. 任务优化的普遍性。请注意，大多数以前的研究[10]遵循具有预定义评分函数的知识嵌入范式。然而，这种策略需要优化不同的对象用于实体/关系预测，并在推理中对所有可能的三元组进行昂贵的评分。与此同时，以前的KG表示学习方法难以为各种基于KG的任务提供统一的学习表示，如知识图谱补全、问答和推荐。因此，直观地设计一种新的技术解决方案用于知识图谱表示是有意义的。

为了解决上述问题，我们探索了Transformer架构在知识图谱表示中的应用，并提出了关系图Transformer（Relphormer）。

1. 我们提出了Triple2Seq来解决边和节点的异构性，它将上下文子图作为输入序列进行采样。具体来说，我们将关系视为子图中的正常节点，然后将上下文子图输入Transformer模块。我们使用动态采样策略来最大程度地保留局部上下文信息和语义。
2. 我们提出了一种结构增强机制来处理拓扑结构和文本描述。通过我们设计的模块，模型可以同时编码文本特征，同时保留结构信息。请注意，我们不仅关注知识图谱表示，这样的机制也适用于其他类型的基于Transformer的方法，以融入任何结构偏差。
3. 我们提出了一种掩蔽知识建模机制，用于统一的知识图谱表示学习。受自然语言处理中掩蔽语言建模的启发，我们引入了一个统一的优化目标，即预测输入序列中被掩蔽的实体以及关系标记。通过这种方式，我们可以为知识图谱补全中实体和关系的预测简单地利用一个统一的优化目标。

方法

预备知识

设 $\mathcal{G}=(\mathcal{E},\mathcal{R})$ 表示一个知识图谱，包含实体集 $\mathcal{E}$ 和关系集 $\mathcal{R}$。我们用 $\mathcal{V}$ 表示知识图谱中的节点集，即 $\mathcal{V}=\mathcal{E}\cup \mathcal{R}$。我们定义邻接矩阵 A = { a u v } ∈ { 0 , 1 } ∣ V ∣ × ∣ V ∣ \mathbf{A} = \{a_{uv}\} \in \{0, 1\}^{|\mathcal{V}| \times |\mathcal{V}|} A={auv​}∈{0,1}∣V∣×∣V∣，如果节点对 $(u,v)$ 相连则 $a_{uv}=1$，否则 $a_{uv}=0$。注意，节点对 $(u,v)$ 可以是实体和关系之间的交互。我们定义三元组为 $(v_s,v_p,v_o)$ 或简称 $\tau$，它是采样子图中的中心三元组。${\tau }_{\mathcal{G}}$ 是围绕中心三元组的上下文子图（包括中心三元组本身）。知识图谱表示学习的目标是学习一个映射 $f:{\tau }_{\mathcal{G}}\to \mathcal{Y}$，其中 $\mathbf{Y}$ 是标签集。

对于问答任务，每个问题都被标记有一个回答实体。给定一个问题，问答任务的目标是找到正确的答案。由于一些候选实体在知识图谱中，实体的潜在关联将有助于提高问答任务的性能。对于推荐任务，给定每个用户 $u$ 的一组项目 $(i_1,i_2,...)$，目标是预测用户可能感兴趣的潜在项目。这里的KG指的是以项目为中心的知识图谱，它将外部项目的属性与不同类型的实体和关系组织起来。我们认为知识表示应该是统一的，无论是知识图谱表示学习还是与知识图谱表示相关的任务。接下来，我们将介绍Relphormer在知识图谱表示学习中的技术细节。

使用Triple2Seq的上下文子图采样

如前所述，知识图谱通常包含大量的关系事实，因此整个关系图不能直接输入变换器。为了缓解基于全图的变换器的限制，受到[20]的启发，我们提出了Triple2Seq，它使用上下文的子图作为输入序列来编码局部结构信息。

上下文子图 ${\tau }_{\mathcal{G}}$ 在这里被定义为包含实体和关系的三元组集合。${\tau }_{\mathcal{G}}$ 由中心三元组 ${\tau }_c$ 和其周围的邻域三元组集合 ${\tau }_{context}$ 组成：
${\tau }_{\mathcal{G}}={\tau }_c\cup {\tau }_{context}$
注意，子图采样过程是在三元组级别进行的，然后我们可以获取采样的邻域三元组集合 ${\tau }_{context}$：
τ c o n t e x t = { τ ∣ τ i ∈ N } \tau_{\mathcal{context}} = \{\tau | \tau_i \in \mathcal{N}\} τcontext​={τ∣τi​∈N}
其中 $\mathcal{N}$ 是中心三元组 ${\tau }_c$ 的固定大小邻域三元组集合。为了更好地捕获局部结构特征，我们在训练期间使用动态采样策略，并为每个epoch中的同一中心三元组随机选择多个上下文子图。我们经验性地设置样本分布为 $E_{{\tau }_c}\sim \mathcal{P}$，其中 $\mathcal{P}$ 是三元组的度数。

经过Triple2Seq的过程后，我们可以获取上下文子图 ${\tau }_{\mathcal{G}}$。同时，上下文子图的局部结构在邻接矩阵 ${\mathbf{A}}_{\mathcal{G}}$ 中得以保留。我们注意到，实体-关系对信息对于知识图谱来说是一个非常关键的信号，这在诸如HittER[36]的分层变换器框架中证明了其有效性。因此，我们将实体-关系对表示为纯文本，并将关系视为上下文子图中的特殊节点。例如，上下文子图被转换为序列 { v 1 , v 2 , . . . , v m } \{v_1, v_2, ..., v_m\} {v1​,v2​,...,vm​}，其中包含中心三元组 ${\tau }_c$ 的节点。

通过这种方式，我们可以获取节点对信息，包括实体关系、实体-实体和关系-关系对的交互。另一个优点是，关系节点可以被视为特殊节点。由于知识图中关系的数量远小于实体的数量，因此它可以在由Triple2Seq采样的上下文子图之间保持全局语义信息。值得注意的是，我们还添加了一个全局节点来明确保持全局信息。全局节点在自然语言预训练模型中扮演着类似[CLS]标记的角色。我们通过可学习的虚拟距离或固定距离将全局节点与上下文子图中的节点联系起来。因此，我们获得了最终的输入序列，其中包含一个特殊的虚拟节点来构建节点特征。

结构增强自注意力

注意，由于注意力机制的全连接特性，输入的序列可能会丢失结构信息；我们提出结构增强自注意力来保留上下文子图中重要的结构信息。我们使用注意力偏置来捕获上下文子图中节点对之间的结构信息。注意力偏置表示为 $\varphi (i,j)$，是节点 $v_i$ 和节点 $v_j$ 之间的偏置项。
$a_{ij}=\frac{(h_i{W}_Q)(h_j{W}_K)}{\sqrt{d}}+\varphi (i,j)$
$\varphi (i,j)=f_{structure}\left({\tilde{\mathbf{A}}}^1,{\tilde{\mathbf{A}}}^2,...,{\tilde{\mathbf{A}}}^m\right)$
其中 $\tilde{\mathbf{A}}$ 是规范化的邻接矩阵，$W_Q$ 和 $W_K$ 是变换器模块中的Query-Key矩阵。$h_i$ 和 $h_j$ 表示隐藏表示，$d$ 是隐藏维度。结构编码器 $f_{structure}$ 是一个线性层，输入是 ${\tilde{\mathbf{A}}}^m$，其中 $m$ 是超参数。${\tilde{\mathbf{A}}}^m$ ($\tilde{\mathbf{A}}$ 的 $m$ 次幂) 指的是从一个节点到另一个节点通过 $m$ 步所能到达的相关性。我们连接邻接矩阵作为整体结构信息。对于某些密集的KG，同一中心三元图在不同epoch中可能有太多上下文子图，这可能会导致训练过程中的不一致性。因此，我们利用上下文对比策略在动态采样中克服不稳定性。我们使用不同epoch中同一三元组的上下文子图来强制模型进行相似的预测。我们对上下文子图的输入序列进行编码，并取隐藏向量 $h_{mask}$ 作为当前epoch $t$ 的上下文表示 $c_t$，以及上一个epoch $t-1$ 的 $c_{t-1}$。目标是最小化不同子图之间的差异；我们得到上下文损失 ${\mathcal{L}}_{contextual}$ 如下：
${\mathcal{L}}_{contextual}=-log\frac{exp(sim(c_t,c_{t-1})/\sigma )}{exp(sim(c_t,c_{t-1})/\sigma )+{\sum }_{j}exp(sim(c_t,c_j)/\sigma )}$

其中 $\sigma$ 表示温度参数，$sim(c_t,c_{t-1})$ 是余弦相似度 $\frac{c_t^T\cdot c_{t-1}}{\Vert c_t\Vert \Vert c_{t-1}\Vert }$。$c_t$ 是epoch $t$ 的隐藏状态表示，它属于不同的中心三元组。

掩蔽知识建模

在本节中，我们介绍了所提出的掩蔽知识建模用于知识图谱表示。通常，知识图谱补全的目标是学习一个映射 $f:{\tau }_{\mathcal{M}},{\mathbf{A}}_G\to \mathcal{Y}$。受掩蔽语言建模的启发，我们随机掩蔽输入序列中的特定标记，然后预测这些被掩蔽的标记。给定一个上下文子图节点序列 ${\tau }_{\mathcal{G}}$，我们随机掩蔽中心三元组中的标记。具体来说，被掩蔽的中心三元组将分别是关系预测任务中的头实体或尾实体。我们表示候选集为 $\mathcal{Y}$，掩蔽知识建模的任务是在给定掩蔽节点序列 ${\tau }_{\mathcal{M}}$ 和上下文子图结构 ${\mathbf{A}}_{\mathcal{G}}$ 的情况下，预测三元组 $\tau$ 缺失的部分：
$Relphormer(MASK({\tau }_{\mathcal{G}}),{\mathbf{A}}_{\mathcal{G}})\to \mathcal{A}$
其中 $\mathcal{Y}\in {\mathbb{R}}^{|\mathcal{E}|+|\mathcal{R}|}$。具体来说，我们只随机掩蔽序列中的一个标记，以便更好地整合上下文信息，这是由于上下文子图的独特结构。

训练和推理

训练Relphormer进行知识图谱表示学习。整体的Relphormer优化过程在算法1中说明。在训练期间，我们联合优化掩蔽知识损失和上下文对比约束对象。${\mathcal{L}}_{contextual}$ 可以视为整个损失 $\mathcal{L}$ 的约束项，如下所示：
$\mathcal{L}={\mathcal{L}}_{MKM}+\lambda {\mathcal{L}}_{contextual}$
其中 $\lambda$ 是超参数，${\mathcal{L}}_{MKM}$ 和 ${\mathcal{L}}_{contextual}$ 分别是掩蔽知识和上下文损失。具体来说，${\mathcal{L}}_{MKM}$ 通过交叉熵损失计算。

实验