文章题目：Adapting Meta Knowledge Graph Information for Multi-Hop Reasoning over Few-Shot Relations
时间：2019

摘要

多跳知识图 (KG) 推理是一种有效且可解释的方法，用于在查询回答 (QA) 任务中通过推理路径预测目标实体。大多数以前的方法都假设 KGs 中的每个关系都有足够的训练三元组，而不考虑那些不能为训练鲁棒推理模型提供足够的三元组的小样本关系。事实上，现有的多跳推理方法在少样本关系上的性能显着下降。在本文中，我们提出了一种基于元的多跳推理方法（Meta-KGR），它采用元学习从高频关系中学习有效的元参数，可以快速适应少镜头关系。我们在从 Freebase 和 NELL 采样的两个公共数据集上评估 Meta-KGR，实验结果表明 Meta-KGR 在少镜头场景中优于当前最先进的方法。我们的代码和数据集可以从 https://github.com/THU-KEG/MetaKGR 获得。

引言

最近，大规模知识图谱 (KGs) 已被证明对查询回答 (QA) 等许多 NLP 任务有益。 QA 的三重查询通常形式化为 $e_s, r_q, ?)$ ，其中 $e_s$ 是源实体， $r_q$ 是查询关系。例如，给定一个语言查询“What is the nationality of Mark Twain?”，我们可以将其转化为o (Mark Twain, nationality, ?)，然后从 KGs 中搜索目标实体 America 作为答案。然而，由于许多 KGs 是自动构建的并且面临严重的不完整问题 (Bordes et al., 2013)，通常很难直接获得目标实体进行查询。
为了缓解这个问题，一些知识图谱嵌入方法 (Bordes et al, 2013; Dettmers et al., 2018) 被提出将实体和关系嵌入到语义空间中以捕获内部连接，然后使用学习到的嵌入进行最终预测。尽管这些基于嵌入的方法在预测查询的目标实体方面显示出强大的能力，但它们只能给出答案并且缺乏决策的可解释性（Lin 等人，2018）。为了使模型更直观，Das 等人（2018）和 Lin 等人（2018）提出了多跳推理方法，利用知识图谱中关系的符号组合性来获得可解释的推理结果。例如，当使用 (Mark Twain, nationality, ?) 查询时，多跳推理模型不仅可以给出目标实体 America，还可以给出多跳可解释路径 (Mark Twain, bornIn, Florida) ∧(Florida, locatedIn, America）。
大多数以前的工作都假设有足够的三元组来为知识图谱中的每个关系训练一个有效且稳健的推理模型。然而，如图 1 所示，很大一部分 KG 关系实际上是长尾关系（Xiong et al., 2018; Han et al., 2018）并且只包含很少的三元组，可以称为少样本关系。一些试点实验表明，之前的多跳推理模型，例如 MIN ERVA (Das et al., 2018) 和 MultiHop (Lin et al., 2018)，在这些少样本关系上的性能将显着下降。请注意，有一些知识图嵌入模型（Xiong et al., 2018; Shi and Weninger, 2018; Xie et al., 2016）可以处理零样本或单样本关系，但它们仍然有两个主要的缺点：

-（1）它们是基于嵌入的模型，缺乏可解释性； (2) 他们关注零镜头或单镜头关系，这与真实世界的场景有些距离。事实上，即使是人，也很难在几乎没有例子的情况下掌握新知识。因此，few-shot multi-hop推理是一个非常重要和实际的问题，但尚未完全解决。

在本文中，我们提出了一种基于元的多跳推理算法（Meta-KGR）来解决上述问题，这对于少样本关系是可解释且有效的。具体来说，在 Meta-KGR 中，我们将 KGs 中具有相同关系 $r$ 的三重查询视为一个任务。对于每项任务，我们采用强化学习 (RL) 来训练代理来搜索目标实体和推理路径。类似于之前的元学习方法 MAML (Finn et al., 2017)，我们使用高频关系任务来捕获元信息，其中包括不同任务之间的共同特征。然后，通过提供一个良好的起点来训练特定的推理代理，元信息可以快速适应小样本关系的任务。在实验中，我们在从 Free base 和 NELL 采样的两个数据集上评估 Meta-KGR，实验结果表明 Meta-KGR 在少样本场景中优于当前最先进的多跳推理方法。

问题定义

我们正式定义了一个 KG $G = \{E, R, F\}$ ，其中 $E$ 和 $R$ 分别表示实体和关系集。 $F = \{(e_s, r, e_o)\} ⊆ E × R × E$ 是三元组，其中 $e_s, e_o ∈ E$ 是实体， $r \in R$ 是它们之间的关系。在本文中，如果提及关系 $r$ 的三元组数量小于特定阈值 $K$ ，则认为 $r$ 为少镜头关系，否则为正常关系。
给定一个查询 $e_s, r_q, ?)$ ，其中 $e_s$ 是源实体， $r_q$ 是少样本关系，少样本多跳推理的目标是为该查询预测正确的实体 $e_o$ 。与之前的知识图谱嵌入工作不同，多跳推理还给出了一条从 $e_s$ 到 $e_o$ 到 $G$ 的推理路径来说明整个推理过程。

模型

MAML 的主要思想是使用一组任务为具有少量训练示例的新任务学习良好初始化的参数 $θ *$ 。当应用于少样本多跳推理时，具有相同关系 $r$ 的三重查询被视为任务 $T_r$ 。我们使用具有正态关系的三元组来找到初始化良好的参数 $θ *$ 并根据找到的初始参数在具有少样本关系的三元组上训练新模型。如图 2 所示，我们可以轻松快速地适应具有参数 $θ_{r_1}$ 、 $θ_{r_2}$ 或 $θ_{r_3}$ 的新模型，用于小样本关系 $r_1$ 、 $r_2$ 或 $r_3$ 。
Meta-KGR的学习框架可以分为两部分：（1）relation-specific learning； (2) 元学习。 Relation-specific learning 旨在为特定关系 $r$ （任务）学习一个带有参数 $θ_r$ 的 REINFORCE 模型，以搜索目标实体和推理路径。元学习基于特定关系学习，用于学习具有参数 $θ *$ 的元模型。我们将在接下来的章节中介绍这两个部分。

4.1 Relation-Specific Learning

对于每个查询关系 rq ∈ R，我们学习了一个特定于关系的多跳推理代理来搜索 G 上的推理路径和目标实体，这是基于 Lin 等人（2018）提出的 on-policy RL 方法。

4.1.1 强化学习公式

对 $G$ 的搜索过程可以看作是一个马尔可夫决策过程 (MDP)：我们将 $G$ 表示为一个有向图，实体和关系分别为节点和边。当给定一个查询及其答案 $e_s, r_q, e_o)$ 时，我们期望 $r_q$ 的代理可以从源实体 $e_s$ 开始并通过几条边到达目标实体 $e_o$ 。更具体地，MDP定义如下。
状态：第 $t$ 个时间步的状态被定义为一个元组 $s_t = (r_q, e_s, \hat e_t)$ ，其中 $r_q$ 是查询关系， $e_s$ 是源实体， $\hat e_ t$ 是当前G上的实体。
动作：给定状态 $s_t$ 的动作空间 $A_t$ 包括 $\hat e_t$ 的所有出线边和下一个实体。 $A_t= \{(r_{t + 1}, \hat e_{t + 1}) |(\hat e_t,r_{t + 1}, \hat e_{t + 1})∈G\}$ 。我们为每个 $A_t$ 添加一条自循环边，这类似于“STOP”动作。
转换：对于状态 $s_t$ ，如果代理选择一个动作 $(r_{t+1},\hat e_{t+1})∈A_t$ ，则状态将变为 $s_{t+1} = (r_q, e_s, \hat e_{t+1}$ )。转换函数定义为 $δ(s_t, A_t) = (r_q, e_s, \hat e_{t+1}$ )。在本文中，我们将搜索在 $G$ 上展开到固定的时间步数 $T$ ，最终得到状态 $s_T = (r_q, e_s, \hat e_T$ )。
奖励：如果智能体最终停在正确的实体，即 $\hat e_T = e_o$ ，则奖励 $R(s_T |r_q, e_s)$ 将为1，否则它将获得基于嵌入的奖励 $f(e_s, r_q, \hat e_T)$ ，其中 $f$ 是来自知识图嵌入方法的评分函数，用于测量 $(e_s, r_q, \hat e_T)$ 的概率。

4.1.2 策略网络

为了解决上述MDP问题，我们需要一个在每个状态下都有策略选择行动的模型。具体而言，与一般的RL问题不同，我们应用了一个考虑 $G$ 上搜索历史的策略网络，形式上，在 $G$ 中分别嵌入所有实体和关系 $e∈R^d$ 和 $r∈R^d$ 后， $a_t = (r_{t+1}, \hat e_{t+1})∈A_t$ 的每个动作表示为 $a_t = [r_{t+1}; \hat e_{t+1}]$ 。我们使用LSTM来编码搜索路径。
然后，我们通过将 $A_t$ 中的所有动作叠加为 $A_t∈R^{|A_t|×2d}$ 来表示动作空间。参数化的策略网络定义为
其中 $π_θ(a_t|s_t)$ 是 $a_t$ 中所有作用的概率分布。

4.1.3 损失函数

给定一个查询关系 $r$ 和一批集合为 $D$ 的三元组，且具有关系 $r$ ，则该关系的总体损失定义为:

4.2 元学习

在元学习中，我们的目标是学习初始化良好的参数 $θ *$ ，这样，参数的微小变化将对任何任务的损失函数产生显著的改进(Finn et al.， 2017)。
形式上，我们考虑一个参数为 $θ$ 的元策略网络。当适应新的任务 $T_r$ 时，模型的参数变为 $θ'_r$ 。对于MAML，更新后的参数 $θ'_r$ 是使用任务 $T_r$ 上的一个或多个梯度下降更新计算的。例如，假设以学习率 $α$ 采取一个梯度步骤
在掌握了关系相关参数 $θ'_r$ 之后，我们在属于 $T_r$ 的查询集DQ上计算 $θ'_r$ ，该查询集像DS一样采样。通过计算得到的梯度可以用来更新具有参数 $θ$ 的元策略网络。通常，我们会在一批中检查许多任务，并将 $θ$ 更新为下面的内容:
其中 $β$ 为元学习率。我们在算法1中详细介绍了元学习算法。
在经过前面的元学习步骤之后，通过使用 $θ$ 作为初始化良好的参数 $θ *$ ， Meta-KGR可以快速适应于每个少数镜头关系的特定关系策略网络。

实验

5.1 数据集

我们使用FB15K-237 (Toutanova et al.， 2015)和NELL-995 (Xiong et al.， 2017)两个典型数据集进行训练和评估。具体来说，我们设置K = 137和K = 114分别从FB15K-237和NELL995中选取少量镜头关系。此外，我们重建了NELL-995，以生成有效集和测试集的few-shot关系。表2中分别给出了正常关系和少数镜头关系的统计数据。

基线

我们在实验中比较了四种多跳推理模型:(1)神经逻辑编程(NerualLP) (Yang et al.， 2017);(2) NTP-λ (Rocktaschel and Riedel¨，2017);(3) MINERVA (Das等人，2018)和(4)MultiHop (Lin等人，2018)。对于MultiHop和我们的模型，我们使用DistMult (Yang et al.， 2015)和ConvE (Dettmers et al.， 2018)作为奖励函数来创建两种不同的模型变体，在表1的括号中标记了它们。

链接预测

给定一个查询 $e_s, r_q， ?)$ ， QA的链接预测旨在从KG中给出候选实体的排序列表。继之前的工作(Dettmers等人，2018;Lin et al.， 2018)，我们在该任务中使用了两个评估指标:(1)所有正确实体的平均倒数排名(MRR)和(2)排名不大于N的正确实体的亲校对部分(Hits@N)。
两个数据集的评价结果如表1所示。从表中我们可以得出:(1)我们的模型在大多数情况下优于以往的工作，这意味着从高频关系中学习到的元参数可以很好地适应少炮关系。(2)在模型中，ConvE作为奖励函数优于DistMult。这表明更有效的知识边图嵌入方法可以为训练多跳推理模型提供更细粒度的奖励。(3)与NELL-995相比，FB15K237密度更大。我们的模型在两个数据集上都表现良好，这表明Meta-KGR可以适应不同类型的KGs。

鲁棒性分析

我们可以用不同的频率阈值 $K$ 来选择少炮关系。在本节中，我们将研究K对我们模型性能的影响。在我们的实验中，一些三元组将被删除，直到每几个镜头的关系只有K个三元组。我们在FB15K-237上做了链路预测实验，并使用ConvE作为我们的奖励函数。最终结果如表3所示。K = max意味着我们使用表2中的整个数据集，并且不删除任何三元组。从表3中我们可以看到我们的模型对K是健壮的，并且在任何情况下都优于MultiHop。

结论

本文提出了一种基于元学习的知识图少镜头关系多跳推理模型Meta-KGR。Meta-KGR使用具有高频关系的训练三元组来查找初始化良好的参数值，并快速适应少镜头关系。从高频关系中得到的元信息对少炮关系有帮助。在实验中，我们的模型在少数镜头关系上取得了良好的性能，在大多数情况下优于以往的工作。一些实证分析也表明，我们的模型是稳健的，并可推广到不同类型的知识图。