Few-Shot Knowledge Graph Completion

news2025/2/25 1:28:18

[1911.11298] Few-Shot Knowledge Graph Completion (arxiv.org)

Background

Model

Encoding Heterogeneous Neighbors

Aggregating Few-Shot Reference Set

Matching Query and Reference Set

Background

以往的KGC认为每个关系有足够的实体对可以进行学习，但在实际数据集中，关系的频率分布往往有长尾，在KG中，很大一部分关系只有很少的实体对，因此如何处理实体对有限的关系是有挑战的。

Model

FSRL模型包含三个主要的部分：（1）为每个实体编码异构邻居；（2）为每个关系聚合少量参考实体对；（3）用参考集匹配查询对进行关系预测。

Encoding Heterogeneous Neighbors

设计了一个关系感知的异构邻居编码器。

给定头实体h，定义关系邻居集为

ri和ti表示h的第i个关系和对应的尾实体;异构邻居编码器应该可以对Nh编码，通过考虑关系邻居(ri, ti) $\in$ Nh的不同影响，从而生成一个头实体h的特征表示。通过关注权αi考虑了异构关系邻居的不同影响，并利用实体ti和关系ri的嵌入来计算αi。eti eri是嵌入向量是(d,1)维的。

Aggregating Few-Shot Reference Set

对参考集中的少数镜头实例的相互作用进行建模。需要设计一个模块来有效地为每个关系r制定参考集Rr的聚合嵌入。

作者通过聚合参考集Rr中所有实体对的表示来产生Rr的的嵌入。

作者的聚合函数AG选取的是递归自编码器聚合器。实体对嵌入 $\mathcal E_{h_{k},t_{k}}\in R_{r}$ 通过以下方式依次送入循环自编码器。

损失函数是重构损失函数

为了确定参考集的嵌入，将编码器的所有隐藏状态聚合起来，并通过添加残差连接和注意力权重对其进行扩展，因此参考集的嵌入计算如下：

Matching Query and Reference Set

有了异构邻居编码器fθ以及参考集聚合器 $f_{\epsilon}$ ,下面展示如何有效的匹配每个query实体对(hl,tl) $\in$ Qr,和参考集Rr。Qr是关系r的所有查询对的集合。

将fθ和 $f_{\epsilon}$ 应用于查询实体对(h,tl)和参考集Rr，可以得到两个嵌入向量 $\mathcal E_{h_{l},t_{l}}=[f_{\theta}(h_{l})\oplus f_{\epsilon}(t_{l})]$ 和 $f_{\epsilon}(R_{r})$ 。为了测量两个向量之间的相似性，使用循环处理器执行多步匹配，第t步处理步骤定义为：