TransE

该模型将关系和实体表示为同一空间中的向量，给定事实 $（ h, r, s ）$ 关系 $r$ 的向量 $r$ 被解释为头实体向量 $h$ 与尾实体向量 $t$ 之间的平移,因此嵌入实体 $h$ 和 $t$ 可以通过平移向量 $r$ 以低误差链接，即满足 $\approx t$ 。

TransE (Translating Embedding), an energy-based model for learning low-dimensional embeddings of entities.
核心思想：将 relationship 视为一个在 embedding space 的 translation。如果 $(h, r, t)$ 存在，那么 $\approx t$
Motivation：一是在Knowledge Base中，层次化关系是非常常见的，translation是一种很自然表示它们之间变换。二是近期一些从 text 中学习 word embedding 的研究发现，一些不同类型的实体之间的 1-to-1 的 relationship 可以被 model 表示为在 embedding space 中的一种 translation

TransE训练算法如下:

在这里插入图片描述

输入参数

training set S: 用于训练的三元组集合，entity的集合为E,relationship的集合为L。

margin $\gamma$ :损失函数中的间隔

每个entity或relationship中的embedding dim k。

训练过程

初始化：对于每个entity和relationship的embedding vector,用xavier_uniform 分布来初始化，然后对其实现l1 l2正则化。

loop:

在 entity embedding 被更新前进行一次归一化，这是通过人为增加 embedding 的 norm 来防止 loss 在训练过程中极小化
Sample 出一个mini-batch的正样本集合 $S_{batch}$
将 $T_{batch}$ 初始化为空集**，它表示本次 loop 用于训练 model 的数据集**
for $\in S_{batch}$ do:
- 根据构造的 $(h, l, t)$ 构造一个错误的三元组 $h^′ , l , t^′ )$
- 将positive sample $(h, l, t)$ 和negative sample $h^′ , l , t^′ )$ 加入到 $T_{batch}$ 中。
计算 $T_{batch}$ 每一对的positive sample和negative sample的loss,然后累加起来用于更新embedding matrix.每一对的loss计算方式为：

关于margin $\gamma$ 的含义

其相当于是一个正确的triple和一个错误的triple的间隔修正，margin越大，则两个triple之前被修正的间隔就越大。则对embedding的修正就越严格。
在这里插入图片描述

错误三元组的构造方法

将 $(h, l, t)$ 中的头实体、尾实体和关系其中之一随机替换为其他实体或关系来得到。

评价指标

在这里插入图片描述

TransE的优缺点

与以往模型相比，其模型参数较少，计算复杂度低，却能直接建立实体和关系之间的复杂语义联系。在 WordNet 和 Freebase 等 dataset 上较以往模型的 performance 有了显著提升，特别是在大规模稀疏 KG 上，TransE 的性能尤其惊人

缺点

在处理复杂关系 $(1 - N 、 N - 1 和 N - N)$ 时，性能显著降低，这与 TransE 的模型假设有密切关系。假设有 (美国，总统，奥巴马）和（美国，总统，布什），这里的“总统”关系是典型的 1-N 的复杂关系，如果用 TransE 对其进行学习，则会有：
在这里插入图片描述
那么这将会使奥巴马和布什的 vector 变得相同。所以由于这些复杂关系的存在，导致 TransE 学习得到的实体表示区分性较低。