记录一下学习TransE的笔记~

最后更新时间：20230512

 1.要解决的问题

        （1）以往的模型（Bayesian clustering和energy-based）关注于增强模型的表达能力和普遍性，但却增加了模型的复杂性及计算消耗。

        （2）以往的模型容易过拟合，因为为这种高容量模型设计正则化方法是困难的。

        （3）以往的模型容易欠拟合，因为有很多局部最小值的非凸优化问题需要通过训练来解决。

作者的目的是构建一个易于训练、参数量少、适用于大型数据集的多种关系类型的知识表示模型。

2.方法

思想：关系看作嵌入空间中的变化（translations），如果三元组成立，那么尾实体的嵌入向量应该与头实体的嵌入向量和关系的嵌入向量之和接近。

motivation：

（1）层级关系在KBs中很常见，且可用translations来表示。考虑一个树结构，也就是用二维的嵌入表示节点。相似的节点在二维空间中应该是接近的，给定高度的节点沿着x轴排列；父子关系对应的是y轴上的变化（translations）。等价关系用空translation表示。

（2）参考论文[8]，[8]从文本中学习词嵌入向量，并巧合的用嵌入空间中的translations表示实体间的关系。

未完待续。。