【paper】 Interaction Embeddings for Prediction and Explanation in Knowledge Graphs
【简介】 本文是浙大和苏黎世大学的学者联合发表于 WSDM 2019 上的工作,文章提出了 CrossE,模型的思想也没有很高端,就是引入了一个矩阵C,用于计算实体和关系 crossover interaction,然后挖掘出可靠路径用于为链接预测提供解释。本文的重点有两个,一个是建模了 crossover interaction,另一个是对链接预测进行了 explanation。
问题定义
crossover interaction
crossover interaction 指的是实体和关系的双向(bi-directional)影响,包括从关系到实体的交互和从实体到关系的交互。
文章举了个栗子,为了说明关系(isFatherOf)影响了 information of entities to be chosen for inference,这是从关系到实体的交互;同样,实体信息也影响关系推断路径。
给定三元组(h,r,t),crossE分四步:
1.对头实体 h 生成 interaction embedding hIhI;
2.对关系 r 生成 interaction embedding rIrI;
3.组合上面二者的 interaction embedding hIhI 和 rIrI;
4.比较组合 embedding 和尾实体 t 的相似性。
link prediction explanation
给出链接预测的解释,就是找出从头实体到尾实体的合理路径和相似结构以支持路径解释。
评价指标有:1.Recall;2.Average Support。
CrossE 模型
首先通过 one-hot 向量查表找到头尾实体和关系的 general embedding:
(1)头实体的 interaction embedding
crcr depends on 关系 r。
(2)关系的 interaction embedding
头实体的interaction embedding 与 r 做 Hadamard 积得到 r 的 interaction embedding。
(3)头实体与关系组合
(4)相似性度量
上一步得到的头实体与关系的组合表示与尾实体进行相似性度量:
整体的三元组打分函数为:
同时,为了对比 crossover interaction 的作用,文章还给出了没有 interaction 的简化版本:
Loss Function 采用 log-likelihood 的损失函数:
预测结果的解释
链接预测的解释,其实就是类比推理。对于预测出的三元组(X, isFatherOf, M),做出预测的原因有二:一是已有 premise (X, hasWife, Z) 和 (Z, hasChild, M);二是左侧的 similar structure,存在这两个 premise 的 S 和 X 之间存在 hasChild 的关系。和昨天看的四边形的 ANALOGY 类比推理是一回事。
进行 explanation search 有两步:
1.寻找从 h 到 t 的闭合路径;
2.寻找 similar structure 作为 support。
实验
链接预测正确率
实验的效果根本就不是最优,不知道 introduction 里的 state-of-the-art 是怎么写出来的=.=|
explanation
举例展示了挖掘出的六种类比推理结构类型:
该模型没有给出代码。
【总结】 在这篇文章中学到/想到的一点是,如果方法/idea不是那么高端的话,可以通过多做实验另辟蹊径来弥补,如本文如果只做了 crossover interaction 的工作的话,就会显得单薄和鸡肋,但是因为加上了 explanation 这样一个工作重点,就会显得比较详实。
双线性模型(六)(CrossE、RotatE、TuckER) - 胡萝不青菜 - 博客园