论文浅尝 | Future Event Prediction Based on Temporal KG Embedding

笔记整理：杨露露，天津大学硕士

链接：https://www.techscience.com/csse/v44n3/49146/html

动机

对未来事件的准确预测在许多领域为社会带来巨大利益，减少损失，如内乱、流行病和犯罪。知识图谱是描述和建模复杂系统的通用语言。不同类型的事件不断发生，这些事件通常与历史事件和并发事件有关。在本文中，作者将未来事件的预测形式化为一个时态知识图谱推理问题。现有的大多数研究要么对静态知识图谱进行推理，要么假设在训练过程中所有时间戳的知识图谱都是可用的。因此，他们不能有效地推理时间知识图谱和预测未来发生的事件。为了解决这个问题，最近的一些工作学习基于历史事件的时态知识图谱来推断未来的事件。然而，这些方法并没有综合考虑历史事件和同期事件背后的潜在模式和影响。本文基于一种新的历史事件和并发事件注意感知机制，通过对事件知识图谱序列进行递归建模，提出了一种新的图表示学习模型，即RE-GAT。更具体地说，RE-GAT使用一个基于注意力的历史事件嵌入模块来编码过去的事件，并使用一个基于注意力的并发事件嵌入模块来建模相同时间戳的事件关联。为了优化实体和关系的嵌入，开发了基于翻译的解码器模块和学习目标。在四个基准数据集上评估了作者提出的方法。大量实验结果表明，与各种基线相比，RE-GAT模型具有优越性，这证明作者的方法可以更准确地预测将要发生的事件。

亮点

本文的亮点主要包括：

1.将未来事件预测问题形式化为时态知识图谱的推理问题；2.RE-GAT使用RNN和GNN联合编码来自历史和并发事件的时间和结构事件信息，以预测未来事件。此外，采用了一种新颖的注意力机制，以确保更好地表示与事件相关的复杂模式。

概念及模型

RE-GAT由实体和关系嵌入编码器和解码器组成。前者包含基于注意力的并发事件嵌入模块和基于注意力的历史事件嵌入模块；后者适用基于翻译的分数函数来完成相应的实体预测任务。

具体来说，RE-GAT：

•使用基于注意力的递归神经网络对历史事件中的信息序列模式进行建模。•使用基于注意力的图神经网络表示机制学习每个时间戳的知识图谱中并发事件之间的局部结构关系。•基于学习到的时间事件主题嵌入、事件对象嵌入和事件类型嵌入，使用经典的基于翻译的解码器预测后续时间戳的未来事件。

模型整体框架如下：

•基于注意力的并发事件嵌入模块

为了在同一时间戳捕获并发事件信息，本模块使用基于注意力的历史事件嵌入模块来编码这些事件中实体和关系之间的结构依赖和关联。由于图形神经网络（GNN）对非结构化图形数据具有强大的表达能力，并且邻域在现实中发挥不同的影响，因此作者使用ω层图形注意网络（GAT）来建模邻域并发事件信息。为了表示模型中事件实体的逆事件类型（关系），作者添加了逆事件四元组在相同的时间戳下，为每个事件指定基于事件的KG。具体来说，对于时间戳t处的每个知识图，事件对象o在 ω 层处获得其嵌入，从层的图形注意网络框架下的四元组中相应的事件主题和事件类型，学习其在层的向量表示，即：

其中，分别表示在时间戳t处事件对象o、事件主题s和事件类型r的l^th层的向量嵌入；是可学习的注意力权重，和是层中可学习的权重矩阵参数。在等式（5）中，计算事件主题和事件对象之间的成对非标准化注意力得分，其中∥表示串联。首先连接事件对象和事件主题的向量表示，然后取具有可学习权重向量a^((l))的点积。最后将LeakyReLU应用于点积结果。在等式（6）中，使用softmax函数规范化包含事件对象实体的所有四元组的注意力得分。与经典图卷积网络（GCN）的聚合器类似，并发事件的嵌入量乘以注意得分，相加，再加上等式（7）中的自循环嵌入量。注意，每个KG 由一组发生在同一时间戳的事件组成。我们使用等式（7）中的捕获事件主题、事件类型和事件对象之间的关系。

•基于注意力的历史事件嵌入模块

本模块旨在为实体对之间的历史事件模式建模，跨时间编码时间信息，并为实体和关系生成时间嵌入。为了涵盖尽可能多的历史事件的时间模式，模型需要考虑事件的时间序列。大量堆叠的基于翻译的GAT模块可能会引入消失梯度问题，从而防止在训练迭代过程中权重发生变化。因此，作者在基于注意力的历史事件嵌入模块中使用时间门组件来解决此问题。事件实体矩阵H_t由最后一层ω中基于注意的并发事件嵌入模块在时间戳t处的输出计算得出，即 ω 和。更具体地说，

其中，⊗表示元素级别的点积操作。时间门矩阵U_t∈R^(|E|×d)应用非线性sigmoid转换：

为了更好地捕获事件表示，我们采用了历史事件关注机制，该机制允许模块动态选择和线性组合关系的不同历史事件：

其中，是参数，因素 ατ 决定了在进行预测时应该强调或忽略历史事件的哪一部分。关系嵌入r_t形成t处关系的嵌入矩阵，即。

•基于翻译的解码器模块

为了对等式（7）中向量表示的平移特性进行余弦排序，选择ConvTransE作为解码器模型来计算等式中的条件概率。事件对象的概率为：

同样，事件类型的概率分数为:

其中，σ(∙)表示广泛使用的sigmoid函数，在时间戳t-1处，在H_(t-1)和R_(t-1) 处的事件主题s, 事件类型r和事件对象o的矢量表示。

•学习目标

事件对象实体预测问题(s,r,?,t)可以看作是一个多类分类问题，其中每个类对应于每个事件对象实体。同样，我们也可以将主题实体预测问题(?,r,o,t)视为一个多类分类任务。在不损失一般性的情况下，作者将未来事件预测问题描述为以时间戳四元组(s,r,?,t)预测事件对象。可以很容易地扩展模型来预测事件主题实体，即(?,r,o,t)。使用 ∈ 和 ∈ 表示时间戳t处事件实体预测任务和关系预测任务的标签向量表示。

其中，Τ表示训练数据集中基于事件的KG时间戳总数，和分别表示和中的第i个矢量元素。对于确实发生的事件，向量和的元素为1，否则为0。将多任务学习框架用于事件实体预测和事件类型预测任务。因此，最终损失分数可计算为：

其中， λ 是参数，可以根据任务选择参数值，并控制每个组件的重要性。

理论分析

实验

作者使用了四个基于事件的时态知识图谱数据集，它们用时间戳记录事件，即ICEWS05-15、ICEWS14，ICEWS18和GDELT。主要将RE-GAT与以往的静态KG和时态KG方法进行比较。静态KG推理模型包括TransE、DistMult、CompleEx和RotatE。时态KG学习方法包括HyTE、TA DistMult、RE-NET和CyGNet。

实验结果如下：

可以看出，静态KGE方法比RE-GAT方法差得多，因为它们无法捕获时间事件信息。在RE-GAT在MRR和H@1/3/10指标中，HyTE和TADistMult只能独立地学习每个时间戳的事件表示，并且缺乏捕获长期依赖性的能力。

还可以看出，RE-GAT优于ICEWS05-15、ICEWS14和ICEWS18数据集上的所有基线。例如，RE-GAT比第二好成绩提高了11.19% 在ICEWS05-15数据集上的度量H@3。

为了进一步研究RE-GAT模型的性能和知识图谱的可视化优势，对ICEWS18测试数据集基于事件的时态知识图谱中的三个子图进行了案例研究。如下图所示，作者得到了时间戳为2018/09/26和2018/09-27的历史事件（四次），并试图预测2018年9月28日军事（塔利班）将使用非常规暴力的实体。如下图中2018/09/208的子图所示，RE-GAT成功获得了正确答案军事（阿富汗），这表明RE-GAT模型可以学习时间和结构事件信息。

总结

提前预测事件（如政治事件、流行病和犯罪等）的发生是非常可取的，以减少潜在的损害和社会动荡。本文将事件预测问题表示为时态知识图谱的推理问题。提出了RE-GAT模型解决这个问题。RE-GAT从历史和并发结构的角度学习事件信息，以进行未来预测，还考虑了过去历史事件和同一时间戳内并发事件的复杂影响，这使得它能够有效地捕获历史模式和邻域事件交互。在四个真实数据集上的实验结果表明，RE-GAT模型比基线有显著改进。

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。