摘要
现有的知识图谱(KG)嵌入模型主要关注静态KG,但真实世界的KG并不是静态的,而是随着KG应用程序的发展而发展和增长。因此,新的事实和以前看不到的实体和关系不断出现,需要一个嵌入模型,可以通过增长快速学习和转移新知识。基于此,本文研究了KG嵌入的一个扩展领域,即终身KG嵌入。我们考虑了知识的迁移和保留学习的增长快照的KG,而不必从头开始学习嵌入。该模型包括一个用于嵌入学习和更新的蒙面KG自动编码器,一个将所学知识注入到新的实体和关系嵌入中的嵌入转移策略,以及一个避免灾难性遗忘的嵌入正则化方法。为了研究KG生长的不同方面的影响,我们构建了四个数据集来评估终身KG嵌入的性能。实验结果表明,该模型优于目前最先进的归纳和终身嵌入基线。
1.介绍
因此,本文提出研究成长kg的终身嵌入学习和迁移,目标是学习新事实,同时保留旧知识,而不需要从头开始重新训练。
提出的终身KG嵌入任务面临两个主要挑战。第一,如何平衡新知识的学习和旧知识的迁移?从头开始学习新实体和关系的嵌入不能利用以前学习过的知识,并且为它们归纳生成嵌入会忽略新快照中的新知识。第二,如何在保留有用知识的同时更新旧知识?学习关于旧实体的新事实通常需要更新以前学习过的嵌入,这可能对旧模型有害。这是因为更新一个旧的实体嵌入会影响许多其他相关实体的旧嵌入。这将导致灾难性的遗忘问题,从而影响构建在旧KG快照上的应用程序。
在LKGE模型中。首先,作为新知识学习和旧知识更新的基础嵌入模型,我们设计了一个掩码KG自编码器,对新事实中的实体或关系进行掩码和重构。它在与本地