5.2 LLM-augmented KG Completion

知识图谱补全(KGC)是指对给定知识图谱中缺失的事实进行推断的任务。与KGE类似，传统的KGC方法主要关注于KG的结构，而没有考虑广泛的文本信息。然而，最近llm的集成使KGC方法能够对文本进行编码或生成事实，以获得更好的KGC性能。这些方法根据其使用风格分为两个不同的类别:1)作为编码器的LLM (PaE)和2)作为生成器的LLM (PaG)。

5.2.1 LLM作为编码器(PaE)

如图18 (a)、(b)和(c)所示，这一行工作首先使用仅编码的llm来编码文本信息和KG事实。然后，他们通过将编码的表示输入预测头来预测三元组的合理性，预测头可以是一个简单的MLP或传统的KG评分函数(例如TransE[25]和TransR[187])。

 

Joint Encoding联合编码

由于只有编码器的LLM(例如Bert[1])擅长对文本序列进行编码，因此KG-BERT[26]将一个三组(h, r, t)表示为文本序列，并用LLM对其进行编码(图18(a))。

 [CLS]令牌的最