A Survey of Knowledge-Enhanced Pre-trained Language Models

Linmei Hu, Zeyi Liu, Ziwang Zhao, Lei Hou, Liqiang Nie, Senior Member, IEEE and Juanzi Li

2023年8月的一篇关于知识增强预训练模型的文献综述

论文思维导图

思维导图网页上看不清的话，可以存储到本地再看

大纲笔记

摘要: 预训练语言模型(PLMs)是在大型文本语料库上通过自我监督学习方法进行训练的一种语言模型，在自然语言处理(NLP)的各种任务中都取得了良好的性能。然而，虽然具有巨大参数的plm能够有效地拥有从大量训练文本中学习到的丰富知识，并在微调阶段有利于下游任务，但也存在一定的局限性，如缺乏外部知识导致推理能力较差。研究人员致力于将知识整合到plm中，以解决这些问题。在本文中，我们对知识增强预训练语言模型(KE-PLMs)进行了全面的回顾，以对这一蓬勃发展的领域提供一个清晰的认识。我们分别为 自然语言理解(NLU) 和 自然语言生成(NLG) 引入了合适的分类，以强调自然语言处理的两个主要任务。对于NLU，我们将知识类型分为四类:语言知识、文本知识、知识图谱(KG)和规则知识。该方法分为基于KG的和基于检索的两种。最后，我们指出了KE-PLM的一些有前景的发展方向。