来自OpenAI 的 Lilian Weng的《Extrinsic Hallucinations in LLMs》
Date: July 7, 2024 | Estimated Reading Time: 30 min | Author: Lilian Weng
文章链接：https://lilianweng.github.io/posts/2024-07-07-hallucination/
大概看了一下，这篇文章的核心内容和观点是讨论大型语言模型（LLM）中的外在幻觉问题。外在幻觉是指模型生成不真实、捏造、不一致或无意义的内容。同样重要的是，当模型不知道某个事实时，它应该这么说。
文章主要探讨了外在幻觉的原因、检测方法和减少幻觉的策略。
原因：
- 训练前数据问题： 预训练数据语料库可能包含过时、缺失或不正确的信息。
- 微调新知识： 微调阶段可能引入新的错误信息。（1） LLM 学习具有新知识的微调示例的速度比其他具有与模型预先存在的知识一致的知识的示例慢;（2） 一旦最终学习了具有新知识的例子，它们就会增加模型的幻觉倾向。
幻觉检测：
- FactualityPrompt： 通过事实和非事实提示组成，使用Wikipedia文档或句子作为事实基础的知识库。
- 幻觉NE错误和蕴涵比率： 使用实体检测模型和文档级接地，测量未出现在真值文档中的命名实体的比例。
- FActScore： 将长格式生成分解为多个原子事实，并根据Wikipedia等知识库分别验证每个事实。
减少幻觉的策略：
- 检索增强评估： 使用检索来使模型生成奠定基础，有助于减少幻觉。
- SAFE： 搜索增强事实评估器，使用语言模型作为代理，在多步骤过程中选代地发出Google搜索查询。
- FacTool： 检测各种任务中的事实错误，包括基于知识的QA、代码生成、数学问题解决和科学文献综述。
- SelfCheckGPT： 依赖于对来自黑盒LLM的多个样本的事实性错误的一致性检查。
- 未知知识的校准： 提示模型生成对无法回答或未知问题的回答可能会触发幻觉。
抗幻觉方法：
- RAG： 检索增强生成，通过检索相关文档，然后使用相关文档作为额外的上下文生成。
- RARR： 使用研究和修订进行改造归因，追溯性地使LLM能够通过EditingforAttribution支持对外部证据的归因。
- FAVA： 使用增强知识进行事实验证，检索相关文档，然后编辑模型输出以避免幻觉错误。
事实性微调：
- TopicPrefix： 在每个句子前面附加主题以提高对事实的认识。
- 句子完成损失： 专注于句子的后半部分，因为句子的后半部分包含更多事实知识。
归因微调：
- WebGPT： 结合文档检索与微调的GPT模型，旨在回答长篇问题以减少幻觉并实现更好的事实准确性。
- GopherCite： 使用搜索引擎创建支持资料和教学模型来提供参考。
文章最后提供了一个评估基准的附录，列出了用于衡量LLMs中幻觉的各种数据集。
将文章通过在线翻译，转换了贴在下面，供大家参考
