人工智能幻觉：记忆能找到答案吗？

news2024/9/21 14:25:38

欢迎来到雲闪世界。探索记忆机制如何减轻大型语言模型中的幻觉。

如何解决 LLM 幻觉

幻觉是事实，不是错误；错误的是基于幻觉的判断。——伯特兰·罗素

大型语言模型 (LLM)表现出色，但仍受到幻觉的困扰。特别是对于敏感应用来说，这不是一个小问题，因此已经研究了几种解决方案。尽管一些缓解策略有助于减少幻觉，但问题仍然存在。幻觉

幻觉产生的原因仍是一个悬而未决的问题，尽管有一些理论解释了幻觉产生的原因（在情境幻觉的情况下忽略情境等等）。最近的一篇文章提出了一个有趣的观点，即人类和模型对幻觉的定义是不同的。在人类中，它被定义为幻觉：

“当你听到、看到、闻到、尝到或感觉到看似真实但只存在于你脑海中的事物时” — 来源

因此，作者试图将法学硕士中出现的幻觉与心理学概念 [2] 联系起来。其想法是使用更合适的词汇来描述这些现象：

我们摆脱了对“幻觉”一词的传统使用，这不仅仅是一种语义练习；相反，这是一种刻意的手段，旨在增强我们对高级语言模型所面临的局限性和挑战的理解。 — — 来源

这些从心理学角度的定义显示出与记忆概念的联系，因此一些作者决定为 LLM 提供记忆。

最流行的方法之一是提供外部存储器的概念。检索增强生成(RAG) 是最流行的范例，其中在外部存储器中寻找适合查询的信息。然后使用检索到的上下文进行生成。

但是，存在具有读/写访问权限的内存的替代方案。事实上，LLM 继承了与转换器相同的局限性，包括无法更新 LLM 的知识。为了保持相关性，我们需要一个系统，允许我们在添加新信息的同时删除不需要的、不正确的或过时的事实。微调是一种昂贵的解决方案，但如果我们想经常更新模型的“内存”，它是不切实际的。

另一种方法是在保留原始冻结模型的同时进行编辑。最有趣的方法之一是用于持续编辑的通用检索适配器 (GRACE) [4]。您无需编辑模型的权重，而是编辑适配器的权重。这些适配器与模型的各层互连，并修改所选输入的层间转换。

相比之下，对于人类来说，既可以更新自己的知识，也可以用它来概括未知的数据。通常，这种能力是由海马体提供的，它对情景记忆很重要（海马体用于快速学习，大脑皮层用于慢速学习）。

受此想法的启发，他们在这篇论文中提出了 Larimar [3]，这是一类由情景记忆控制的模型。换句话说，控制器学习情景记忆，而LLM（慢速记忆）学习输入分布的汇总统计数据。控制器充当事实更新和一代 LLM 条件的全局存储器。然后可以读取和重写此全局内存。该系统是一个编码器-解码器转换器，其中的输出用于写入内存或搜索内存中的信息以发送给解码器。