RAG概述（一）：RAG架构的演进

news2024/11/16 9:34:37

概述

RAG核心步骤

Indexing索引

Retrieval检索

Generation生成

Native RAG

Advanced RAG

Modular RAG

参考

概述

RAG：Retrieval-Augmented Generation 检索增强生成。

RAG通过结合LLMs的内在知识和外部数据库的非参数化数据，提高了模型在知识密集型任务中的准确性和可信度。

RAG是一种通过整合外部知识库来增强LLMs的范式。

RAG的发展经历了三个主要阶段：初级（Native RAG）、高级（Advanced RAG）和模块化RAG（Modular RAG）。

Q&A场景下的RAG工作流示例：

用户询问ChatGPT关于一个最近的高调事件（例如，OpenAI首席执行官的突然解雇和复职），这引起了公众的广泛讨论。

ChatGPT作为最著名和广泛使用的LLM，受到其预训练数据的限制，缺乏对最近事件的了解。

RAG通过从外部知识库检索最新的文档摘要来解决这一差距。这些文章与初始问题一起，被合并成一个丰富的提示，使ChatGPT能够综合出一个知情的回应。

这个例子说明了RAG过程，展示了它通过实时信息检索增强模型响应的能力。

索引过程是数据准备中的一个关键初始步骤，它在离线状态下进行，并涉及多个阶段。

【数据提取】它从数据索引开始，原始数据被清洗和提取，各种文件格式如PDF、HTML、Word和Markdown被转换成标准化的纯文本。

【分块】为了适应语言模型的上下文限制，这些文本随后被分割成更小、更易于管理的块，这个过程被称为分块。

【向量化】这些块随后通过一个嵌入模型转换为向量表示，这有助于在检索阶段进行相似性比较。

【索引】最后，创建一个索引来存储这些文本块及其向量嵌入作为键值对，这允许高效和可扩展的搜索能力。

【查询向量化】在收到用户查询后，系统使用与索引阶段相同的编码模型将输入转换为向量表示。

【相似度计算】然后计算查询向量与索引语料库中向量化块之间的相似度分数。

【topk】系统优先检索与查询最相似的前K个块。这些块随后被用作扩展的上下文基础，以解决用户的请求。

【组装prompt】提出的查询和选定的文档被渲染成一个提示（Prompt），大型语言模型生成回答。

【剩下的就交给模型了】模型的回答方法可能因任务特定标准而异，允许它要么利用其内在的参数知识，要么将其回应限制在提供的文档内包含的信息。

在持续对话的情况下，任何现有的对话历史可以被整合到提示中，使模型能够有效地参与多轮对话互动。

就是包括最基本的Indexing-Retrieval-Generation三个过程。

不足：效果不好

具体表现：

准确性低：Retrieval阶段查询到的块，和query本身的相关性低。可能导致LLM出现幻觉或空中掉物等问题。
召回低：Retrieval阶段查询的块，并没有返回足够多的相关块，进一步降低了LLM构建全面回应的可能性。
组装prompt的问题：这个阶段会将检索到的块和query融合，构建一个prompt给到LLM。若检索到的多个块中包含了相似或重复的内容，可能导致最终LLM生成内容的冗余和重复，也就是表现的婆婆妈妈。
灵活性问题：若检索阶段拿到了足够丰富的信息，和query一起构建扔给LLM后，LLM的生成完全基于检索出的内容，并没有增加新生成的内容，变成了复读机。