RAG Foundry：一个用于增强大语言模型以实现检索增强生成的框架

一、结论写在前面

论文来自Intel Labs。

论文标题：RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation

论文链接：https://arxiv.org/pdf/2408.02545

代码：https://github.com/IntelLabs/RAGFoundry

实现检索增强生成（RAG）系统本质上复杂，需要深入理解数据、用例及复杂的设计决策。此外，评估这些系统面临重大挑战，需通过多方面方法评估检索准确性和生成质量。

论文引入RAG FOUNDRY，一个用于增强大型语言模型以适应RAG用例的开源框架。RAG FOUNDRY将数据创建、训练、推理和评估整合到一个工作流程中，便于在RAG环境中为训练和评估大型语言模型创建数据增强数据集。这种整合使得快速原型设计和实验各种RAG技术成为可能，允许用户轻松生成数据集并利用内部或专业知识源训练RAG模型。

为了展示该框架的实用性，论文进行了涉及检索、微调、链式思考（CoT）推理和负干扰文档技术的实验。论文通过三种知识密集型问答任务，使用多种增强方法比较了两个广泛认可的基线模型，展示了 RAG FOUNDRY 的有效性。

二、论文的简单介绍

2.1 论文的背景

LLMs存在固有限制。这些模型可能产生听起来合理但不正确或无意义的答案，难以确保事实准确性，无法访问训练截止后的最新信息，并且在处理大型上下文时难以关注相关信息。

图1 展示了RAG FOUNDRY框架的概览：数据增强模块将RAG交互持久化为专用数据集，随后用于训练、推理和评估

检索增强生成（RAG）通过集成利用检索机制的外部信息来提升大型语言模型（LLMs）的性能。结合利用模型知识之外的庞大知识库的检索技术，有效地解决了知识局限性，能够减少幻觉现象，提高生成内容的相关性，提供可解释性，并且可能大幅降低成本。此外，最近的研究表明，针对RAG对LLMs进行微调可以实现最先进的性能，超越更大规模的专有模型。

然而，RAG系统的实施本质上复杂，需要一系列精细的决策，这些决策会显著影响系统性能。这一过程要求对数据和使用场景有深入的理解，而且通常解决方案在其他领域泛化效果不佳。一些关键的RAG设计决策包括文本嵌入、索引参数、检索算法、查询构建和提示设计，以及其他超出LLM配置的考虑因素。

另一个问题是可重复性：在不同运行、数据集和任务中实现一致且可比较的结果。训练数据的差异、预处理步骤、模型配置和硬件可能导致性能差异，使得研究人员和从业者难以复现研究成果并在此基础上构建新工作。此外，评估RAG系统也面临挑战，因为它们同时依赖于检索准确性和生成质量。这些系统需要一个复杂的评估套件，考虑到检索信息、数据形式化以及生成输出之间的相互作用。

论文介绍 RAG FOUNDRY，一个用于开发针对 RAG 应用场景的复杂检索增强型 LLM 的开源 Python 框架。该库支持研究人员和从业者在增强 LLM 在 RAG 应用场景中的能力这一精细任务中发挥作用。它高度可定制，便于在 RAG 的各个方面（包括数据选择、聚合与过滤、检索、文本处理、文档排序、少样本生成、使用模板进行提示设计、微调、推理和评估）进行快速原型设计和实验。

为了满足研究人员的特定需求，论文将框架设计为端到端实验环境。该库的核心由四个独立模块组成：数据创建、训练、推理和评估。每个模块都通过配置文件进行封装和控制，确保一个模块的输出与下一个模块的输入兼容。这种模块化方法允许每个步骤被隔离并独立实验，实现多个输出和同时执行多项实验。评估可以在生成的输出上进行，也可以在数据的任何特征上进行，包括检索、排序和推理。

2.2 论文的方法–RAG Foundry

RAG FOUNDRY框架促进了各种RAG设置和配置的快速原型设计和实验。该库由四个模块组成：数据集创建、训练、推理和评估。以下论文将详细介绍每个模块，并提供运行它们的示例配置

2.2.1 数据创建和处理

处理模块通过保存RAG交互来促进上下文增强数据集的创建，这对于面向RAG的训练和推理至关重要。这些交互包括数据集加载、列标准化、数据聚合、信息检索、基于模板的提示创建以及各种其他形式的预处理。处理后的数据可以以一致的、与模型无关的格式保存，连同所有相关的元数据一起，确保在不同模型和实验之间的兼容性和可重复性。

处理模块由一个抽象管道组成，包含多个步骤，每个步骤由实现特定数据处理功能的Python类定义。这些步骤分为两类：

•全局步骤：可以作用于整个数据集，适用于聚合、分组、示例过滤、连接操作等。

•局部步骤：作用于单个示例，适用于检索、文本处理和字段操作等任务。

这种模块化设计允许构建灵活高效的数据处理流程，以适应面向RAG的训练和推理需求。步骤可以分为以下非排他性类别：

•加载器：从Hugging Face1平台或本地源加载数据集。

•选择器：过滤示例、打乱数据集和选择子集数据集。

•检索器：集成来自外部数据库、工具、库和管道的信息。

•采样器：从任何数据集中收集随机示例或特征，以编译少样本或负面示例。

•提示生成器：使用自定义模板和关键字映射格式化提示。

处理模块支持同时处理多个数据集，通过全局数据集共享。这一特性允许流水线的每一步访问任何已加载的数据集，增强了灵活性并允许复杂的处理流程。此外，模块包括步骤缓存，缓存每个流水线步骤到本地。这提高了计算效率，并便于结果的轻松复现。

2.2.1.1 示例：增强问答数据集

为了展示处理模块的有效性，论文演示如何使用检索管道获取外部信息来丰富问答数据集，准备少样本示例，并使用提示模板将所有内容组合在一起。清单1演示了如何使用YAML配置定义这样的处理管道。

文件的主要结构是一系列步骤，每个步骤由指向步骤实现的target定义。每个步骤都有输入（inputs），可以是一个或多个要处理的数据集名称。步骤中的其他键与特定的步骤逻辑相关。

清单1中的前两个步骤从Hugging Face平台和本地路径加载数据集。第三个步骤从主数据集中随机打乱并选择10,000个示例。第四个步骤运行基于Haystack的检索管道，使用加载的数据集中的问题作为查询来检索相关段落，并将它们存储在docs_key中。论文注意到，在检索步骤中可以使用不同的检索过程或框架。第五步从次要数据集中选择3个少样本示例，之后是提示生成器步骤，该步骤加载提示模板并根据定义的映射字典替换所有给定信息。最后，数据集被保存到本地路径。

2.2.2 训练

论文提供了一个训练模块，用于根据前面处理模块创建的数据集对模型进行微调。训练模块依赖于成熟的训练框架TRL，并支持先进和高效的训练技术，例如LoRA。清单2展示了一个训练配置的例子。

2.2.3 推理

推理模块在给定由处理模块创建的已处理数据集的情况下生成预测。推理在概念上与评估步骤分离，因为它比评估在计算上要求更高。此外，可以在一个准备好的推理结果文件上运行多次评估。给定数据集生成预测的配置示例在清单 3 中展示。

2.2.4 评估

该框架的目标是增强LLMs用于RAG。评估模块允许用户运行一系列指标来评估RAG技术和调优过程。评估模块加载推理模块的输出并运行一个可配置的指标列表。指标是库中实现的类。这些类可以像其他评估库的包装器一样简单，也可以由用户实现。本地指标可以在单个示例上运行，如精确匹配（EM），而全局指标在整个数据集上运行，例如召回率（用于基于分类的指标）。指标可以使用数据集中的任何字段和元数据，而不仅仅是输入-输出对。库中实现的一些指标包括：Hugging Face评估库的包装器(wrapper for the Hugging Face evaluate library)、EM、F1、分类指标、BERTScore、语义相似性和DeepEval的包装器（wrapper for DeepEval，用于RAGAS 指标）。评估完成后，结果文件会写入磁盘，包含本地和全局指标结果。

清单 4 : 评估配置的示例；它包含一个答案处理器，以及要运行的指标列表，带有可选参数。

此外，评估模块使用一个称为“答案处理器”的处理步骤，该步骤可以实现自定义逻辑并服务于多种目的，包括清理和对齐输出；例如，使用正则表达式，可以隔离答案、移除停用词、进行思维链推理、定义停止标准、处理引用和归属以及任何其他给定评估所需的处理。

参见清单 4 以获取配置示例；它包含一个从输出中提取答案的答案处理器，以及一系列要运行的指标。

2.3 论文的效果–RAG 调优

为了展示 RAG FOUNDRY 库的使用和实用性，论文对 LLM 进行了几种可能的 RAG 改进实验，并在三个知识密集型任务上评估了结果。

2.3.1RAG 增强技术

论文探索了几种 RAG 增强技术，并使用 RAG FOUNDRY 轻松实现并评估其效益。作为初始步骤，论文评估了未经修改的模型；论文将基准设置为定义为运行未经修改的模型且不使用任何外部知识的配置。论文定义了一个 RAG 设置，该设置引入顶部相关文档，并以一致的提示模板格式与系统指令一起，以及一个指导模型使用检索到的上下文、解释步骤、引用相关部分并生成最终答案的 CoT 方案。

此外，论文探索了微调方案。论文在 RAG 设置中对模型进行微调，并将其表示为 RAG-sft。为了补充 CoT，论文实现了一个微调方案，记为 CoT-sft，引入于（Zhang et al., 2024），其中在提示中使用黄金文档和纯干扰文档，由概率决定，并与 CoT 提示一起使用。

2.3.2 数据集

论文在TriviaQA、PubmedQA和ASQA这三个知识密集型问答数据集上评估论文的模型，这些数据集受益于外部资源。TriviaQA和PubmedQA数据集包含相关上下文；对于ASQA，检索是在一个维基百科语料库上通过密集检索器完成的。

2.3.3 模型

论文实验了两种代表性模型：Llama-3和Phi-3，因为它们代表了强大的能力，并且是RAG用例部署的理想候选模型。

2.3.4 评估

论文测量并报告TriviaQA的精确匹配（EM），ASQA的STR-EM，PubmedQA的准确率和F1。此外，论文评估了两个RAGAS指标：忠实度和相关性。忠实度衡量生成文本与上下文之间的关系。相关性衡量生成文本与查询之间的关系。这两个指标使用上下文作为LLM批评器的输入，因此仅在RAG设置中相关。所使用的批评LLM是GPT4-32k，版本0613。相关性评估需要一个“嵌入器”。

2.3.5 结果

论文在TriviaQA、ASQA和PubmedQA数据集上进行了RAG增强技术的比较研究。结果如表1所示：主要指标针对每个数据集进行了展示，同时还包括了忠实度和相关性评分，如(Es et al., 2024)中所定义。对于TriviaQA，论文观察到以下情况：检索上下文改善了结果，微调RAG设置改善了结果，而在CoT推理上进行微调（包括在黄金段落和干扰段落的组合上进行训练）降低了性能。最佳方法取决于该数据集的模型。

对于ASQA，论文同样观察到每种方法都优于基线，CoT推理在两个模型中均产生了持续改进，同时对CoT配置进行微调也表现出最佳性能。最后，对于PubmedQA，论文观察到几乎所有方法都优于基线（有一个例外）；CoT推理在未经训练的RAG设置上有所改进，但在微调后，RAG方法在两个模型中似乎表现最佳。

表1：基线和不同RAG设置的评估结果，针对三个数据集和两个测试模型。除了每个数据集的主要指标外，忠实度和相关性也针对相关配置进行了报告。根据主要指标，每个数据集的最佳配置以粗体显示

检查忠实度和相关性评分时，注意到并非所有配置都适合进行测量：这些指标需要上下文，因此与基线方法无关。此外，在PubmedQA数据集中，答案是二元的“是/否”；只有在CoT配置中，LLMs才会产生可以评估的推理。最后，忠实度和相关性评分往往与主要指标不相关，彼此之间也不相关，这可能表明它们捕捉了检索和生成结果的不同方面，并在性能上呈现出一种权衡。

结果表明，RAG技术对于提升性能是有用的，同时也需要在多样化的数据集上仔细评估RAG系统的不同方面，因为开发通用技术的努力仍在进行中。