1. 引言:RAG系统概述与评估挑战
检索增强生成(Retrieval-Augmented Generation,简称 RAG)是近年来自然语言处理领域的一个重要进展。RAG系统在大型语言模型生成文本的过程中引入了外部检索模块,从外部知识库获取相关信息,以缓解纯生成模型可能出现的幻觉和知识盲点。通过将查询相关的事实作为上下文提供给生成模型,RAG能够显著降低输出中不符合事实的成分,提高内容的可靠性和准确性。
一个典型的RAG系统由两大组件组成:检索组件和生成组件。检索组件从海量的外部知识源(如文档库、数据库甚至整个互联网)中搜索与用户查询相关的内容,然后将检索到的结果作为上下文提供给生成组件;生成组件(通常是大型预训练语言模型)根据用户查询和检索到的上下文,生成连贯且符合语境的回答。图1展示了RAG系统的典型结构,包括数据接入的索引流程和查询时的生成流程。
下方的数据引入流程对知识库进行向量索引(embedding模型将文档拆分为向量存储于向量数据库中)。上方的