Reranker技术

0. 什么是RAG

基础 RAG 的操作流程大致如下：首先，你需要将文本切分成小段，然后利用某种 Transformer 编码器模型，将这些文本段转换成向量形式。接着，把所有向量汇集到一个索引里。最后，你需要为大语言模型（Large Language Model, LLM）制定一个提示词，这个提示词会指导模型根据我们在搜索步骤中找到的上下文信息来回答用户的查询。

在实际运行过程中，我们会用同一个编码器模型把用户的查询转换成向量，然后根据这个向量在索引中进行搜索。系统会找到最相关的前k个结果，从数据库中提取相应的文本段，然后把这些文本段作为上下文信息输入到大语言模型的提示词中。

1. 什么是Reranker？

Reranker 是信息检索（IR）生态系统中的一个重要组成部分，用于评估搜索结果，并进行重新排序，从而提升查询结果相关性。在 RAG 应用中，主要在拿到向量查询（ANN）的结果后使用 Reranker，能够更有效地确定文档和查询之间的语义相关性，更精细地对结果重排，最终提高搜索质量。

目前，Reranker 类型主要有两种——基于统计和基于深度学习模型的 Reranker：

基于统计的 Reranker 会汇总多个来源的候选结果列表，使用多路召回的加权得分或倒数排名融合（RRF）算法来为所有结果重新算分，统一将候选结果重排。这种类型的 Reranker 的优势是计算不复杂，效率高，因此广泛用于对延迟较敏感的传统搜索系统中。

基于深度学习模型的 Reranker，通常被称为 Cross-encoder Reranker。由于深度学习的特性，一些经过特殊训练的神经网络可以非常好地分析问题和文档之间的相关性。这类 Reranker 可以为问题和文档之间的语义的相似度进行打分。因为打分一般只取决于问题和文档的文本内容，不取决于文档在召回结果中的打分或者相对位置，这种 Reranker 既适用于单路召回也适用于多路召回。

2. Reranker在RAG技术中的应用

将 Reranker 整合到 RAG 应用中可以显著提高生成答案的精确度，因为 Reranker 能够在单路或多路的召回结果中挑选出和问题最接近的文档。此外，扩大检索结果的丰富度（例如多路召回）配合精细化筛选最相关结果（Reranker）还能进一步提升最终结果质量。使用 Reranker 可以排除掉第一层召回中和问题关系不大的内容，将输入给大模型的上下文范围进一步缩小到最相关的一小部分文档中。通过缩短上下文， LLM 能够更“关注”上下文中的所有内容，避免忽略重点内容，还能节省推理成本。

3.使用 Reranker 的优缺点

• Reranker 会显著增加搜索延迟

  未使用 Reranker 的情况下，RAG 应用只需执行低延迟的向量近似最近邻 (ANN) 搜索，从而获取 Top-K 相关文档。但如果增加了 Reranker，尤其是 Cross-encoder Reranker 后，RAG 应用需要通过深度学习模型处理所有向量检索返回的文档，这会导致延时显著增加。相比于向量检索的毫秒级延迟，取决于模型大小和硬件性能，延迟可能提高到几百毫秒甚至到几秒！

• Reranker 会大幅度提高计算成本

  在基础架构的 RAG 中，向量检索虽然需要预先使用深度学习模型处理文档，但这一较为复杂的计算被巧妙设计在离线状态下进行。通过离线索引（Embedding模型推理），每次在线查询过程只需要付出极低计算成本的向量检索即可。与之相反，使用 Reranker 会大大增加每次在线查询的计算成本。这是因为重排过程需要对每个候选文档进行高成本的模型推理，不同于前者可以每次查询都复用离线索引的结果，使用 Reranker 需要每次在线查询都进行推理，结果无法复用，带来重复的开销。这对于网页搜索、电商搜索等高流量的信息检索系统非常不适用。

4.总结

相比于单独使用向量检索，搭配 Reranker 可以通过对第一层检索结果的进一步精细化排序提高检索增强生成（RAG）和搜索系统中答案的准确性和相关性。但是使用 Reranker 会增加延时和提高使用成本，因此不适合高频高并发的应用。考虑是否使用 Reranker 时，需要在回答准确性、响应速度、使用成本间做出权衡。

参考：知乎