GraphRAG：全局搜索方法在RAG系统中的应用
- 传统RAG系统的局限性
- 全局搜索方法的优势
- 全局搜索的工作流程
- 关键配置参数
- 实现考虑
- 结论
在检索增强生成（Retrieval-Augmented Generation，RAG）系统中，传统的基线方法在处理需要跨数据集聚合信息的查询时往往表现不佳。为了解决这个问题，研究者们提出了一种新的方法——全局搜索（Global Search）。本文将详细介绍这种方法的工作原理、优势以及实现细节。
传统RAG系统的局限性
传统的RAG系统主要依赖于对数据集中语义相似文本内容的向量搜索。这种方法在回答诸如"数据中的前5个主题是什么？"这类需要对整个数据集进行分析的问题时表现不佳。这是因为查询本身并不包含足够的信息来指导系统找到正确的答案。
全局搜索方法的优势
全局搜索方法通过利用LLM（大型语言模型）生成的知识图谱来理解整个数据集的结构和主题。这种方法允许将私有数据集组织成有意义的语义集群，并对这些集群进行预先总结。当用户提出查询时，LLM可以利用这些集群来总结主题，从而提供更全面和准确的回答。
全局搜索的工作流程
- 输入：用户查询和可选的对话历史。
- 上下文数据：使用图的社区层次结构中指定级别的LLM生成的社区报告作为上下文数据。
- Map阶段：
- 将社区报告分割成预定大小的文本块。
- 对每个文本块生成一个中间响应，包含一系列要点及其重要性评分。
- Reduce阶段：
- 从中间响应中筛选出最重要的要点。
- 将筛选后的要点聚合，用作生成最终响应的上下文。
关键配置参数
全局搜索方法的实现涉及多个可调参数，主要包括：
llm：用于响应生成的OpenAI模型对象context_builder：用于准备社区报告上下文数据的对象map_system_prompt和reduce_system_prompt：Map和Reduce阶段使用的提示模板response_type：描述所需响应类型和格式的自由文本allow_general_knowledge：控制是否允许LLM引入数据集外的相关知识max_data_tokens：上下文数据的令牌预算map_llm_params和reduce_llm_params：Map和Reduce阶段LLM调用的额外参数concurrent_coroutines：控制Map阶段的并行度
实现考虑
在实现全局搜索方法时，需要注意以下几点：
- 社区层次结构级别的选择对响应质量有重大影响。较低的层次级别可能产生更详细的响应，但也可能增加生成时间和资源消耗。
- 允许引入通用知识可能会增加幻觉风险，但在某些场景下可能有用。
- 并行处理可以提高效率，但需要权衡计算资源的使用。
结论
全局搜索方法通过利用LLM生成的知识图谱和社区结构，显著提升了RAG系统处理复杂查询的能力。这种方法特别适合需要对大规模数据集进行全面分析和总结的场景。然而，实际应用时需要仔细调整参数，以在响应质量、生成速度和资源消耗之间找到平衡点。
随着RAG技术的不断发展，我们可以期待看到更多创新方法来提升大规模数据集的查询和分析能力。全局搜索方法为这一领域提供了一个有潜力的新方向。
