基于检索增强生成 (RAG) 的大语言模型优化研究

复旦大学的研究人员对检索增强生成技术 (RAG) 的现有方法进行了系统性的研究，提出了一种三步式方法来优化 RAG 框架，并通过实验证明了该方法在提高大型语言模型性能方面的有效性，特别是在多模态检索和问答方面的应用。

论文介绍

基于检索的生成技术 (Retrieval-Augmented Generation, RAG) 在将最新信息集成到大型语言模型 (LLMs) 中、减少幻觉和提高响应质量方面面临着重大挑战。尽管 RAG 方法有效，但复杂的实现和较长的响应时间阻碍了它们的应用。优化 RAG 对于增强 LLM 性能至关重要，使其能够在实时应用领域（如医疗诊断）中发挥作用，而医疗诊断领域对准确性和及时性至关重要。

目前，解决这些挑战的方法包括涉及查询分类、检索、重新排序、重新打包和摘要的工作流程。查询分类确定检索的必要性，而 BM25、Contriever 和 LLM-Embedder 等检索方法获取相关文档。重新排序优化检索文档的顺序，重新打包则对其进行组织以更好地生成。摘要提取关键信息用于响应生成。然而，这些方法都有其局限性。例如，查询重写和分解可以改进检索，但计算量大。使用深度语言模型进行重新排序可以提高性能，但速度较慢。现有方法还难以有效地平衡性能和响应时间，因此不适合实时应用。

复旦大学的研究人员对现有的 RAG 方法及其潜在组合进行了系统研究，以确定最佳实践。他们采用了一种三步法：比较每个 RAG 步骤的方法，评估每种方法对整体 RAG 性能的影响，以及探索针对不同场景的有前景的组合。他们提出了一些平衡性能和效率的策略。一个显著的创新是集成了多模态检索技术，该技术显著增强了有关视觉输入的问答能力，并使用“检索即生成”策略加速了多模态内容生成。与现有方法相比，这种方法通过提供更高效、更准确的解决方案，为该领域做出了重大贡献。

评估过程涉及详细的实验设置，以确定每个 RAG 模块的最佳实践。使用了 TREC DL 2019 和 2020 等数据集进行评估，并采用了各种检索方法，包括用于稀疏检索的 BM25 和用于密集检索的 Contriever。实验测试了不同的分块大小和技术，例如从小到大 (small-to-big) 和滑动窗口 (sliding windows)，以提高检索质量。评估指标包括平均精度均值 (mean average precision, mAP)、归一化折损累计增益 (normalized discounted cumulative gain, nDCG@10) 和召回率 (recall, R@50 和 R@1k)。此外，还探讨了使用相关和不相关上下文对生成器进行微调以增强性能的影响。

该研究在各种关键性能指标上取得了显著改进。值得注意的是，Hybrid with HyDE 方法在 TREC DL 2019 和 2020 数据集中取得了最高分，平均精度均值 (mAP) 分别为 52.13 和 53.13，大大优于基线方法。通过 recall@50 衡量的检索性能也得到显著提升，分别达到 55.38 和 66.14。这些结果突出了推荐策略的有效性，证明了检索效率和有效性的实质性改进。

在这里插入图片描述

总之，这项研究解决了优化 RAG 技术以增强 LLM 性能的挑战。它系统地评估了现有方法，提出了创新的组合，并证明了性能指标的显著改进。多模态检索技术的集成代表了人工智能研究领域的重大进步。这项研究不仅为部署 RAG 系统提供了一个强大的框架，也为未来探索进一步优化和在各个领域应用奠定了基础。

论文下载

论文地址：https://arxiv.org/abs/2407.01219

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享]👈

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。