实现上下文压缩与 MMR 的文档检索

设置基于压缩的检索器与 MMR

上下文压缩的目标是通过关注与查询最相关的段落来提炼文档的核心。当与 MMR 策略配对时，它在检索的文档中平衡了相关性和多样性，确保了对查询主题的更广泛视角。

# 初始化上下文压缩检索器，使用 MMR 进行多样性和相关文档检索
compression_based_retriever = ContextualCompressionRetriever(
    base_compressor=document_compressor,
    base_retriever=vector_database.as_retriever(search_type="mmr")
)

# 定义一个查询来测试联合方法
query_for_insights = "有关统计分析方法的见解有哪些？"

# 使用上下文压缩检索器检索压缩文档
compressed_documents = compression_based_retriever.get_relevant_documents(query_for_insights)

# 利用辅助函数打印检索到的、压缩过的文档内容
pretty_print_documents(compressed_documents)

这种方法通过确保结果不仅相关而且多样，避免了冗余，增强了用户对主题的理解。

探索替代文档检索方法

除了基于向量的检索方法之外，LangChain 库还支持多种其他文档检索策略，如 TF-IDF 和 SVM。这些方法根据应用程序的具体要求提供了不同的优势。

加载和准备文档

在实施替代检索策略之前，重要的是要适当地加载和分割文档文本。

# 使用 PyPDFLoader 加载文档
document_loader = PyPDFLoader("docs/cs229_lectures/MachineLearning-Lecture01.pdf")
document_pages = document_loader.load()

# 将所有页面文本合并成一个字符串以便处理
complete_document_text = " ".join([page.page_content for page in document_pages])

# 使用文本分割器将完整文档文本分割成可管理的块
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1500, chunk_overlap=150)
text_chunks = text_splitter.split_text(complete_document_text)

实现 TF-IDF 和 SVM 检索器

文档文本准备完毕后，我们现在可以利用 TF-IDF 和 SVM 基于检索器进行文档检索。

# 初始化基于 SVM 的检索器，从文本块
svm_based_retriever = SVMRetriever.from_texts(text_chunks, embedding_function)

# 同样地，从相同的文本块初始化基于 TF-IDF 的检索器
tfidf_based_retriever = TFIDFRetriever.from_texts(text_chunks)

# 使用 SVM 检索器针对特定查询执行文档检索
query_on_major_topics = "这门课的主要话题是什么？"
svm_retrieval_results = svm_based_retriever.get_relevant_documents(query_on_major_topics)

# 使用 TF-IDF 检索器针对不同查询执行另一轮检索
query_on_specific_tool = "他们提到了哪些统计软件？"
tfidf_retrieval_results = tfidf_based_retriever.get_relevant_documents(query_on_specific_tool)

# 打印检索结果中的第一个文档作为示例
print(svm_retrieval_results[0])
print(tfidf_retrieval_results[0])

最佳实践

• MMR 的平衡使用：在使用最大边际相关性 (MMR) 时，找到相关性和多样性的平衡至关重要。这确保了检索到的文档提供了查询主题的全面视图，同时不牺牲相关性。
• 有效利用元数据：元数据可以显著提升搜索结果的特定性。设计并实施周密的元数据模式可以实现更有针对性的搜索，尤其是与自我查询检索技术相结合时。
• 上下文压缩的优化：虽然上下文压缩提供了一组聚焦的信息，但它需要额外的处理。重要的是要优化这一步骤，以平衡计算成本与增加特定性和相关性的益处。
• 文档准备的战略：对于像 TF-IDF 和 SVM 这样的替代检索方法，文档的准备和处理方式（例如，文本分块）会对结果产生重大影响。根据您的具体用途定制这些过程可以带来更高效和更准确的检索。
• 模型和方法的选择：语言模型和检索技术的选择应根据您的数据性质和应用程序的具体需求来决定。随着新的模型和方法的出现，定期审查和更新这些选择是必要的。

结论

本章探讨了旨在增强语义搜索系统性能的各种高级检索技术。通过解决与多样性、特定性和信息相关性相关的限制，这些方法为更智能和高效的检索系统提供了一条途径。通过实际应用 MMR、自我查询检索、上下文压缩以及替代文档检索方法，开发者可以构建不仅能理解查询的语义内容，还能提供丰富、多样和有针对性的响应的系统。

遵循实施这些技术的最佳实践确保了检索系统的有效性和效率。随着自然语言处理领域的持续发展，了解最新进展在保持语义搜索能力方面的领先地位将是关键。

理论问题

• 描述最大边际相关性 (MMR) 的原理及其在改进信息检索中的作用。
• 自我查询检索如何应对结合了语义和元数据成分的查询挑战？
• 解释上下文压缩在文档检索中的概念及其重要性。
• 详细说明使用 OpenAI 的 API 和 langchain 库设置高级检索技术环境的步骤。
• 向量数据库的初始化如何有助于有效的语义相似性搜索？
• 描述向量数据库的填充和使用，以进行相似性和多样化搜索的目的。
• 在高级文档检索中，使用 MMR 处理搜索结果的多样性有什么优势？
• 如何利用元数据来增强文档检索系统中搜索结果的特定性？
• 讨论自我查询检索器在语义搜索中的优点和实施挑战。
• 解释上下文压缩在减少计算负载和提高检索系统响应质量方面的作用。
• 实施高级检索技术在语义搜索系统中的主要最佳实践是什么？
• 比较和对比基于向量的检索方法与 TF-IDF 和 SVM 等替代策略在文档检索中的有效性。
• 集成高级检索技术如何改善语义搜索系统的性能和用户体验？
• 讨论不断发展的自然语言处理技术对未来高级检索技术在语义搜索发展中可能产生的影响。

实践问题

• 实现一个 Python 类 VectorDatabase，包含以下方法：
  • __init__(self, persist_directory: str)：构造函数，使用持久化目录初始化向量数据库。
  • add_text(self, text: str)：使用 OpenAI 的嵌入将给定文本嵌入到高维向量中，并将其存储在数据库中。假设您有权访问一个函数 openai_embedding(text: str) -> List[float]，它返回嵌入向量。
  • similarity_search(self, query: str, k: int) -> List[str]：针对查询执行相似性搜索，返回数据库中与查询最相似的前 k 个文本。使用占位符相似性函数进行实现。
• 创建一个函数 compress_document，接受一个字符串列表（文档）和一个查询字符串作为输入，并返回一个字符串列表，其中每个字符串都是文档的一个压缩段落，与查询相关。假设有一个外部实用程序函数 compress_segment(segment: str, query: str) -> str，可以根据查询压缩单个文档段落。
• 开发一个函数 max_marginal_relevance，接受一个文档 ID 列表、一个查询和两个参数 lambda 和 k，然后返回一个基于最大边际相关性 (MMR) 选择的 k 个文档 ID 的列表。假设您有权访问一个相似性函数 similarity(doc_id: str, query: str) -> float，用于测量文档与查询之间的相似性，以及一个多样性函数 diversity(doc_id1: str, doc_id2: str) -> float，用于测量两个文档之间的多样性。
• 编写一个函数 initialize_vector_db，演示如何使用一组预定义文本填充向量数据库，然后执行相似性搜索和多样化搜索。该函数应该输出两种搜索的结果。使用您在任务 2 中实现的 VectorDatabase 类作为向量数据库。