翻译: LLM构建 GitHub 提交记录的聊天机器人一使用 Timescale Vector、pgvector 和 LlamaIndex

news2024/9/30 21:32:02

1. 检索增强生成（RAG Retrieval Augmented Generation）

检索增强生成（RAG Retrieval Augmented Generation）对于增强应用程序开发中的大型语言模型（LLM）至关重要。它用外部数据源补充 LLM，通过减少错误或幻觉来帮助获得更相关的响应。RAG 通过语义搜索确定哪些信息与用户的查询相关，语义搜索按含义搜索数据（而不仅仅是查找搜索词的文字匹配项）。RAG 对于需要访问特定领域或专有数据的 LLM 应用程序特别有效。
在这里插入图片描述
然而，仅靠 RAG 并不总是足以构建强大的、上下文感知的 LLM 应用程序。使用时间感知检索time-aware retrieval来增强 RAG，在特定时间和日期范围内查找语义相关的向量，可以显着提高其有效性。

2. 不使用和使用时间感知检索time-aware retrieval得区别

在处理日期繁重的知识库时，时间感知 RAG 可以帮助您构建 LLM 应用程序，这些应用程序擅长为用户查询生成相关答案。

在此示例中，了解时间感知检索如何提高 LLM 响应的质量：

Alice 是一名开发人员，她想要了解对 GitHub 存储库（在本例中为 TimescaleDB 存储库）的特定更改。她没有手动检查代码或提交历史记录，而是找到了一个“与我的 GitHub 存储库聊天”应用程序，并使用它来加快她的研究速度。Alice 想要了解名为“连续聚合”的功能的最新更改，并于 2023 年 11 月 29 日提出以下问题：

What’s new with the continuous aggregates feature in the past 6 months?

2.1 没有时间感知 RAG 👎 的 LLM 响应

名为“连续聚合continuous aggregates”的功能发生了一些变化。最近的更改是由 Sven Klemm 于 2020 年 1 月 24 日进行的。此更改添加了一种称为实时聚合的新模式，该模式将具体化数据与上次刷新后接收的新数据相结合。此新模式现在是新创建的连续聚合的默认行为。要将现有连续聚合升级到新行为，需要运行特定命令。

2.2 具有时间感知 RAG ✅ 的 LLM 响应

在过去的 6 个月中，对名为连续聚合continuous aggregates的功能进行了两项更改。第一次更改是在 2023 年 8 月 7 日由 Fabrízio de Royes Mello 进行的。此更改放宽了刷新连续聚合时的强表锁定，从而允许在多个会话中以更少的锁执行刷新过程。第二个更改是在 2023 年 8 月 29 日由 Jan Nidzwetzki 进行的。此更改通过向 post.continuous_aggs.v3.sql 中的两个查询添加 ORDER BY 规范，使上/降级测试具有确定性。

使用时间感知 RAG 的响应更有用——它在 Alice 指定的时间段内，并且与主题相关。两个响应之间的区别在于检索步骤。

3 教程：构建有关 GitHub 提交历史记录的聊天机器人

现在轮到你了！在本文的其余部分，我们将介绍构建 TSV Time Machine 的过程：一个时间感知的 RAG 聊天机器人，使您能够回到过去并与任何 GitHub 存储库的提交历史记录聊天。

每个 Git 提交都有一个关联的时间戳、自然语言消息和其他元数据，这意味着需要语义搜索和基于时间的搜索来回答有关提交历史记录的问题。

👩‍💻👩‍💻想直接跳进去吗？查看应用程序和github代码。
在这里插入图片描述
TSV Time Machine 应用的屏幕截图，显示用户与 PostgreSQL 项目 GitHub 提交历史记录聊天。

4. TSV Time Machine 应用程序概述

为了给增强 TSV Time Machine ，我们使用以下方法：

LlamaIndex 是一个强大的 LLM 数据框架，用于 RAG 应用程序。LlamaIndex 引入、处理和检索数据。我们将使用 LlamaIndex 自动检索器来推断要在矢量数据库上运行的正确查询，包括查询字符串和元数据筛选器。
Timescale Vector 是我们的矢量数据库。Timescale Vector 针对相似性和基于时间的搜索进行了优化，使其成为支持时间感知 RAG 的理想选择。它通过自动表分区来隔离特定时间范围的数据来实现这一点。我们将通过 LlamaIndex 的 Timescale Vector Store 访问它。

TSV Time Machine 示例应用有三个页面：