实验场：在几分钟内使用 Bedrock Anthropic Models 和 Elasticsearch 进行 RAG 实验

news2024/9/23 21:20:30

作者：来自 Elastic Joe McElroy, Aditya Tripathi

我们最近发布了 Elasticsearch Playground，这是一个新的低代码界面，开发人员可以通过 A/B 测试 LLM、调整提示（prompt）和分块数据来迭代和构建生产 RAG 应用程序。今天，我们宣布 Amazon Bedrock 支持 Playground，为你带来更多来自 Amazon、Anthropic 和其他领先提供商的基础模型选择。使用 Amazon Bedrock 和 Elasticsearch 的开发人员现在可以使用私有或专有数据（索引到一个或多个 Elasticsearch 索引中）优化检索以获得答案。

使用 Amazon Bedrock 进行推理，对 LLM 和检索进行 A/B 测试

Playground 界面允许你试验和 A/B 测试来自 Amazon 和 Anthropic 等领先模型提供商的不同 LLMs。但是，选择模型只是问题的一部分。开发人员还必须考虑如何检索相关搜索结果以紧密匹配模型的上下文窗口大小（即模型可以处理的 token 数）。检索比上下文窗口长的文本段落可能会导致截断，从而导致信息丢失。小于上下文窗口的文本可能无法正确嵌入，从而导致表示不准确。下一个复杂性可能来自必须结合来自不同数据源的检索。

Playground 将许多 Elasticsearch 功能整合到一个简单但功能强大的界面中，用于调整 RAG 工作流程：

使用不断增长的模型源列表（包括 Amazon Bedrock），以选择最适合你需求的 LLM
使用 semantic_text，调整分块策略以适应数据和上下文窗口大小
使用 retrievers 添加多阶段检索管道（包括重新排序）

将发送到模型的上下文调整为所需的生产标准后，你可以导出代码并使用 Python Elasticsearch 语言客户端或 LangChain Python 集成完成你的应用程序。

今天的公告通过 Open Inference API 集成提供对 Amazon Bedrock 上托管模型的访问，以及使用新的 semantic_text 字段类型的能力。我们真心希望你能享受这种体验！

Playground 采用了所有这些可组合元素，并为你带来了真正的开发人员工具集，可快速迭代和开发，以满足开发人员所需的速度。

使用 Playground

在 Kibana（Elasticsearch UI）中，从左侧的导航页面导航到 “Playground”。首先，你需要连接到模型提供商以提供你选择的 LLM。Playground 通过 Amazon Bedrock 支持聊天完成模型（例如 Anthropic）。

此博客提供了连接和配置 Playground 体验的详细步骤和说明。

连接 LLM 并选择 Elasticsearch 索引后，你可以开始询问有关索引中的信息的问题。LLM 将根据你的数据上下文提供答案。

立即与你的数据进行聊天并评估模型（例如本例中的 Anthropic Claude 3 Haiku）的响应

使用检索器和混合搜索获取最佳上下文

Elastic 的混合搜索可帮助你构建最佳上下文窗口。有效的上下文窗口由各种类型的向量化和纯文本数据构建，这些数据可以分布在多个索引中。开发人员现在可以利用新的 query retrievers 来简化查询创建。从版本 8.14 开始，Elastic Cloud Serverless 上提供了三种新的检索器，并且只需一个统一查询即可实现使用 RRF 规范化的混合搜索。你可以存储矢量化数据并使用 kNN 检索器，或者添加元数据和上下文来创建混合搜索查询。很快，你还可以添加语义重新排名以进一步改善搜索结果。

使用 Playground 快速交付对话式搜索

构建对话式搜索体验可能涉及多种方法，而选择可能会让人不知所措，尤其是考虑到新的重新排名和检索技术的创新速度，这两种技术都适用于 RAG 应用程序。

借助我们的 Playground，即使开发人员可以使用多种功能，这些选择也会变得简单直观。我们的独特方法是立即将混合搜索作为构建的主要支柱，直观地了解所选和分块数据的形状，并扩大 LLMs 的多个外部提供商的访问范围。

今年早些时候，Elastic 获得了 AWS 生成式 AI 能力奖，这一殊荣授予了极少数提供差异化生成式 AI 工具的 AWS 合作伙伴。Elastic 为 Playground 体验添加 Bedrock 支持的方法遵循相同的原则 —— 为 Elastic Cloud on AWS 开发人员带来新的创新功能。