Elastic 基于 RAG 的 AI 助手：使用 LLM 和私有 GitHub 问题分析应用程序问题

作者：来自 Bahubali Shetti

作为 SRE，分析应用程序比以往任何时候都更加复杂。你不仅必须确保应用程序以最佳方式运行以确保出色的客户体验，而且在某些情况下还必须了解内部工作原理以帮助排除故障。分析基于生产的服务中的问题是一项团队运动。它需要 SRE、DevOps、开发和支持才能找到根本原因并可能进行补救。如果它有影响，那么情况会更糟，因为这是一场与时间的赛跑。无论情况如何，都有大量信息需要使用和处理。这不仅包括客户正在经历的事情，还包括内部数据，以帮助提供最合适的解决方案。

Elastic 的 AI 助手有助于改进 SRE、DevOps、开发人员和其他人员的分析。在使用自然语言问题的单个窗口中，你不仅可以使用一般信息进行分析，还可以将其与以下内容相结合：

来自内部 GitHub 存储库、Jira 等的问题
来自 Confluence 等内部 wiki 站点的文档
来自你的支持服务的客户问题
还有更多

在此博客中，我们将引导你了解如何：

将包含代码和问题的外部 GitHub 存储库（OpenTelemetry demo 存储库）导入 Elastic。应用 Elastic Learned Sparse EncodeR (ELSER) 并将其存储在 AI Assistant 的特定索引中。
将包含运行手册信息的内部 GitHub 存储库导入 Elastic。应用 ELSER 并将处理后的数据存储在 AI Assistant 的特定索引中。
使用 AI Assistant 分析 Elastic 中 OpenTelemetry demo 的问题时，请使用这两个索引。

未来运维之道：Elastic AI 助手的高效运维与数据智能

使用 AI Assistant 的 GitHub 数据回答 3 个简单问题

在我们介绍设置 GitHub 数据的步骤之前，让我们先回顾一下 SRE 可以使用 AI Assistant 和 GitHub 存储库做什么。

我们最初使用 Elastic GitHub 连接器连接到 GitHub，并提取和处理两个存储库：OpenTelemetry demo 存储库（公共）和内部运行手册存储库（Elastic 内部）。

通过 ELSER 加载和解析这两个文件后，我们向 AI 助手询问一些分析过程中常见的简单问题。

OpenTelemetry demo 中有多少问题尚未解决？

由于我们提取了整个存储库（截至 2024 年 4 月 26 日），文档数量为 1,529，因此我们向它提出了一个关于尚未解决的问题总数的简单问题。我们特别告诉 AI 助手搜索我们的内部索引，以确保 LLM 知道要求 Elastic 搜索其内部索引以查找问题总数。

基于 Rust 的 shippingservice 是否存在任何问题？

Elastic 的 AI Assistant 使用 ELSER 遍历已加载的 GitHub 存储库，并找到 shippingservice 的未解决的问题（在撰写本文时，这是以下 issue）。

有适用于 Cartservice 的运行手册吗？

由于我们加载了一个内部 GitHub 存储库，其中包含一些示例运行手册，因此 Elastic AI Assistant 可以正确找到该运行手册。

在阅读这篇博客时，我们将讨论 AI 助手如何使用 ELSER 发现这些问题，以及如何配置它以使用你自己的 GitHub 存储库。

使用 Elastic AI Assistant 进行检索增强生成 (RAG)

Elastic 拥有最先进的基于 RAG 的 AI Assistant，可实现可观察性和安全性。它可以帮助你使用以下方法分析数据：

你最喜欢的 LLM（OpenAI、Azure OpenAI、AWS Bedrock 等）
你可以连接或带入 Elastic 索引的任何内部信息（GitHub、Confluence、客户问题等）

Elastic 的 AI Assistant 之所以能做到这一点，是因为它支持 RAG，这有助于检索内部信息以及基于 LLM 的知识。

将 SRE 的相关内部信息添加到 Elastic 中：

当数据进入时（例如在你的 GitHub 存储库中），ELSER 会应用于数据，并添加嵌入（权重和标记到稀疏向量字段中）以捕获数据的语义含义和上下文。
这些数据（GitHub、Confluence 等）使用嵌入进行处理，并存储在 AI Assistant 可以搜索的索引中。

当你向 AI Assistant 查询信息时：

查询使用 ELSER 经过与摄取数据相同的推理过程。输入查询生成一个“稀疏向量”，用于在摄取的数据（GitHub、Confluence 等）中找到最相关的高排名信息。
然后将检索到的数据与查询相结合，并发送给 LLM，然后 LLM 将添加自己的知识库信息（如果有任何内容需要添加），或者它可能会要求 Elastic（通过函数调用）进行分析、绘制图表甚至进一步搜索。如果对 Elastic 进行了函数调用并提供了响应，LLM 会将其添加到其响应中。
结果将是基于上下文的答案，结合了 LLM 和你内部数据中的任何相关内容。

应用程序、先决条件和配置

如果你想尝试本博客中的步骤，以下是一些先决条件：

Elastic Cloud 帐户 - 立即注册
OpenTelemetry demo 正在运行并连接到 Elastic（APM 文档）
你想要使用的任何内部 GitHub 存储库，其中包含一些对分析有用的信息（在我们的演示中，我们将使用一个 GitHub 存储库，其中包含 Elastic 进行演示时针对不同场景的运行手册）。
具有你最喜欢或已批准的 LLM 的帐户（OpenAI、Azure OpenAI、AWS Bedrock）

将 GitHub 存储库添加到 Elastic

第一步是设置 GitHub 连接器并连接到你的 GitHub 存储库。Elastic 有多个连接器，包括 GitHub、Confluence、Google Drive、Jira、AWS S3、Microsoft Teams、Slack 等。因此，虽然我们将在本博客中介绍 GitHub 连接器，但不要忘记其他连接器。

选择 GitHub 连接器并为其命名后，你需要添加两个项目：

GitHub token
URL open-telemetry/opentelemetry-demo

接下来，将其添加到向导中的索引。

创建管道并使用 ELSER 处理数据

为了添加我们在上面部分讨论的嵌入，我们需要向连接器添加以下内容：

在配置向导中创建管道。
创建自定义管道。
添加 ML 推理管道。
选择 ELSERv2 ML 模型以添加嵌入。
选择需要作为推理管道的一部分进行评估的字段。
测试并保存推理管道和整体管道。

同步数据

现在管道已创建，你需要开始同步 github repo。当来自 github repo 的文档进入时，它们将通过管道并添加嵌入。

嵌入

设置管道后，同步连接器中的数据。当 GitHub 存储库进入时，推理管道将按如下方式处理数据：

当数据从 GitHub 存储库进入时，ELSER 将应用于数据，并添加嵌入（权重和标记到稀疏向量场中）以捕获数据的语义含义和上下文。
这些数据使用嵌入进行处理，并存储在 AI 助手可以搜索的索引中。

当你查看已提取的 OpenTelemetry GitHub 文档时，你将看到权重和标记如何添加到索引中的 prediction_value 字段。

当用户向 AI 助手询问查询时，这些嵌入现在将用于查找上下文最相关的文档，这可能会用到它。

检查 AI 助手是否可以使用索引

Elastic 的 AI 助手使用 ELSER 遍历已加载的 Github 存储库并找到针对 shippingservice 的未解决的问题。（这是撰写本文时出现的以下 issue）。

根据响应，我们可以看到 AI 助手现在可以使用索引来查找问题并将其用于进一步分析。

结论

你现在已经看到了 Elastic 基于 RAG 的 AI Assistant 是多么容易设置。你可以从多个位置（GitHub、Confluent、Slack 等）引入文档。我们展示了 GitHub 和 OpenTelemetry 的设置。这些内部信息可用于管理问题、加速解决问题和改善客户体验。查看我们的其他博客，了解 AI Assistant 如何帮助 SRE 进行更好的分析、降低 MTTR 并改善整体运营：

使用 Elastic AI Assistant 和 APM 分析 OpenTelemetry 应用程序
Elastic AI Assistant for Observability 逃离 Kibana！
开始使用 Elastic AI Assistant for Observability 和 Microsoft Azure OpenAI
Elastic 8.13：Elastic AI Assistant for Observability 中的 Amazon Bedrock GA
使用 AI Assistant for Observability 和你组织的运行手册增强 SRE 故障排除
使用 Elastic AI Assistant for Observability 获得上下文感知洞察
开始使用 Elastic AI Assistant for Observability 和 Amazon Bedrock

试用

现有的 Elastic Cloud 客户可以直接从 Elastic Cloud 控制台访问其中的许多功能。没有利用云上的 Elastic？开始免费试用。

所有这些功能也可以在你的环境中实现。立即了解如何开始使用。

本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

在这篇博文中，我们可能使用或提到了第三方生成 AI 工具，这些工具由其各自的所有者拥有和运营。Elastic 无法控制第三方工具，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害承担任何责任。将 AI 工具用于个人、敏感或机密信息时，请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会得到安全或保密。在使用任何生成 AI 工具之前，你应该熟悉其隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文：Elastic's RAG-based AI Assistant: Analyze application issues with LLMs and private GitHub issues — Elastic Observability Labs