Elasticsearch：AI 助理 - 从通才到专才

作者：来自 Elastic Thorben Jändling

在 AI 世界中，关于构建针对特定领域定制的大型语言模型（large language models - LLM）的话题备受关注 —— 不论是为了更好的安全性、上下文理解、专业能力，还是更高的准确率。这个想法非常诱人：还有什么比一个专为你量身打造的 AI 更能解决你独特问题的方式呢？

但事情并不那么简单 —— 打造一个优秀的 LLM 不仅极具挑战，而且代价高昂、资源密集。像 OpenAI 和 xAI 这样的组织投入了天文数字的资金、运行着强大的计算资源，并拥有多年积累的专业知识。对大多数人来说，试图复制这样的工作，几乎就像在自家车库里造一辆 F1 赛车 —— 虽然雄心勃勃，但多半以失败告终。就连 DeepSeek 这样的项目，也对资源有极高的要求。

好消息是：你并不需要自己去造轮子。大厂开发的 LLM 的美妙之处在于它们的多功能性。这些模型是 “通才” —— 被设计用来理解人类语言、生成连贯回应，并能够在训练数据之外进行智能推理。它们为智能交互提供了坚实的基础。

那么，如何让这些 “通才” 变身为能解决你特定领域难题的 “专才” 呢？
这正是 RAG（retrieval augmented generation - 检索增强生成） 登场的地方。

RAG：不仅仅是一个缩写词

RAG 并不是要重新发明轮子，它的核心理念是强化现有的能力。通过将强大的通用 LLM 与特定领域的知识库（KB）结合，你就能赋予 AI 本不具备的专业知识。可以把它想象成：你在教一位天赋异禀的语言学家了解你所在行业的细节 —— 无论是像 BSI 安全指南这样复杂的标准，还是组织内部的政策、流程手册等等。与其从零训练一个模型，不如给它提供现成的知识工具，帮助它回答复杂问题、输出与你业务高度契合的见解。

想象一下这样一个场景：你正在翻阅一份长达 850 页、充满技术建议的文档。使用 RAG，你无需逐页阅读或大海捞针，而是可以用自然语言向 AI 提问，它会直接从文档中提取答案 —— 高效且精准。再比如面对内部标准和流程规范，RAG 能让你的 AI 助理提供有上下文理解的智能支持，帮助团队节省时间、减少困扰。

归根结底，RAG 能将通用型 AI 转化为你的专属专家，而无需投入巨资或承受开发复杂度。这是一条更聪明、更务实的道路，适合那些希望让 AI 真正理解自己业务的人。而这，正是 RAG 远不止于一个缩写词的原因所在。

一个真正懂行的 AI 助理

想象一下这样的场景：你正在查阅一份技术文档 —— 比如那份超过 850 页的 BSI（德国联邦信息安全办公室）安全指南。你有一个非常具体的问题，比如 “如何保护运行过时软件的 OT 环境”，但文档的篇幅实在太长，想要手动查找答案简直就是一场持久战。这时，RAG 的优势就体现出来了。

有了 RAG 加持的 AI 助理，你可以完全跳过手动查阅的步骤。你只需要用自然语言提问 —— 比如 “BSI 对于保护运行 Windows XP 的系统有什么建议？” —— 助理不仅会给你一个简明扼要的答案，还会引用指南中相关章节作为依据。它就像一位读过整本文档、并且记得每个细节的领域专家。

拿 OT 环境中使用遗留软件的场景来说。虽然 Windows XP 在 IT 世界早已被淘汰，但在 OT 领域，它仍然可能是某些昂贵设备运行的核心组成部分，在设备生命周期内无法替换。BSI 指南正是意识到这种现实，才提出了一套用于保护这类系统的安全框架。AI 助理不会一味地否定你的现状，而是能提供有上下文的建议，清晰地拆解出如下建议，比如：

你可以看到，这样的 AI 助理能够将晦涩繁杂的技术内容提炼为可操作的建议，并附带相关章节的引用。这不仅节省了时间，更确保了建议符合最佳实践。如果你还想进一步深入某个点，继续提问就可以了。

真正的强大之处在于它对细节的理解。没错，Windows XP 的确已经过时了，但 Elastic Security AI 助理理解它在特定 OT 环境中仍不可或缺的现实。它不会给你套用模板式的通用建议，而是能提供有针对性的解决方案，直击 OT 场景下的独特挑战。这让 AI 助理不仅是“有帮助”，而是成为应对复杂问题时不可或缺的关键伙伴。

RAG 的优势在于它让组织可以充分利用最前沿的 AI 技术，无需从零开发大型模型，而是以一种切实可行的方式，帮助你做出更智能、更加贴合实际的决策。

🎯 想亲自试试吗？

Elastic 的其他博客深入讲解了 RAG 背后的关键技术，比如向量数据库、语义搜索等。如果你想深入研究，非常欢迎阅读这些资源。其中，我的同事 Christine Komander 就写了一篇博客，演示如何通过将 PDF 构建成 Elasticsearch 索引，实现一个具备本地知识的语义搜索型 AI 助理。

不过，为了让你更轻松上手，我整理出了一个简单的脚本，只需三步就能完成所有技术配置：

配置连接到你的 Elasticsearch 实例
由脚本自动设置 inferencing、ingest pipeline 和索引
读取任意数量的 PDF 文档

请查阅该项目的 README.md 文件，了解脚本的具体用法、功能说明，以及它如何处理摘录（excerpt）提取等特性。README 中还提供了如何加载我们前文提到的 BSI 安全指南的示例。

一旦你建好了知识库，肯定会想 “上手玩一玩”。你可以将它配置到 Observability 或 Security 的 AI 助理中。但在这里，我们将以 Kibana 的 Search AI Playground 为例来展示：

1. 在 Kibana 中，打开导航菜单并点击 “Search” 应用下的 Playground。

2. 在右上角配置你的 Model Settings，选择你想使用的 LLM（我使用的是 GPT-4o）

3. 点击右上角的 Data 按钮，选择你通过上面的脚本创建的 KB 索引；如果需要，你可以启用多个索引

4. 现在，你可以在 “Ask a question” 框中提问了

如果你想在 Elastic AI Assistant for Security 中使用一个或多个这样的 KB 索引，那么你需要按照文档中的说明添加 KB 索引。此外，这是我为我的 BSI KB 提供的 “Query Instruction”：

The BSI documents herein are in German, so use German to query them. However, translate all responses back to the user's language. Always include references/citations to the relevant document sections in the response. 

<example 1>

This is a generic example response [§<section>]

</example 1>

<example 2>

This is a specific example response [§IND.2.3.4]

</example 2>

我们可以在下一部分查看更多的例子。

不仅仅是技术人员：为什么它很重要

虽然使用 AI 和 RAG 的想法似乎是专门为技术爱好者或数据科学家量身定制的，但它的应用远不止于此。这种方法使复杂的法规、技术或操作文档变得易于理解，能够在需要时随时提供，并且将信息提炼到所需的精确内容，包括那些技术背景有限的人员。

如果提供与 AI 助手的对话的完整文本，这篇博客将变得过于冗长。因此，我将总结一些例子，来说明这项技术如何解决复杂的现实场景。如果你有兴趣看到它的实际应用，欢迎在自己的 Elasticsearch 部署中重新创建这些体验。

NIS II：一个实际例子

让我们通过一个与 NIS II 指令相关的例子来探索它是如何工作的：

问题：“As a dairy farmer, describe how NIS II might apply to me and what actions I should be taking. - 作为一个乳制品农场主，NIS II 如何适用于我，我应该采取哪些措施？”

AI 助手审查相关文档并解释乳制品农业部门如何被归类为 NIS II 下的关键部门。它概述了实际步骤，包括实施风险管理措施、报告重大事件以及确保遵守国家监管要求。回答详细而易于理解，显示了即使是非技术用户也能与复杂的法规进行互动。

问题：“ As a dairy farmer, all of this is beyond my capability and understanding. - 作为一个乳制品农场主，这些对我来说超出了我的能力和理解。”

在这种情况下，助手提供了针对不了解网络安全概念的人的可操作建议。它建议从基本的网络卫生开始，寻求专业帮助，并利用行业资源满足合规要求。

问题：“My tractor is computerized and I assume it is connecting to its manufacturer, however I am not allowed nor able to make alterations. - 我的拖拉机是计算机化的，我认为它正在与制造商连接，但我无法也不允许进行任何更改。”

在这里，助手建议与制造商联系，确保安全措施到位，了解拖拉机的连接情况，并确保遵循更新和事件报告流程。它突出了农场主可以在不需要深厚技术知识的情况下采取的措施来解决网络安全问题。

通过这些例子，显而易见的是，AI 助手（借助 RAG）不仅仅是为技术精通的用户设计的 —— 它们旨在使关键信息对每个人都变得可用和可操作，无论其技术背景如何。

重点：更智能的 AI，更愉快的用户

RAG 和 Elasticsearch 的一个显著特点是，它们提供了在许多其他生态系统中作为独立产品存在的功能。在更广泛的市场中，有无数供应商正在开发围绕 LLM 和 AI 构建的专业专家系统。这些系统中的许多甚至可能依赖 Elasticsearch 作为底层技术 —— 但在 Elasticsearch 中，这种功能是内置的，所有用户都可以使用。

对于 Elasticsearch 客户来说，这意味着像 RAG 和 AI 助手这样的功能已经作为企业许可的一部分包含在内。我们不会将你锁定在我们选择的 LLM 中 —— 你可以自由连接任何你选择的 LLM，以使用这些先进的功能，使最前沿的 AI 对更广泛的受众开放，并与你的业务数据相关。

这不仅仅是关于技术；它是关于解决现实世界中的问题。例如，安全分析师面临着越来越多的信息洪流 —— 从冗长的云日志到不断发展的法规框架，如 GDPR、NIS II 和 DORA。想一想，用户需要熟悉的庞大数据量，包括手册、操作手册、法规、指南、标准、技术文档等。现在，通过利用 Elasticsearch 提供的现成功能的 AI 和 RAG，用户可以更有效地处理、分析并采取行动，减少认知负担，改善决策。

AI 的未来不是取代人类 —— 而是赋能人类。借助像 Elastic AI 助手 for Security、利用 RAG 和自定义知识源等解决方案，我们可以创建更智能的系统，帮助用户驾驭复杂性，做出明智的决策，并最终实现更好的成果。

了解更多关于如何通过 Elastic AI 助手实现更快问题解决的信息。

此博客中提到的任何功能或功能的发布和时间安排均由 Elastic 自行决定。任何当前不可用的功能或功能可能无法按时交付，甚至根本无法交付。

在此博客中，我们可能提到或引用了第三方生成的 AI 工具，这些工具由各自的所有者拥有和运营。Elastic 对第三方工具没有控制权，也不对其内容、操作或使用负责，也不对因使用这些工具而可能引起的任何损失或损害承担责任。请在使用带有个人、敏感或机密信息的 AI 工具时谨慎。你提交的任何数据可能会用于 AI 训练或其他目的。我们不能保证你提供的信息将被保持安全或保密。在使用任何生成 AI 工具之前，你应熟悉其隐私实践和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 及相关标志是 Elasticsearch N.V. 在美国和其他国家的商标、标识或注册商标。所有其他公司和产品名称是各自所有者的商标、标识或注册商标。