LlamaIndex 联合创始人下场揭秘：如何使用私有数据提升 LLM 的能力？

news2024/11/19 2:34:19

ChatGPT 的爆火证明了大型语言模型（LLM）在生成知识和推理方面的能力。不过，ChatGPT 是使用公共数据集进行预训练的模型，因此可能无法提供与用户业务相关的特定答案或结果。

那么，如何使用私有数据最大化发挥 LLM 的能力？LlamaIndex 可以解决这一问题。LlamaIndex 是一个简单、灵活、集中的接口，可用于连接外部数据和 LLMs。

近期，Zilliz 与 LlamaIndex 梦幻联动，举办了一次干货满满的网络研讨会。会上，LlamaIndex 的联合创始人兼首席执行官 Jerry Liu 向大家介绍了如何使用 LlamaIndex 通过私有数据提升 LLM 能力。

LlamaIndex：使用私有数据增强 LLM 的神器

“如何使用私有数据增强 LLM”是困扰许多 LLM 开发者的一大难题。在网络研讨会中，Jerry 提出了两种方法：微调和上下文学习。

所谓“微调”是指使用私有数据重新训练网络，但这个方案成本高昂，缺乏透明度，且这种方法可能只在某些情况下才有效。另一种方法是上下文学习。“上下文学习”是指将预训练模型、外部知识和检索模型相结合。这样开发者就能在输入 prompt 的过程中添加上下文。不过，结合检索和内容生成，检索上下文、管理海量源数据方面都会让整个过程显得困难重重，LlamaIndex 系列工具正好可以解决这些问题。

开源工具 LlamaIndex 能够为 LLM 应用提供中央数据管理和查询接口。LlamaIndex 系列工具主要包含三个组件：

数据连接器——用于接收各种来源的数据。
数据索引——用于为不同应用场景调整数据结构。
查询接口——用于输入 prompt 和接收经过知识扩展后生成的结果。

alt ｜LlamaIndex 的三个主要组件

LlamaIndex 也是开发 LLM 应用的重要工具。它像一个黑匣子，接收详细的查询描述，返回相应回答和丰富的参考资料。LlamaIndex 还可以管理语言模型和私有数据之间的应用集成，从而提供准确的结果。

alt ｜整个应用流程中的LlamaIndex

LlamaIndex VS 向量检索

LlamaIndex 向量索引的工作原理

LlamaIndex 支持各种索引，包括列表索引、向量索引、树索引和关键字索引。Jerry 在网络研讨会中以向量索引为例，展示了 LlamaIndex 索引的工作原理。向量索引是一种常见的检索和数据整合模式，它能将向量存储库与语言模型进行配对。LlamaIndex 向量索引先接收一组源文档数据，将文档切分成文本片段，并将这些片段存入内置的向量存储库里，每个片段都有相应的向量与之对应。当用户进行查询时，查询问题先转化为向量，然后在向量存储系统中检索 top-k 最相似的向量数据。后续，这些检索出来的相似向量数据将在相应合成模块中用于生成结果。

alt ｜LlamaIndex 接收数据

alt ｜通过向量存储系统查询

对于在 LLM 应用中引入相似性检索有刚需的用户而言，向量存储系统的索引是最好的选择。这种索引类型非常适合语义相似性检索，因为它可以比较不同文本。例如，向量存储索引适合搭建问答机器人，回答各种关于特定开源项目的问题（参考 OSSChat）。

集成 Milvus 和 LlamaIndex

LlamaIndex 集成十分多样且轻量。在本次网络研讨会中，Jerry 强调了 Milvus 和 LlamaIndex 的集成（参考：https://milvus.io/docs/integrate_with_llama.md）。

开源向量数据库 Milvus 可以处理数百万、数十亿甚至数万亿规模的向量数据集。在这个集成中，Milvus 承担了后端向量库的角色，用来存储文本片段和向量。集成 Milvus 和 LlamaIndex 也十分简单——仅需输入几个参数，在向量存储环节中加入 Milvus，通过查询引擎便可获得问题答案。

当然，作为提供全托管云原生 Milvus 服务的 Zilliz Cloud 同样支持集成 LlamaIndex

LlamaIndex 应用案例

在网络研讨会中，Jerry 还分享了许多 LlamaIndex 的典型应用场景，包括：

语义搜索
总结归纳
文本转化为 SQL 结构化数据
合成异构数据
比较/对比查询
多步骤查询

更多用例详情，可以点击观看视频讲解。

精彩问答集锦

如何看待 OpenAI 的插件？如何使用 OpenAI 插件与 LlamaIndex 协同合作？

Jerry Liu: 这是个好问题。一方面，我们其实就是 OpenAI 的插件之一，可以被任何外部代理调用,无论是 ChatGPT 还是 LangChain，任何外部代理都可以调用我们。客户端代理将一个输入请求发送给我们，我们以最佳的方式执行。比如，在 ChatGPT 的 chatgpt-retrieval-plugin 仓库里就可以找到我们的插件。另一方面，从客户端的角度而言，我们支持与任何软件服务集成，只要这个服务是 [chatgpt-retrieval-plugin] 插件。