通过阿里云 Milvus 与 PAI 搭建高效的检索增强对话系统

news2024/12/21 21:23:49

背景介绍

阿里云向量检索服务Milvus版（简称阿里云Milvus）是一款云上全托管服务，确保了了与开源Milvus的100%兼容性，并支持无缝迁移。在开源版本的基础上增强了可扩展性，能提供大规模 AI 向量数据的相似性检索服务。相比于自建，目前阿里云Milvus具备易用性、可用性、安全性、低成本与生态优势。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警，阿里云Milvus 云服务成为多样化 AI 应用场景的理想选择，包括多模态搜索、检索增强生成（RAG）、搜索推荐、内容风险识别等。您还可以利用开源的 Attu 工具进行可视化操作，进一步促进应用的快速开发和部署。

阿里云Milvus现已无缝集成于阿里云PAI平台，一站式赋能用户构建高性能的RAG（Retrieval-Augmented Generation）对话系统。您可以利用Milvus作为向量数据的实时存储与检索核心，高效结合PAI和LangChain技术栈，实现从理论到实践的快速转化，搭建起功能强大的RAG解决方案。

前提条件

已创建Milvus实例，并配置了公网访问。

进入阿里云Milvus页面（https://www.aliyun.com/product/milvus），登录阿里云Milvus控制台（https://milvus.console.aliyun.com/#/overview）。并在左侧导航栏，单击Milvus实例，并继续创建实例。

在目标实例的安全配置页面，单击开启公网。输入当前服务器的公网访问IP地址或符合CIDR定义的IP地址段。

已开通PAI（EAS）并创建了默认工作空间。

登录PAI控制台（https://pai.console.aliyun.com），在左上角选择需要开通的地域后，进行认证、授权并开通服务，待开通成功后，便可进入控制台进行AI开发。

使用限制

Milvus实例和PAI（EAS）须在相同地域下。

操作流程

步骤一：通过PAI部署RAG系统

1.进入模型在线服务页面。

a.登录PAI控制台(https://pai.console.aliyun.com/)。

b.在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

c.在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。

2.在模型在线服务页面，单击部署服务。

3.在部署服务页面，选择大模型RAG对话系统部署。

4.在部署大模型RAG对话系统页面，配置以下关键参数，其余参数可使用默认配置，更多参数详情请参见大模型RAG对话系统（https://help.aliyun.com/zh/pai/user-guide/deploy-a-rag-based-dialogue-system）。

5.单击部署。

当服务状态变为运行中时，表示服务部署成功。

步骤二：通过RAG WebUI上传知识库

1.配置RAG对话系统。

a.在模型在线服务（EAS）页面，单击查看Web应用，进入WebUI页面。

b.配置Embedding模型。

在RAG服务WebUI界面的Settings选项卡中，系统已自动识别并应用了部署服务时配置的向量检索库设置。

Embedding Model Name：系统内置四种模型供您选择，将自动为您配置最合适的模型。
Embedding Dimension：选择Embedding Model Name后，系统会自动进行配置，无需手动操作。

2.测试向量检索库连接是否正常。

系统已自动识别并应用了部署服务时配置的向量检索库设置，并且该设置不支持修改。您可以单击Connect Milvus，来验证Milvus连接是否正常。

3.上传知识库。在RAG服务WebUI界面的Upload选项卡中，可以上传知识库文档。

a. 设置语义切块参数。

通过配置以下参数来控制文档切块粒度的大小和进行QA信息提取：

参数	描述
Chunk Size	指定每个分块的大小，单位为字节，默认为500。
Chunk Overlap	表示相邻分块之间的重叠量，默认为10。
Process with QA Extraction Model	通过选中Yes复选框启动QA信息提取功能，系统将在您上传业务数据文件后自动抽取出QA对，以获得更好的检索和回答效果。