Milvus在数派数据大模型业务中的实践

01.

写在前面

云南数派数据科技有限公司是一家总部位于美丽春城昆明的大模型创新企业，在深圳和昆明双城并立，设立了两个研发中心。我们的旗舰产品——SUPIEDT大模型开发平台，作为一款全生命周期的异构算力大模型开发平台，集一站式企业级大模型开发及服务运行等综合能力于一身。目前，该平台已成功落地全国10家人工智能算力中心，构建起强大的算力网络，能够向客户提供总量超过1000P的算力供应以及数十套大模型的行业解决方案。帮助客户在大模型时代，用得上、用得起、用得好。

02.

业务背景

在市场上除了大企业外更多的是咱们的中小企业以及个人，众多的中小企业正面临一种普遍的焦虑情绪，其核心担忧在于：若未能及时搭乘大模型技术的快车，恐将面临被时代浪潮淘汰的风险。然而，对普通企业来说，大模型入门门槛高，不知如何跨越这道门槛，融入这一技术革新潮流。鉴于当前这一现状，我们做了一些事情，把这个门槛降低，让每一位个人或企业都能够以极低的门槛将大模型在本地业务进行私有化的落地。

目前，我们业务正蓬勃发展，在全国范围内展现出了较强的竞争力。简而言之，我们是一个小而美的研发团队，我们也期望能够助力众多像我们一样的中小企业在大模型的时代尽早完成转身。

尤为值得一提的是，我们的平台将秉持开放共享的精神，实施开源策略，为更广泛的开发者及企业用户提供便利。

03.

Milvus与数派数据大模型业务的架构

Milvus作为业务架构中的核心模块，贯穿整个应用技术栈，起到了关键作用。整个应用可以架构在不同的硬件设备之上，对不同的数据进行向量化，将向量化的结果存入到Milvus向量库，由向量库为大模型以及应用提供数据。

04.

Milvus与数派数据大模型使用场景的结合

4.1基于Milvus知识库问答应用

随着企业业务与算力中心的日益普及，客户对我们的业务提出了新的期望：希望获得能够即刻投入使用且支持模型训练的开箱即用应用。这意味着用户能够先从应用层面直接体验，若需求未得到充分满足，再进一步进行模型调优。

在这一背景下，知识库成为了满足客户需求的关键工具之一。基于客户的迫切需求，因此集成了RAG能力，确保了知识库功能的即时可用性，这个场景就需要向量数据库的支持，特别是Milvus，它在后续的数据管理和模型评估中将发挥潜在的重要作用，确保数据的高效处理和模型的精准评估。

4.2基于Milvus的AI搜索应用

客户除了知识库问答之外，也对我们提出了需要具备AI搜索的能力，既能够检索联网信息，可以基于联网能力在极短的时间内构建行业基础知识库。同时也需要能够搜索本地数据，并且完成复杂的搜索任务。进一步的分析图表的呈现以及分析报告出具。该功能同样依赖于向量库的强大支持，Milvus作为向量数据库，确保信息检索的全面性与精准性。向量库作为核心组件，其应用深度与广度贯穿了我们产品的整个生命周期。

4.3基于Milvus的AI长文档编写应用

在提升查询效率的基础上，我们进一步开发了长文档写作功能，赋能用户撰写超长文档。这个过程中，用户可便捷地引用既存素材与资料，这得益于Milvus向量化存储和检索。

帮助用户快速找到相关文档或段落，提升写作效率和质量。

4.4基于Milvus的大模型一站式开发应用

除了开箱即用的功能之外，还可以在不满足预制模型的情况下进行数据标注、模型训练部署、AI应用构建等功能，通过我们精心设计的三步操作流程，能够高效实现企业私有化大模型的落地，而这一过程中，Milvus的应用更是不可或缺，它作为关键组件贯穿于数据工程、模型训练与部署等多个环节。

第一步，数据工程模块：

公开数据集采集：从互联网收集领域相关数据，通过处理与标注形成训练集。
自动数据标注：利用模型自动标注和合成数据，解决数据量少和标注难题。
数据处理Pipeline：内置工具去重、去隐私、统一编码等，辅助数据清洗。
数据质量校验：校验数据质量，提供评判依据。
‍‍

Milvus应用场景：

在数据质量校验过程中，涉及到对数据的存储、检索和对比，在标注以及检查的过程中，尤其是当数据量庞大且需要高效处理时，Milvus作为向量数据库，能够支持高效地向量相似度搜索，有助于快速识别和验证数据质量。

第二步，模型训练：

选择算力：通过平台选择适合的算力资源，无论是专属还是共享。
选择模型：从内置的上百款不同参数的大模型中选择所需模型进行训练。
选择数据集：选定先前准备的一个或多个数据集进行训练。
‍

Milvus应用场景：

在模型训练完成后，数据的管理和更新变得尤为重要。Milvus作为向量数据库，能够有效地存储和管理海量向量数据，包括数据集向量、训练日志、图表数据等。通过Milvus，用户可以高效地查询、检索和更新这些数据，为模型的持续迭代和优化提供有力支持。

在模型评估阶段，Milvus可以发挥重要作用。通过对模型输出结果的向量化处理，用户可以利用Milvus进行高效的相似性搜索和分析，从而评估模型的准确性和泛化能力。此外，Milvus还支持对时序数据的预测分析，帮助用户更全面地了解模型在不同场景下的表现，为后续的模型优化和部署提供重要参考。

第三步，部署及应用构建：

模型部署：用户可以直接部署或导出训练完成的模型，以便于快速测试和应用构建。
应用编排：将业务节点与大模型整合，打造定制化的大模型应用，无论是企业还是个人都能灵活构建。
‍

Milvus应用场景：

模型部署，需对模型进行持续优化或监控其性能时，Milvus可用于存储和分析模型的运行数据（如输入、输出、性能指标等），通过向量化技术，实现快速检索和对比不同版本的模型表现，为模型的优化提供数据支持。

在应用编排过程中，若涉及到需要处理或检索大量结构化、非结构化数据时，Milvus可作为底层数据库支持，提供高效的向量相似度搜索功能，加速业务处理流程。

05.

选择Milvus

在进行向量库选型的时候，我们基本上一开始就决定了选择Milvus作为我们的核心支撑，这一决策背后，是我们基于多维度指标的全面考量与深思熟虑。当时我们评估的主要指标就是：成熟度是否高、可扩展性是否强、是否拥有庞大的用户基数、是否拥有完整的生态、是否适配国产化、是否足够的方便易用。

多个算力中心稳定运行半年以上

我们首要关注的是其成熟度。Milvus作为成熟的向量数据库，经过多个版本的迭代与优化，其系统稳定性和兼容性得到了广泛验证。在关键业务场景中，Milvus能够确保数据的高可用性和低故障率，减少因系统不稳定导致的业务中断风险，我们在10个以上的算力中心稳定运行6个月以上，保障了众多用户的业务稳定运行。

维护成本降低30%

紧接着，我们审视了Milvus的可扩展性以及生态支持。Milvus支持水平扩展，能够轻松应对数据量的快速增长。随着业务规模的扩大，Milvus能够无缝扩展存储和计算能力，确保查询性能不受影响。相比传统数据库，Milvus在扩展性方面的优势以及庞大与生态系统的完整性也是我们不可忽视的重要因素，它们为我们提供了丰富的实践经验与强大的社区支持。这种强大的社区支持能够加速问题的解决，提高开发效率，作为整个应用的核心组件我们整个实施以及维护成本至少降低了30%。

多模态能力综合效率提升50%以上

最新版本的 Milvus 推出了 Hybrid Search 功能，大幅提升了多模态 RAG（Retrieval-Augmented Generation）流程的构建效率。单表默认支持多达 4 列向量，最多可支持 10 个向量列。在实际应用中，这一功能在我们应用场景中，综合效率提升达到了50%。同时，Milvus 原生支持多种融合策略，包括基于排名的 RRF（Ranked Retrieval Fusion）和基于得分（距离）的加权平均算法 WeightedRanker，这些策略在多模态检索与问答系统中实现了性能提升，查询准确率提高了，显著增强了系统的整体效率和效果。

综上所述，选择Milvus，是我们对技术前瞻性、实用性与可持续性的共同追求。

06.

总结

感谢 Milvus 向量数据库全体团队，其提供的稳定向量检索能力、多样化功能特性，极大地简化了我们在向量检索场景下构建业务系统的流程，其卓越的分布式扩展能力更是有效应对了数据量的持续增长，确保了系统的稳定运行。得益于Milvus的强大支持，我们成功推出了可私有化部署的应用平台，实现了客户真正的开箱即用体验，同时预留了灵活的空间，在现有需求未满足时，便于进行模型的进一步训练与优化。