开源铸剑,五载匠心!Zilliz Cloud云服务盛装登场,引领向量数据库云时代!

news2024/11/27 20:25:29

2023 年注定是属于大模型和向量数据库的巅峰时刻。国内大模型的发展也迎来前所未有之机遇,“百模”激战正酣。在刚闭幕的世界人工智能大会上,国内外科技公司全线加入,三十余款大模型集中亮相,“国家队”尘埃落定,并正式启动大模型测试国家标准制订,掀起新一轮大模型热浪。而作为“大模型记忆体”、AIGC 应用开发新范式的重要组成部分,向量数据库的演进也逐渐达到了前所未有的新高度。

Milvus 自 2019 年正式开源以来,已经成长为全球最大、最活跃的向量数据库开源项目与开发者社区。作为 Milvus 背后的开发者与运营者,Zilliz 一直走在向量数据库的最前沿,始终秉承为开发者提供易用性强、性价比高的向量数据库服务的理念。经过五年的持续打磨,终于在国内推出了基于 Milvus 的全托管向量数据库云服务产品——Zilliz Cloud。

alt

经过不断地开发与升级,Zilliz Cloud 俨然成为向量数据库赛道的领先者。随着 Zilliz Cloud 在国内全面开启向量数据库云服务,也为向量数据库的高速发展开启了全新的纪元。对于此次在国内的服务落地,Zilliz 秉承的使命和目标尤为清晰和明确:

  • 提供全球最专业的全托管向量数据库云服务。

  • 打破向量数据库服务集中在北美,国内无可用向量数据库服务的尴尬局面。

  • 满足向量数据库服务多云的需求,避免业务被单一云环境限制。

  • 为跨境业务中所需要的统一向量数据库服务和架构提供可行性。

  • Milvus 开源解决方案、SaaS、PaaS 统一接口标准,无缝线下/云上迁移,并大幅度降低混合部署的综合成本。

  • 提供比开源 Milvus 具有更高性价比、更稳定服务支持的产品和解决方案。

alt

成熟稳定,全球率先支持十亿级别向量规模的服务

Milvus 自开源以来,一直都是企业用户自建向量数据平台的首选,全套技术解决方案已被上万家企业所采用,其中百度、新浪、理想汽车、华泰证券、沃尔玛、LINE、BIGO 等头部企业在实践中经过反复验证,均已顺利投产。

alt

向量数据库是 AIGC 大模型的重要补充,是提供准确可靠、高度可扩展的长短期“记忆”的关键载体。近一年,向量数据库项目如雨后春笋般涌现。然而,大部分向量数据库支持的向量数据规模仅停留在千万量级,并不具备支撑生产环境的能力。

相较之下,Milvus 在过去 5 年的客户应用场景覆盖各行各业,早在 2021 年就实现稳定支持十亿级向量规模的线上服务。如今,Zilliz Cloud 的向量数据库服务可轻松支持十亿级以上规模向量数据,可用性高达 99.9%。

此外,在产品与技术背后,Zilliz 亦拥有全球最资深的向量数据库专家团队,可以为每一位企业用户配备 4 名技术支持,“没有人比我们更懂向量数据库”是团队对开源社区与商业化用户的承诺。

高性能+高性价比,性能优异远超同类产品

当前主流的向量数据索引算法是内存算法或内存/SSD 混合,算法内核以矩阵计算为主(类似 HPC),大规模向量检索与分析是计算/内存双重密集的任务。这意味着向量数据库作为基础设施,对于性能与成本更加敏感。

从性能方面来看,Zilliz Cloud 在 QPS 和降低查询延迟方面远超其他同类产品。我们将 Zilliz Cloud 、Milvus、Pinecone、ElasticCloud 4 个常见的向量数据库(ElasticCloud 严格来说不属于向量数据库,但附带向量能力,在传统文本检索领域受众最广,可以视为目前传统数据库支持向量检索的代表)在同等资源及 6 组向量查询任务的同等条件下进行了对比(测试框架已开源,详见 VectorDBBench,Leaderboard)。

对比结果如下:

在查询吞吐方面,Zilliz Cloud 在全部 6 组查询任务中全面力压北美向量数据库 Pinecone,整体性能平均超越 2 倍以上。与此同时,Zilliz Cloud 相比 Milvus,也有将近一倍的提升,表现令人眼前一亮。ElasticCloud 作为传统文本检索服务的代表,向量查询能力主要为补充能力,这 6 组查询任务的 QPS 均在 50 以下。

alt

查询延迟方面,Zilliz Cloud 整体在 10 ms 以下,Milvus 整体在 20 ms 以下,Pinecone 在 20-40 ms 之间,ElasticCloud 差距较为明显。

alt

性价比方面,主要考察 Queries per dollar (高并发情况下,单位成本所能支持的查询请求数量)。相较 Pinecone、Elastic,Zilliz Cloud 的优势十分明显。指标相比第二位的 Pinecone 最多可以高出 1 个数量级(Q1, Q2),在剩下的四组任务中普遍可以高 3 倍左右。(由于 Milvus 为开源方案,难以和商业化服务在相同标准下比较,我们在这组测试中将其移除。)

alt

黑科技加持,软硬件性能飙升,全新内核火力全开

Zilliz Cloud 采用商业化引擎,综合性能超过Milvus 开源引擎的 1 倍以上。引擎针对典型场景进行深度优化,性能可提升 3-5 倍。

硬件层面,Zilliz 与英伟达、英特尔等一线硬件厂商有着长期稳定的合作,向量算法内核针对 X86、ARM、GPU 进行了定制化优化。

软件层面,Zilliz Cloud 推出了 Autoindex 智能索引。智能索引根据用户的向量维度、数据规模、数据分布、查询特性进行持续的自动化调优,免去用户索引类型选型以及参数调优的痛苦。据 Zilliz 内部测试,autoindex 智能索引已经达到向量数据库专家手工调优效果的 84%,大幅超越用户的平均水平。在下一阶段,autoindex 智能索引的功能还会得到大幅度增强,支持用户指定 recall 进行优化,保证索引运行在指定查询准确度的最优点。

当然,针对最近大火的 AIGC 应用,Zilliz Cloud 也推出了专门的特性支持:

  • 动态 schema ,可以根据 AIGC 迭代需要,灵活扩展向量特征或标签字段。

  • Partition Key ,支持 AIGC 应用多用户知识库的利器,相较单独建表方案,综合成本可下降 2-3 个数量级。

  • 支持 JSON 类型,可以将 JSON 与 embedding 这两种超强能力相结合,实现基于 JSON 与 embedding 向量的混合数据表示以及复杂的业务逻辑。

打破 “CAP” 不可能三角,给用户灵活选择

向量数据库技术发展到现在并不完美,通常情况下,业务需要在成本(Cost)、查询效果与准确度(Accuracy)、查询性能(Performance)之间做权衡,即向量数据库的 CAP 问题。目前来看,CAP 是一个不可能三角,Zilliz 的解法是在典型的位置给出局部最优解,并给用户以灵活的选择。

事实上,用户的普遍场景可以归纳为性能需求型、容量需求型与成本敏感型。为此,Zilliz Cloud 在向量数据库实例中也相应提供了三类支持:性能型、容量型和经济型。不同的实例类型由不同的算法与硬件资源组合而成,适用于不同的业务场景。

alt
  • 性能型实例适用于需要低延迟和高吞吐量的向量相似性检索场景,该类型的实例能够保证毫秒级的响应。

性能型实例的适用场景包括但不限于:生成式 AI、推荐系统、搜索引擎、聊天机器人、内容审核、LLM 增强的知识库、金融风控。

  • 容量型实例可以支持的数据量是性能型的 5 倍,但查询延迟略有增加,因此适用于需要大量存储空间的场景,尤其是需要处理千万级以上向量数据的场景。

容量型实例的适用场景包括但不限于:搜索大规模的非结构化数据(如:文本、图像、音频、视频、药物化学结构等)、侵权检测、生物身份验证。

  • 经济型实例可支持的数据规模与容量型一致,但价格优惠 7 折左右,性能略有下降,适用于追求高性价比或预算敏感的场景。

经济型实例的适用场景包括但不限于:数据标记或数据聚类、数据去重、数据异常检测、平衡训练集类型分布。

支持大模型与非结构化数据处理全生态覆盖

没有任何一套系统可以满足使用者业务上的所有需求,向量数据库也是如此。在以向量数据库为支撑的业务中,往往需要处理多道流程,包括:

  • 业务数据的语义结构化,如从文本数据中梳理标题 embedding、内容段落的embedding、一二级主题、阅读时间;

  • 面向端到端效果的模型选型,如寻找能带来最佳效果的 embedding 模型选型;

  • 模型与向量数据库的集成,如向量数据库查询驱动的原始数据召回以及后续 LLM 对召回内容的总结或重构等。

为了进一步降低应用构建成本,提供标准化组件,Zilliz Cloud 为开发者提供了双重支持:

  • 大模型生态对接。2023 年 3 月,Zilliz 作为 OpenAI 首批向量数据库合作伙伴,完成了 Milvus 与 Zilliz Cloud 的插件化集成,被纳入官方推荐的向量数据库插件名单。不止如此,Zilliz 还与 LangChain、Cohere、LlamaIndex、Auto-GPT、BabyAGI 等热门项目进行了深度集成。此外,与国产大模型如文心一言、通义千问、智谱 AI、MiniMax、360 智脑等对接工作正在进行中,近期将会有更多成果发布。

  • 面向非结构化数据处理流水线。Zilliz Cloud 提供了开源的 Towhee 工具框架。开发者可以在熟悉的 Python 环境,以类似 Spark 的算子语法编写自己的流水线,轻松处理文本、图片、音频、视频、化合物结构等非结构化数据的 ETL 过程。Towhee 同时提供自动化编排工具,一键在 Python 环境验证过的流水线组织成基于 Triton、TensorRT、ONNX 以及一系列硬件加速算法的服务镜像,面向如文本近似搜索、智能问答、知识库等典型场景。当然,Towhee 也提供深度优化的标准流水线。

目前,Zilliz Cloud 提供 SaaS 和 PaaS 服务,其中 SaaS 已覆盖 AWS、GCP、阿里云,PaaS 覆盖 AWS、GCP、Azure、阿里云、百度智能云、腾讯云和金山云。国内官网已同步上线,更多详情和案例可以访问 https://zilliz.com.cn(海外官网和云服务入口:https://zilliz.com)。

为了加速打磨业界最佳实践,我们即将启动「寻找 AIGC 时代的 CVP 实践之星」 专题活动,Zilliz 将联合国内头部大模型厂商一同甄选应用场景, 由双方提供向量数据库与大模型顶级技术专家为用户赋能,一同打磨应用,提升落地效果,赋能业务本身。如果你的应用也适合 CVP 框架,且正为应用落地和实际效果发愁,可直接申请参与活动,获得最专业的帮助和指导。(注:CVP 即 C 代表以 ChatGPT 为代表的 LLMs,V 代表 Vector DB,P 代表 Prompt Engineering,联系方式参见 business@zilliz.com

2023 年伴随着 AGI 和 LLMs 的爆发已经过半,加速探索大模型落地之路已经迫在眉睫。行业的高度共识推动着 AI 奇点的来临,大模型将重构企业级应用,重塑人工智能产业的发展方向。Zilliz 表示,未来将持续聚焦向量数据库行业发展的最前沿,以各行各业的智能化演进为目标,为大模型时代的企业和开发者提供最具竞争力的“大模型记忆体”。

🌟点击跳转中文服务网站,了解更多关于 Zilliz Cloud 的信息。


  • 如果在使用 Milvus 或 Zilliz 产品有任何问题,可添加小助手微信 “zilliz-tech” 加入交流群。

  • 欢迎关注微信公众号“Zilliz”,了解最新资讯。

本文由 mdnice 多平台发布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/742184.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

接口测试(二) 优化项目分层及cookies值带入

整个项目分层如图 然后上代码 #data_test.py from openpyxl import load_workbook import json import osclass Date_test():filepath os.path.dirname(os.path.dirname(__file__))def __init__(self):self.case_id Noneself.url Noneself.data Noneself.Method Noneself…

模拟实现C++的string库的改进

之前写过,(8条消息) 模拟实现C的string库_Qianxueban的博客-CSDN博客 比较简单,我就直接截图的。我要改进一下。 1.改进string类中可以在字符串中存储\0 但我写的没有这项功能,究其根本就是代码我用的都是strcpy等等函数,应该用…

5G理论概述

文章目录 SA组网架构及协议栈4-5G核心网侧融合交互5G与4G用户标识5G网络网元和设备类型,接口1、AMF(Access and Mobility Management Function),接入和移动管理功能2、SMF(Session Management function),会话管理功能3…

MQTT快速入门

官网文档 前言: MQTT 是用于物联网连接的 OASIS 标准,它是一种基于发布订阅模式的、轻量级的消息传输协议,专为受限设备和低带宽、高延迟和不可靠的网络设计,并且能够提供一定的消息可靠性保证。得益于这些特性,MQTT…

在vite创建的vue3项目中使用Cesium标记地点(基于加载建筑样式,划分区域)

在vite创建的vue3项目中使用Cesium标记地点(基于加载建筑样式,划分区域) 使用vite创建vue3项目 npm create vitelatestcd到创建的项目文件夹中 npm install安装Cesium npm i cesium vite-plugin-cesium vite -D配置 vite.config.js文件&#…

通过平均列比较两组迭代次数

( A, B )---3*30*2---( 1, 0 )( 0, 1 ) 让网络的输入只有3个节点,AB训练集各由6张二值化的图片组成,让差值结构中有6个1, 行分布是0,1,1,1,1,2列分布是2,2,2.统计迭代次…

Java-多线程编程——基础篇及相关面试题

这里写目录标题 一、前言二、进程与线程的基本概念三、为什么Java中引入多线程?3.1 并行处理3.2 提高性能3.3 提高响应能力3.4 资源共享3.5 异步编程 四、Java多线程-创建多线程的类和接口4.1 Thread类4.2 Runnable接口 五、示例代码5.1 使用Thread类创建多线程六、…

【Django学习】(十二)GenericAPIView_过滤_排序_分页

上篇文章初步接触了GenericAPIView,这次来更加深入的学习它,了解里面的一些使用和方法 get_object:源码中:处理查询集,并含有所需要得pk值,lookup_fieldget_queryset:源码中:先判断queryset是否…

全志F1C200S嵌入式驱动开发(linux移植)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 前面完成了uboot移植,下面就要进行linux移植。当然,理论上uboot只是为后续的os准备好了一个基础运行环境,实际运行的操作系统是不是选择linux,也不一定。如果为了实际生产的需要…

Golang环境搭建指南(Windows和linux)

前言: go语言和Java,Python,C语言等等基本一样,也是需要在系统内集成语言环境的。语言基本都一样,支持各种系统架构,比如,mac,Windows,linux系统支持。本文仅以最为常用…

Django_Paginator分页器

目录 分页器代码说明 简单demo 源码等资料获取方法 分页器代码说明 import os import random # 需要导入分页器类from django.core.paginator import Paginator, EmptyPage# 导入配置django配置文件 os.environ.setdefault(DJANGO_SETTINGS_MODULE, dailyfresh.settings)it…

Java的Hibernate框架中集合类数据结构的映射编写教程

Java的Hibernate框架中集合类数据结构的映射编写教程 一、集合映射 1.集合小介 集合映射也是基本的映射,但在开发过程中不会经常用到,所以不需要深刻了解,只需要理解基本的使用方法即可,等在开发过程中遇到了这种问题时能够查询…

《机器学习公式推导与代码实现》chapter5-线性判别分析LDA

《机器学习公式推导与代码实现》学习笔记,记录一下自己的学习过程,详细的内容请大家购买作者的书籍查阅。 线性判别分析 线性判别分析(linear discriminant analysis, LDA)是一种经典的线性分类方法,其基本思想是将数据投影到低维空间&…

openGauss学习笔记-06 openGauss 基本概念

文章目录 openGauss学习笔记-06 openGauss 基本概念6.1 数据库(Database)6.2 数据块(Block)6.3 行(Row)6.4 列(Cloumn)6.5 表(Table)6.6 数据文件&#xff08…

Opencv之角点 Harris、Shi-Tomasi 检测详解

角点,即图像中某些属性较为突出的像素点 常用的角点有以下几种: 梯度最大值对应的像素点两条直线或者曲线的交点一阶梯度的导数最大值和梯度方向变化率最大的像素点一阶导数值最大,但是二阶导数值为0的像素点 API简介: void c…

Go语言网络编程:HTTP服务端之底层原理与源码分析——http.HandleFunc()、http.ListenAndServe()

一、启动 http 服务 import ("net/http" ) func main() {http.HandleFunc("/ping", func(w http.ResponseWriter, r *http.Request) {w.Write([]byte("ping...ping..."))})http.ListenAndServe(":8999", nil) }在 Golang只需要几行代…

MySQL存储过程和存储函数练习

创建表并插入数据 字段名 数据类型 主键 外键 非空 唯一 自增 id INT 是 否 是 是 否 name VARCHAR(50) 否 否 是 否 否 glass VARCHAR(50) 否 否 是 否 否 sch 表内容 id name glass 1 xiaommg glass 1 2 xiaojun glass 2 1、创建一个可以统计表格内记录条数的存储函数 &#…

耳夹式骨传导耳机哪个牌子好?耳夹骨传导耳机推荐

骨传导耳机品牌越来越多,选择骨传导耳机时可不是一件简单的事,在挑选的时候首先需要考虑到耳机自身的综合性能,以及耳机的配置如何都会影响到我们使用耳机的幸福感,接下来我来给大家挑选几款目前口碑不错的耳夹式骨传导耳机&#…

windows下使用cd命令切换到D盘的方法

windows下使用cd命令切换到D盘的方法 winr输入cmd进入终端

【CANFD详细介绍与CAN区别】

在汽车领域,随着人们对数据传输带宽要求的增加,传统的CAN总线由于带宽的限制难以满足这 种增加的需求。此外为了缩小CAN网络(max. 1MBit/s)与FlexRay(max.10MBit/s)网络的带宽差距,BOSCH公司推出了CAN FD。 CAN FD&…