如何选择一个向量数据库｜Qdrant Cloud v.s. Zilliz Cloud

news2024/11/27 6:16:26

随着向量数据库的热度不断攀升，越来越多人开始关注到这一赛道，传统数据库和检索系统也在快速集成专门的向量检索插件方面展开角逐。Qdrant 因其易用性和用户友好的开发者文档，面世不久即获得关注。

Qdrant 以 Rust 语言构建，提供 Rust、Python、Golang 等客户端 API，能够满足当今主流开发人员的需求。不过， Qdrant 作为后起之秀，和其他竞品仍然存在一定差距，例如界面及查询功能不够完善。

那么，Qdrant 和 Zilliz Cloud/Milvus 有何不同？可以这样理解，二者都专为向量数据打造，但适用于不同场景。Qdrant 更适合追求低成本基础设施维护的开发人员。而如果应用系统更注重性能和可扩展性，Zilliz Cloud/Milvus 是更合适的选择。因为 Zilliz Cloud/Milvus 具备可扩展性极强、性能更佳、延时更低的特点，适用于对性能指标有着严格要求的场景。

本文中将撇开这些表面差异，通过比较二者的性能基准测试结果和 Qdrant Cloud 的相关特性，深入探究 Qdrant Cloud 和 Zilliz Cloud 的差异。

01.Qdrant Cloud v.s. Zilliz Cloud：性能大比拼

最近，随着检索增强生成系统（RAG）的持续火爆，开发者对于“如何选择一个向量数据库”的疑惑也越来越多。过去几周，我们从性能和特性能力两个方面对 Qdrant Cloud 和 Zilliz Cloud 进行了详细的对比。

过去几周，我们从性能和特性能力两个方面对 Qdrant Cloud 和 Zilliz Cloud 进行了详细的对比。在对比过程中，我们使用了开源的性能基准测试套件 VectorDBBench，围绕诸如每秒查询次数（QPS）、每美元查询次数（QP$）以及时延等关键指标展开测试。

【大型测试数据集（≥ 500 万向量数据）】

以下为测试中使用的两类数据集：

数据集 1 包含 10,000,000 条 768 维的向量数据。
数据集 2 包含 5,000,000 条 1,536 维的向量数据。

测试对象

以下为测试时使用的实例，这些实例在硬件配置上基本相近：

Zilliz Cloud (8cu-perf)：Zilliz Cloud 8 CU 性能型实例
Zilliz Cloud (2cu-cap)：Zilliz Cloud 2 CU 容量型实例
Qdrant Cloud (4c16g-5node): Qdrant Cloud 4 CPU 16G 内存，使用 5 台机器的实例

每秒查询次数（QPS）

测试结果显示，在 10,000,000 条 768 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 QPS 分别是 Qdrant Cloud 实例的 7 倍和 1 倍。

在 5,000,000 条 1,536 维的向量数据中进行检索时，Zilliz Cloud(8cu-perf) 实例的 QPS 是 Qdrant Cloud 实例的 8 倍，但 Zilliz Cloud (2cu-cap) 实例的 QPS 低于 Qdrant Cloud 实例。

每美元查询次数（QP$）

在 10,000,000 条 768 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 8 倍和 5 倍。

在 5,000,000 条 1,536 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 7 倍和 3 倍。

时延

在 10,000,000 条 768 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 P99 延时分别是 Qdrant Cloud 实例的 12 倍和 3 倍。

在 5,000,000 条 1,536 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 P99 时延分别是 Qdrant Cloud 实例的 8 倍和 1 倍。

【中型测试数据集（< 500 万向量数据）】

以下为测试中使用的两类数据集：

数据集 3 包含 1,000,000 条 768 维的向量数据。
数据集 4 包含 500,000 条1,536 维的向量数据。

测试对象

以下为测试时使用的实例，这些实例在硬件配置上基本相近：

Zilliz Cloud (1cu-perf)：Zilliz Cloud 1 CU 性能型实例
Zilliz Cloud (1cu-cap)：Zilliz Cloud 1 CU 容量型实例
Qdrant Cloud (4c16g-1node): Qdrant Cloud 4 CPU 16G 内存，使用 1 台机器的实例

每秒查询次数（QPS）

测试结果显示，在 1,000,000 条 768 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 QPS 分别是 Qdrant Cloud 实例的 2 倍和 1 倍。

在 500,000 条 1,536 维的向量数据中进行检索时，Zilliz Cloud(1cu-perf) 实例的 QPS 是 Qdrant Cloud 实例的 2 倍，但 Zilliz Cloud (1cu-cap) 实例的 QPS 低于 Qdrant Cloud 实例。

每美元查询次数（QP$）

在 1,000,000 条 768 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 4 倍和 2 倍。

在 500,000 条 1,536 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 3 倍和 1 倍。

时延

在 1,000,000 条 768 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 P99 时延均为 Qdrant Cloud 实例的 2 倍。

在 500,000 条 1,536 维的向量数据中进行检索时，Zilliz Cloud 两款实例的 P99 时延分别是 Qdrant Cloud 实例的 127 倍和 27 倍。

【结果：综合评分】

上图展示了各实例在不同用例下的性能评分（百分制）情况，分数越高，性能越强。具体的评分标准可以参考此处

https://github.com/zilliztech/VectorDBBench/tree/main#leaderboard。

上图展示了各实例在不同用例（https://zilliz.com/vector-database-benchmark-tool#comparison-section）下的性能评分（>1) 情况，分数越低，性能越强。

上述性能基准测试结果由开源的 VectorDBBench（https://github.com/zilliztech/VectorDBBench）工具提供。在工具的 GitHub 主页上，还可以看到向量数据库的排行榜。VectorDBBench 为主流的向量数据库和相关云服务提供了公正的性能测试基准（https://zilliz.com.cn/benchmark）。该工具有着良好的易用性，可以轻而易举地在众多向量数据库云服务和开源向量数据库中找到最佳选择。