milvus - VectorDBBench benchmaker 性能测试工具使用经验

news2024/9/17 9:06:21 
IVF_FLAT (Inverted File with Flat Indexing)
优点:
在数据量适中且维度不是非常高的情况下，IVF_FLAT能提供精确的最近邻搜索结果。
相对简单，易于理解和实现。
缺点:
当数据集非常大时，IVF_FLAT需要大量的内存来存储整个数据集，这可能导致性能瓶颈。
检索速度随着数据集的增长而显著降低，因为需要与所有候选数据点计算相似度。
HNSW (Hierarchical Navigable Small World Graphs)
优点:
HNSW特别适合高维数据，能够在大规模数据集上提供高效的近似最近邻搜索。
即使数据集很大，HNSW也能保持较快的查询速度。
缺点:
HNSW的构建过程可能较为复杂和耗时，尤其是在数据流式更新的情况下。
结果为近似最近邻，虽然通常足够准确，但在某些场景下可能不如IVF_FLAT精确。
对于小数据场景，特别是如果数据量不大且可以接受较高的内存消耗，IVF_FLAT可能是一个更好的选择，因为它能提供精确的结果。然而，如果数据集的维度非常高或者你希望优化查询速度，即使数据量较小，HNSW仍然可能是更优的选择。
在实际应用中，选择哪一种算法还应考虑具体业务需求，比如是否可以容忍近似结果、系统资源限制、以及是否需要实时更新索引等因素。如果数据量和维度都不大，而且对查询速度的要求不是特别高，那么IVF_FLAT可能就足够了；但如果需要在高维数据上进行快速查询，HNSW则更加合适。


HNSW  分层可导航小世界图索引
1.M
M是一个关键参数，它定义了图中每个节点的最大出边数，即每个节点可以连接到的最多其他节点的数量 
在HNSW的多级图结构中，M控制着图的连通性和密度。
2.efConstruction
efConstruction定义了在构建图时，算法为每个节点寻找最近邻时考虑的候选节点数量。换句话说，它是构建索引过程中用于决定每个节点连接哪些其他节点的探索因子。
它控制了算法在添加新节点时考虑的候选邻居数量。当添加一个新节点时，算法会从当前图中选取efConstruction个节点作为候选，并从中挑选出最佳的邻居节点来建立连接
3.ef-search 
ef_search（有时简写为 ef）是HNSW（Hierarchical Navigable Small World graphs）算法中用于查询阶段的一个重要参数。在查询时，ef_search定义了算法在试图找到最近邻时考虑的候选节点数量。
它控制着搜索的广度，即算法在搜索图时愿意检查多少条边。
ef_search 控制搜索过程的效率和精度，它影响算法在搜索时探索的路径数量。
4.k
k通常是指查询时返回的最近邻（nearest neighbors）的数量

IVF_FALT  带平面索引的倒排文件
lists
lists参数实际上指的是nlist，它是IVF_FLAT索引中聚类（或列表）的数量。nlist决定了数据集被分割成多少个子集。
probes
probes参数是指在搜索时实际检查的聚类数量

官网地址如下：
https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1

https://gitee.com/woohello/VectorDBBench

1.前置条件：
1.python >= 3.11
Ssl 问题解决：
https://cloud.tencent.com/developer/article/2424089
https://blog.csdn.net/qq_43370607/article/details/137382955

pip install vectordb-bench

1.ivf_flat 性能验证

nohup ./ivf_flat.sh  > /root/octopus/benchmarker/dimension/ivf_flat.log  2>&1 &

/usr/local/python3.12/bin/vectordbbench  milvusivfflat --uri 'http://xxxxx:32437'  --drop-old --lists 1024 --probes 5

{
    "run_id": "09c01adfa7a5470ea6176855cccd5628",
    "task_label": "09c01adfa7a5470ea6176855cccd5628",
    "results": [{
            "metrics": {
                "max_load_count": 0,
                "load_duration": 158.9442,
                "qps": 3031.743,
                "serial_latency_p99": 0.008,
                "recall": 0.5065,
                "ndcg": 0.5493,
                "conc_num_list": [1, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60, 65, 70, 75, 80, 85, 90, 95, 100],
                "conc_qps_list": [175.7321, 838.1756, 1328.4196, 1676.7759, 1885.2717, 2329.0303, 2238.8839, 2307.6002, 2418.9697, 2502.9213, 2628.4562, 2611.9513, 2631.2078, 2709.1865, 2751.1792, 2749.1104, 2792.9155, 2752.8945, 2836.4445, 2904.4609, 3031.743],
                "conc_latency_p99_list": [0.004655693072453141, 0.004652024507522583, 0.004790452426299453, 0.005058524944633246, 0.0053853894943371415, 0.00560504300147295, 0.005771844685822725, 0.006148010149598122, 0.006257654917612672, 0.00643803995847702, 0.006523223061859608, 0.00653654379490763, 0.0069596841046586635, 0.00731352926902473, 0.007371303759515286, 0.007228717562556266, 0.007472157787531615, 0.0074205820478498935, 0.006961745805479586, 0.008283554406836629, 0.0073261844931170345]
            },
            "task_config": {
                "db": "Milvus",
                "db_config": {
                    "db_label": "2024-07-30T14:43:55.771839",
                    "uri": "**********"
                },
                "db_case_config": {
                    "index": "IVF_FLAT",
                    "metric_type": "COSINE",
                    "nlist": 1024,
                    "nprobe": 5
                },
                "case_config": {
                    "case_id": 50,
                    "custom_case": null,
                    "k": 100,
                    "concurrency_search_config": {
                        "num_concurrency": [1, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60, 65, 70, 75, 80, 85, 90, 95, 100],
                        "concurrency_duration": 30
                    }
                },
                "stages": ["drop_old", "load", "search_serial", "search_concurrent"]
            },
            "label": ":)"
        }
    ],
    "file_fmt": "result_{}_{}_{}.json"
}

在这里插入图片描述
2.hnsw 性能验证
条件：–m 8 --ef-construction 64 --ef-search 10 --k 10

nohup ./hnsw_10.sh > /root/octopus/benchmarker/dimension/hnsw_10.log  2>&1 & 

/usr/local/python3.12/bin/vectordbbench   milvushnsw --uri 'http://172.20.1.101:32437' --drop-old   --m 8 --ef-construction 64  --ef-search 10  --k 10

在这里插入图片描述

{
    "run_id": "1c945b28090941c7ae58ec55a8ae0ecb",
    "task_label": "1c945b28090941c7ae58ec55a8ae0ecb",
    "results": [{
            "metrics": {
                "max_load_count": 0,
                "load_duration": 138.8369,
                "qps": 3857.9497,
                "serial_latency_p99": 0.006,
                "recall": 0.6946,
                "ndcg": 0.7127,
                "conc_num_list": [1, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60, 65, 70, 75, 80, 85, 90, 95, 100],
                "conc_qps_list": [205.9066, 896.0748, 1535.6513, 1961.4574, 2282.5936, 2486.9112, 2473.0187, 2639.9002, 2792.597, 2825.9357, 2985.0966, 2992.8825, 3202.8998, 3336.8242, 3480.6602, 3195.9544, 3206.5109, 3249.2361, 3527.203, 3528.9396, 3857.9497],
                "conc_latency_p99_list": [0.004022291118651628, 0.003988313633389771, 0.004059490236081183, 0.0042587881341576575, 0.004422521588951349, 0.0045851776339113715, 0.0050087556691840295, 0.005091396714560687, 0.005392795985937118, 0.005527270000986755, 0.00542353574000299, 0.005898943385109305, 0.005861698154173791, 0.006148975464701652, 0.006199899067729712, 0.006067702007293701, 0.006825755665823817, 0.006885729782283306, 0.006695127539336682, 0.0061551205324009055, 0.006313137001730501]
            },
            "task_config": {
                "db": "Milvus",
                "db_config": {
                    "db_label": "2024-07-30T15:32:41.701653",
                    "uri": "**********"
                },
                "db_case_config": {
                    "index": "HNSW",
                    "metric_type": "COSINE",
                    "M": 8,
                    "efConstruction": 64,
                    "ef": 10
                },
                "case_config": {
                    "case_id": 50,
                    "custom_case": null,
                    "k": 10,
                    "concurrency_search_config": {
                        "num_concurrency": [1, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60, 65, 70, 75, 80, 85, 90, 95, 100],
                        "concurrency_duration": 30
                    }
                },
                "stages": ["drop_old", "load", "search_serial", "search_concurrent"]
            },
            "label": ":)"
        }
    ],
    "file_fmt": "result_{}_{}_{}.json"
}

2.hnsw 性能验证
条件： --m 8 --ef-construction 64 --ef-search 64 --k 64

nohup ./hnsw_10.sh > /root/octopus/benchmarker/dimension/hnsw_64.log 2>&1 & 

{
    "run_id": "0112f04d884a48e7b04a79601b501f43",
    "task_label": "0112f04d884a48e7b04a79601b501f43",
    "results": [{
            "metrics": {
                "max_load_count": 0,
                "load_duration": 99.8713,
                "qps": 3590.8011,
                "serial_latency_p99": 0.0068,
                "recall": 0.6842,
                "ndcg": 0.6988,
                "conc_num_list": [1, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60, 65, 70, 75, 80, 85, 90, 95, 100],
                "conc_qps_list": [204.2923, 903.9947, 1569.658, 1960.1058, 2254.7686, 2555.6955, 2661.9067, 2884.7484, 2974.3032, 2975.3197, 2988.5105, 3178.9354, 3299.7453, 3396.6382, 3327.4601, 3397.9266, 3465.914, 3466.3555, 3471.6151, 3504.3056, 3590.8011],
                "conc_latency_p99_list": [0.004091060114465654, 0.003925692438334226, 0.004029340751469135, 0.004241374858655035, 0.0044741668567061426, 0.004661575911566615, 0.004779618114605546, 0.00496285007596016, 0.005089158420264721, 0.005570173567533493, 0.005635122420825064, 0.0056590593174099925, 0.005516276902705431, 0.0058326821969822045, 0.005921696238219737, 0.006209327307716011, 0.006015772367082536, 0.0063866944853216406, 0.0059822171421721575, 0.005861425867676735, 0.00654305313937366]
            },
            "task_config": {
                "db": "Milvus",
                "db_config": {
                    "db_label": "2024-07-30T16:03:25.006315",
                    "uri": "**********"
                },
                "db_case_config": {
                    "index": "HNSW",
                    "metric_type": "COSINE",
                    "M": 8,
                    "efConstruction": 64,
                    "ef": 10
                },
                "case_config": {
                    "case_id": 50,
                    "custom_case": null,
                    "k": 10,
                    "concurrency_search_config": {
                        "num_concurrency": [1, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60, 65, 70, 75, 80, 85, 90, 95, 100],
                        "concurrency_duration": 30
                    }
                },
                "stages": ["drop_old", "load", "search_serial", "search_concurrent"]
            },
            "label": ":)"
        }
    ],
    "file_fmt": "result_{}_{}_{}.json"
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1963603.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

基于欧氏距离的点云聚类（python）

基于欧氏距离的点云聚类（python）

1、背景介绍 欧式聚类是一种基于欧氏距离度量的聚类算法。它是点云处理中的一个重要步骤，它可以帮助我们从无序的点云数据中提取有意义的信息。一般来说，对点云进行欧式聚类处理，可以帮助后续数据处理，如物体检测与识别、三维重建…
阅读更多...
链式栈，队列与树形结构

链式栈，队列与树形结构

链式栈 链式存储的栈 实现方式：可以使用单向链表完成 对单向链表进行头插（入栈）、头删（出栈），此时链表的头部就是链栈的栈顶，链表的尾部，就是链栈的栈底 队列 概念 队列&#…
阅读更多...
二叉树算法题（1）

二叉树算法题（1）

单值二叉树 思路： 若根结点为NULL，则直接返回true若根结点的左右结点存在，且与根结点的值不相等，则返回false递归根结点的左右子树 typedef struct TreeNode TreeNode; bool isUnivalTree(struct TreeNode* root) {if(root NU…
阅读更多...
程序员修炼之路：深入广泛的必修课程

程序员修炼之路：深入广泛的必修课程

成为一名优秀的程序员，需要广泛而深入地学习多个领域的知识。这些课程不仅帮助建立扎实的编程基础，还培养了问题解决、算法设计、系统思维等多方面的能力。以下是一些核心的必修课： 计算机基础 计算机组成原理：理解计算机的硬件组…
阅读更多...
一步步揭秘：浏览器输入URL后的那些事儿

一步步揭秘：浏览器输入URL后的那些事儿

Hello大家好，我是小米，一个热爱分享技术的IT达人。今天我们一起来聊聊一个大家每天都会用到但可能不太了解的过程：浏览器输入URL之后发生了什么。这是一个从用户输入到浏览器显示页面的完整过程，涉及到很多底层的网络基础知识。今天我们就一起来探究这个神秘的过程！ DNS解…
阅读更多...
Java 中的File类

Java 中的File类

路径分为绝对路径和相对路径。 相对路径肯定是相对谁来说的，一般是一个文件相对于另外一个文件而言的路径。 下面是一个例子，比如index.htm如何找到photo.jpg呢？ c:/website/web/index.htmc:/website/img/photo.jpg 所以在index.htm中使用…
阅读更多...
Python：类的属性（实例属性、类属性）和方法（实例方法、类方法、静态方法）

Python：类的属性（实例属性、类属性）和方法（实例方法、类方法、静态方法）

相关阅读 Pythonhttps://blog.csdn.net/weixin_45791458/category_12403403.html?spm1001.2014.3001.5482 Python是一门面向对象的编程语言，其核心概念之一是类。类是对象的蓝图或模板，定义了对象的属性和方法。理解类的属性和方法对于掌握Python编程至…
阅读更多...
【Docker】常见概念|技术架构演进之路|八大架构|单机架构|应用数据分离架构|应用服务集群架构

【Docker】常见概念|技术架构演进之路|八大架构|单机架构|应用数据分离架构|应用服务集群架构

目录 一、常见概念 应用（Application） / 系统（System） 模块（Module） / 组件（Component） 分布式（Distributed） 集群（Cluster） 主…
阅读更多...
python调用MATLAB函数的一个诡异的问题，数据类型问题

python调用MATLAB函数的一个诡异的问题，数据类型问题

记一次python调用MATLAB函数的诡异问题 说明（废话）解决方案总结 说明（废话） 这个问题的起因是python调用MATLAB函数的问题，归根结底，主要还是因为不同语言对于不同的数据表达的方式不同造成的问题。 pytho…
阅读更多...
在Postman中引用JS库

在Postman中引用JS库

前言 在做接口测试时，出于安全因素，请求参数需要做加密或者加上签名才能正常请求，例如：根据填写的请求参数进行hash计算进行签名。postman作为主流的接口调试工具也是支持请求预处理的，即在请求前使用JavaScript脚本对…
阅读更多...
界面组件DevExtreme v24.2将发布一系列新组件、支持.NET 9

界面组件DevExtreme v24.2将发布一系列新组件、支持.NET 9

DevExtreme拥有高性能的HTML5 / JavaScript小部件集合，使您可以利用现代Web开发堆栈（包括React，Angular，ASP.NET Core，jQuery，Knockout等）构建交互式的Web应用程序。从Angular和Reac&#xff0c…
阅读更多...
中小企业选择数字工厂管理系统需要注意哪些问题

中小企业选择数字工厂管理系统需要注意哪些问题

在当今数字化转型的大潮中，中小企业作为经济体系的重要组成部分，正积极寻求通过引入数字工厂管理系统来提升生产效率、优化资源配置、增强市场竞争力。然而，面对市场上琳琅满目的数字工厂管理系统解决方案，中小企业在选择时往往面…
阅读更多...
HarmonyOS鸿蒙- 延时执行

HarmonyOS鸿蒙- 延时执行

一、延时执行一次 3000 表示秒,可根据需求修改 //2秒后执行打印setTimeout(() > {console.log(Timer is end)},3000) 取消延时执行 // 3秒后执行打印 let timerId setTimeout(() > {console.log(Timer is end)},3000)// 取消timerId的延时 clearTimeout(timerId) 二、…
阅读更多...
设计师的素材管理神器，eagle、千鹿大测评

设计师的素材管理神器，eagle、千鹿大测评

前言 专业的设计师都会精心维护自己的个人素材库，常常需要耗费大量时间用于浏览采集、分类标注、预览筛选、分享协作，还要管理字体、图片、音视频等各类设计素材 如果你作为设计师的话，今天，就为大家带来两款热门的素材管理工具…
阅读更多...
构建基于数据驱动的应用程序与Llamaindex——理解大型语言模型

构建基于数据驱动的应用程序与Llamaindex——理解大型语言模型

如果你在阅读这本书，你可能已经探索过大型语言模型（LLMs）的领域，并且已经认识到它们的潜在应用以及它们的缺陷。本书旨在解决LLMs所面临的挑战，并提供一本实用指南，教你如何使用LlamaIndex构建数据驱动的LL…
阅读更多...
57_Redis与Springboot的集合应用

57_Redis与Springboot的集合应用

前提 要实现,使用Redis存储登录状态 需要一个完整的前端后端的项目 前端项目搭建 解压脚手架安装依赖配置请求代理选做: 禁用EsLint语法检查 Vue Admin Template关闭eslint校验，lintOnSave：false设置无效解决办法_lintonsave: false-CSDN博客 后端项…
阅读更多...
C++和R穿刺针吸活检肿瘤算法模型模拟和进化动力学量化差异模型

C++和R穿刺针吸活检肿瘤算法模型模拟和进化动力学量化差异模型

🎯要点 🎯模拟肿瘤细胞增生进化轨迹 | 🎯肿瘤生长的随机空间细胞自动机模型 | 🎯模拟穿刺活检的收集空间局部的肿瘤块，模拟针吸活检采集长而薄的组织样本 | 🎯构建不同参数模拟合成肿瘤测试集 | &#x1f…
阅读更多...
【TS】TypeScript函数类型：提升函数的类型安全性和可读性

【TS】TypeScript函数类型：提升函数的类型安全性和可读性

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要，勿增实体" 文章目录 TypeScript函数类型：提升函数的类型安全性和可读性1. 引言2. 基本函…
阅读更多...
vue3 基于elementui el-table封装 hooks （未使用ts版本）

vue3 基于elementui el-table封装 hooks （未使用ts版本）

elementui-table封装 hooks js-hooks import { ref, reactive, onMounted } from vue import { ElMessage, ElMessageBox, ElNotification } from element-plus /*** FileDescription: el-table 函数式组件hooks--实现一个表格的数据加载、分页、搜索、删除和导出等操作,* fu…
阅读更多...
tesseract 图片识别引擎

tesseract 图片识别引擎

什么是tesseract Tesseract是一款开源的光学字符识别（OCR）引擎，用于从图像中提取文本。它由Ray Smith在惠普实验室于1985年至1995年开发，并在2005年由惠普将其作为开源软件发布。之后，Tesseract的开发由Google主导&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023