Milvus 向量数据库介绍及使用

news2024/11/16 7:48:00

一、Milvus 介绍及安装

Milvus 于 2019 年创建，其目标只有一个：存储、索引和管理由深度神经网络和其他机器学习 (ML) 模型生成的大量嵌入向量。它具备高可用、高性能、易拓展的特点，用于海量向量数据的实时召回。

作为专门为处理输入向量查询而设计的数据库，它能够对万亿规模的向量进行索引。与现有的关系数据库主要处理遵循预定义模式的结构化数据不同，Milvus 是自下而上设计的，旨在处理从非结构化数据转换而来的嵌入向量。

Milvus 采用共享存储架构，存储计算完全分离，计算节点支持横向扩展。从架构上来看，Milvus 遵循数据流和控制流分离，整体分为了四个层次，分别为接入层（access layer）、协调服务（coordinator service）、执行节点（worker node）和存储层（storage）。各个层次相互独立，独立扩展和容灾。

在这里插入图片描述

在 Milvus 中相关术语：

  • Collection： 包含一组 Entity，可以理解为关系型数据库中的表。

  • Entity： 包含一组 Field，可以理解为关系型数据库中的行。

  • Field：可以是代表对象属性的结构化数据，也可以是代表对象特征的向量。可以理解为关系型数据库中的字段。

  • Partition：分区，针对 Collection 数据分区存储多个部分，每个分区又可以包含多个段。

  • Segment：分段，一个 Partition 可以包含多个 Segment。一个 Segment 可以包含多个 Entity。在搜索时，会搜索每个 Segment 合并后返回结果。

  • Sharding：分片，将数据分散到不同节点上，充分利用集群的并行计算能力进行写入，默认情况下，单个 Collection 包含 2 个分片。

  • Index：索引，可以提高数据搜索的速度。但一个向量字段仅支持一种索引类型。

更多介绍可以参考官方文档：

官网地址：https://milvus.io/

Milvus Docker 单机部署

单机版 Milvus 主要包括三个组件：

  • Milvus：负责提供系统的核心功能。
  • etcd ：元数据引擎，用于管理 Milvus 内部组件的元数据访问和存储，例如：proxy、index node 等。
  • MinIO ：存储引擎，负责维护 Milvus 的数据持久化。

需要提前安装好 Docker、Docker-compose 环境。

官方介绍：https://milvus.io/docs/install_standalone-docker.md

下载 docker-compose.yml 文件：

wget https://github.com/milvus-io/milvus/releases/download/v2.3.1/milvus-standalone-docker-compose.yml -O docker-compose.yml

启动 Milvus

docker compose up -d

在这里插入图片描述

查看启动服务：

docker ps

在这里插入图片描述

安装可视化工具

vi docker-compose-insight.yml

version: '3.5'

services:
  insight:
    container_name: milvus-insight
    image: milvusdb/milvus-insight:latest
    environment:
      HOST_URL: http://172.19.222.20:3000
      MILVUS_URL: 172.19.222.20:19530
    ports:
      - "3000:3000"
    networks:
      - milvus

networks:
  milvus:

启动

docker-compose -f docker-compose-insight.yml up -d

浏览器访问可视化页面：

http://ip:3000

在这里插入图片描述

二、Python Api 使用

Milvus 与 Python Api 版本对应如下：

Milvus 版本推荐的 PyMilvus 版本
1.0.*1.0.1
1.1.*1.1.2
2.0.x2.0.2
2.1.x2.1.3
2.2.x2.2.3
2.3.02.3.7
2.4.0-rc.12.4.0

这里安装 2.3.7 版本依赖，推荐 Python 版本 3.8 以上：

pip install pymilvus==v2.3.7 -i https://pypi.tuna.tsinghua.edu.cn/simple

连接 Milvus ：

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

如果有用户名密码，可以使用：

from pymilvus import MilvusClient

client = MilvusClient(
    uri="http://localhost:19530",
    token="root:Milvus",
    db_name="default"
)

1. 创建 Collection

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

client.create_collection(
    collection_name="test", # 集合的名称
    dimension=5, # 向量的维度
    primary_field_name="id", # 主键字段名称
    id_type="int", # 主键的类型
    vector_field_name="vector", # 向量字段的名称
    metric_type="L2", # 指标类型，用于测量向量嵌入之间的相似性的算法。
    auto_id=True # 主键ID自动递增
)

或者自定义设置字段：

from pymilvus import MilvusClient, DataType

client = MilvusClient("http://172.19.222.20:19530")

# 声明 schema
schema = MilvusClient.create_schema(
    auto_id=False,
    enable_dynamic_field=False,
)
# 添加主键字段
schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
# 添加向量字段
schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=5)
# 添加其他字段
schema.add_field(field_name="name", datatype=DataType.VARCHAR, max_length=255)
schema.verify()
# 索引
index_params = client.prepare_index_params()
index_params.add_index(
    field_name="id",
    index_type="STL_SORT"
)

index_params.add_index(
    field_name="vector",
    index_type="IVF_FLAT",
    metric_type="L2",
    params={"nlist": 1024}
)

# 创建 collection
client.create_collection(
    collection_name="test1",
    schema=schema,
    index_params=index_params
)

其中向量索引方式有如下选择：

索引说明
FLAT准确率高， 适合数据量小，暴力求解相似。
IVF-FLAT量化操作， 准确率和速度的平衡
IVFinverted file 先对空间的点进行聚类，查询时先比较聚类中心距离，再找到最近的N个点。
IVF-SQ8量化操作，disk cpu GPU 友好
SQ8对向量做标量量化，浮点数表示转为int型表示，4字节->1字节。
IVF-PQ快速，但是准确率降低，把向量切分成m段，对每段进行聚类
HNSW基于图的索引，高效搜索场景，构建多层的NSW。
ANNOY基于树的索引，高召回率

执行后可在可视化工具中看到创建的 Collection :

在这里插入图片描述

2. insert 写入数据：

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

# 写入一条
res1 = client.insert(
    collection_name="test1",  # 前面创建的 collection 名称
    data={
        "id": 0,  # 主键ID
        "vector": [  # 向量
            0.6186516144460161,
            0.5927442462488592,
            0.848608119657156,
            0.9287046808231654,
            -0.42215796530168403
        ],
        "name": "测试1"  # 其他字段
    }
)
print(res1)

# 批量写入
res2 = client.insert(
    collection_name="test1",
    data=[
         {"id": 1, "vector": [0.19886812562848388, 0.06023560599112088, 0.6976963061752597, 0.2614474506242501, 0.838729485096104], "name": "测试3"},
         {"id": 2, "vector": [0.43742130801983836, -0.5597502546264526, 0.6457887650909682, 0.7894058910881185, 0.20785793220625592], "name": "测试4"},
         {"id": 3, "vector": [0.3172005263489739, 0.9719044792798428, -0.36981146090600725, -0.4860894583077995, 0.95791889146345], "name": "测试5"},
         {"id": 4, "vector": [0.4452349528804562, -0.8757026943054742, 0.8220779437047674, 0.46406290649483184, 0.30337481143159106], "name": "测试6"},
         {"id": 5, "vector": [0.985825131989184, -0.8144651566660419, 0.6299267002202009, 0.1206906911183383, -0.1446277761879955], "name": "测试7"},
         {"id": 6, "vector": [0.8371977790571115, -0.015764369584852833, -0.31062937026679327, -0.562666951622192, -0.8984947637863987], "name": "测试8"},
         {"id": 7, "vector": [-0.33445148015177995, -0.2567135004164067, 0.8987539745369246, 0.9402995886420709, 0.5378064918413052], "name": "测试9"},
         {"id": 8, "vector": [0.39524717779832685, 0.4000257286739164, -0.5890507376891594, -0.8650502298996872, -0.6140360785406336], "name": "测试10"},
         {"id": 9, "vector": [0.5718280481994695, 0.24070317428066512, -0.3737913482606834, -0.06726932177492717, -0.6980531615588608], "name": "测试11"}
     ],
)

print(res2)

在这里插入图片描述

3. search 向量相似查询数据

3.1 向量相似检索
from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

res = client.search(
    collection_name="test1",
    data=[[0.05, 0.23, 0.07, 0.45, 0.13]],
    limit=3,
    search_params={
        "metric_type": "L2",
        "params": {}
    }
)

for row in res[0]:
    print(row)

在这里插入图片描述

3.2 向量相似检索 + 过滤

过滤和 SQL 用法类似，通过 filter 字段控制：

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

res = client.search(
    collection_name="test1",
    data=[[0.05, 0.23, 0.07, 0.45, 0.13]],
    limit=3,
    filter='name == "测试5" and id > 2',
    search_params={
        "metric_type": "L2",
        "params": {}
    }
)

for row in res[0]:
    print(row)

在这里插入图片描述

3.3 向量相似检索 + 模糊查询过滤

模糊查询和 SQL 用法一直，使用 like 。

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

res = client.search(
    collection_name="test1",
    data=[[0.05, 0.23, 0.07, 0.45, 0.13]],
    limit=3,
    filter='name == "name like "测试%" and id > 2',
    search_params={
        "metric_type": "L2",
        "params": {}
    }
)

for row in res[0]:
    print(row)

在这里插入图片描述

3.4 向量相似检索 + 指定输出字段

通过 output_fields 控制输出字段。

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

res = client.search(
    collection_name="test1",
    data=[[0.05, 0.23, 0.07, 0.45, 0.13]],
    limit=3,
    filter='name like "测试%" and id > 2',
    output_fields=["vector", "name"],
    search_params={
        "metric_type": "L2",
        "params": {}
    }
)

for row in res[0]:
    print(row)

在这里插入图片描述

3.5 向量相似检索 + 分页

通过增加 offset + limit 的方式实现：

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

res = client.search(
    collection_name="test1",
    data=[[0.05, 0.23, 0.07, 0.45, 0.13]],
    limit=3,
    offset=3,
    filter='name like "测试%" and id > 2',
    output_fields=["vector", "name"],
    search_params={
        "metric_type": "L2",
        "params": {}
    }
)

for row in res[0]:
    print(row)

在这里插入图片描述

4. query 普通查询数据

query 用法和 search 类似，只是不用传递 data 向量了：

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

res = client.query(
    collection_name="test1",
    filter="id > 1",
    output_fields=["*"]
)
for row in res:
    print(row)

在这里插入图片描述

5. upsert 插入或更新数据

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

## 查询 id = 2 的数据
res = client.query(
    collection_name="test1",
    filter="id == 2",
    output_fields=["*"]
)
row = res[0]
print(row)

# 修改name为张三
row['name'] = "张三"

# 保存修改
client.upsert(
    collection_name="test1",
    data=[row]
)

再次查询：

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

## 查询 id = 2 的数据
res = client.query(
    collection_name="test1",
    filter="id == 2",
    output_fields=["*"]
)
row = res[0]
print(row)

在这里插入图片描述

6. delete 删除数据

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

# 删除 id 为 1、2 的数据
client.delete(
    collection_name="test1",
    ids=[1, 2]
)

查询数据：

from pymilvus import MilvusClient

client = MilvusClient("http://172.19.222.20:19530")

res = client.query(
    collection_name="test1",
    filter="",
    output_fields=["*"],
    limit=1000
)
for row in res:
    print(row)

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1538680.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

题目：异或森林（蓝桥OJ 3400）

题目：异或森林（蓝桥OJ 3400）

问题描述&#xff1a; 解题思路&#xff1a; 一个数也可以看作是一段区间&#xff0c;当该区间的异或和为完全平方数时则符合题意。 我们需要注意枚举的完全平方的上限。 异或前缀和减小时间复杂度。 题解&#xff1a; #include <bits/stdc.h> using namespace std; usi…
阅读更多...
MATLAB中的数学建模：基础知识、实例与方法论

MATLAB中的数学建模：基础知识、实例与方法论

前言 在当今科技高速发展的时代&#xff0c;数学建模成为了解析复杂世界的关键工具&#xff0c;而MATLAB作为一种专业的科学计算软件&#xff0c;为我们提供了强大的数学建模平台。MATLAB不仅仅是Matrix Laboratory的简称&#xff0c;更是一个集数值分析、矩阵计算、算法开发和…
阅读更多...
如何做好软件架构

如何做好软件架构

最近学习了Udemy的一个软件架构课程&#xff0c;在此做一个记录和分享。 总的来说&#xff0c;软件架构是基于实际业务需求&#xff0c;无法为实际业务服务&#xff0c;再花哨的软件架构都无法产生任何价值。 当需求到来&#xff0c;我们需要分以下几个大致步骤进行分析和拆解…
阅读更多...
【项目设计】仿 muduo 库实现 OneThreadOneEventLoop 式并发服务器

【项目设计】仿 muduo 库实现 OneThreadOneEventLoop 式并发服务器

文章目录 一、项目介绍1. 项目简介2. 开发环境3. 核心技术4. 开发阶段 二、前置知识了解1. reactor2. timerfd3. timerwheel4. eventfd5. regex6. any 三、框架设计1. 项目模块划分1.1 SERVER 模块1.2 协议模块 2. 项目模块关系图2.1 Connection 模块关系图2.2 Acceptor 模块关…
阅读更多...
抖音视频关键词批量采集工具|视频无水印爬虫下载软件

抖音视频关键词批量采集工具|视频无水印爬虫下载软件

抖音视频关键词批量采集工具&#xff1a; 最新推出的抖音视频关键词批量采集工具&#xff0c;为您提供一种便捷的方式通过关键词搜索和提取符合条件的视频内容。以下是详细的操作说明和功能解析&#xff1a; 操作说明&#xff1a; 进入软件后&#xff0c;在第一个选项卡页面…
阅读更多...
Linux centos7安装nginx-1.24.0并且实现自启动

Linux centos7安装nginx-1.24.0并且实现自启动

1.安装之前的操作 ps -ef|grep nginx 查看是否有运行 如果有就杀掉 kill -9 pid find / -name nginx 查看nginx文件 rm -rf file /usr/local/nginx* 通通删掉删掉 yum remove nginx 限载一下服务 1.2.下载安装包 地址 nginx: download 2.减压文件 tar…
阅读更多...
shell常用通配符

shell常用通配符

目录 介绍 示例 * ? [a,b,...] / [ab...] [^a,b,...] / [^ab...] [x1-x2] {"xxx","xxx","xxx",...} {x1..x2} 介绍 示例 * 匹配0或多个字符 ls的-d选项可以只列出当前目录下的文件,而不会列出他们包含的内容: ? 只匹配任意一个字符 …
阅读更多...
JAVA_Tomcat

JAVA_Tomcat

Tomcat 使用教程 1.下载: http://tomcat.apache.org/ 2.安装: 解压压缩包(安装目录不要有中文) 3.卸载: 删除目录即可 4.启动: 运行./bin/startup.sh1.黑窗口一闪而过: 没有配置好JDK环境变量2.启动报错(查看日志文件): 端口占用 5.关闭: 1.强制关闭: 点击窗口关闭按钮2.正常…
阅读更多...
Vue3 大量赋值导致reactive响应丢失问题

Vue3 大量赋值导致reactive响应丢失问题

问题阐述 如上图所示&#xff0c;我定义了响应式对象arrreactive({data:[]})&#xff0c;尝试将indexedDB两千条数据一口气赋值给arr.data。但事与愿违&#xff0c;页面上的{{}}在展示先前数组的三秒后变为空。 问题探究 vue3的响应应该与console.log有异曲同工之妙&#xff0…
阅读更多...
js教程（8）

js教程（8）

一、事件流 1.概述 在JavaScript中&#xff0c;事件流描述的是事件在DOM结构中传播和被处理的顺序。事件流分为冒泡阶段和捕获阶段。 冒泡阶段&#xff08;Bubbling Phase&#xff09;&#xff1a;事件首先从最内层的元素开始向父级元素传播&#xff0c;一直传播到最外层的元素…
阅读更多...
分布式Raft原理详解，从不同角色视角分析相关状态

分布式Raft原理详解，从不同角色视角分析相关状态

分布式Raft原理详解&#xff0c;从不同角色视角分析相关状态 1. CAP定理2.Raft 要解决的问题3. Raft的核心逻辑3.1. Raft的核心逻辑2.1. 复制状态机2.2. 任期 Term2.3. 任期的意义&#xff1a;逻辑时钟2.4 选举定时器 3. Leader选举逻辑4. 从节点视角查看Leader选举4.1. Follow…
阅读更多...
备考ICA----Istio实验7---故障注入 Fault Injection 实验

备考ICA----Istio实验7---故障注入 Fault Injection 实验

备考ICA----Istio实验7—故障注入 Fault Injection 实验 Istio 的故障注入用于模拟应用程序中的故障现象&#xff0c;以测试应用程序的故障恢复能力。故障注入有两种: 1.delay延迟注入 2.abort中止注入 1. 环境准备 kubectl apply -f istio/samples/bookinfo/platform/kube/…
阅读更多...
计算机二级总结

计算机二级总结

1.结构体改值&#xff1a; ②第二套1 对形参b所指结构体的数据进行修改 1.结构体传参传地址&结构体 2.在函数里用->,在main里用.&#xff0c;数组用. ②第五套1 对形参b所指结构体的数据进行修改 返回指针变量的地址&#xff0c;不用取*&#xff0c;所以用struct stud…
阅读更多...
唯众物联网安装调试员实训平台物联网一体化教学实训室项目交付山东技师学院

唯众物联网安装调试员实训平台物联网一体化教学实训室项目交付山东技师学院

近日&#xff0c;山东技师学院物联网安装调试员实训平台及物联网一体化教学实训室采购项目已顺利完成交付并投入使用&#xff0c;标志着学院在物联网技术教学与实践应用方面迈出了坚实的一步。 山东技师学院作为国内知名的技师培养摇篮&#xff0c;一直以来致力于为社会培养高…
阅读更多...
二叉树的层次遍历经典问题-算法通关村

二叉树的层次遍历经典问题-算法通关村

二叉树的层次遍历经典问题-算法通关村 1 层次遍历简介 广度优先在面试里出现的频率非常高&#xff0c;整体属于简单题。广度优先又叫层次遍历&#xff0c;基本过程如下&#xff1a; 层次遍历就是从根节点开始&#xff0c;先访问根节点下面一层全部元素&#xff0c;再访问之后…
阅读更多...
阿里云OSS分布式存储

阿里云OSS分布式存储

目录 &#x1f9c2;1.OSS开通 &#x1f32d;2.头像上传整合OSS &#x1f68d;2.1.引入依赖 &#x1f68d;2.2添加配置 &#x1f68d;2.3创建配置类 &#x1f68d;2.4添加实现类 &#x1f68d;2.5controller调用接口 &#x1f68d;2.6postman测试 1.OSS开通 1.登…
阅读更多...
Apache James数据库存储用户信息的密码加密问题

Apache James数据库存储用户信息的密码加密问题

项目场景 Apache James邮件服务器使用数据库来存储用户信息的密码加密问题&#xff1a; 将James的用户改为数据库存储James密码是如何加密验证的 1.将James的用户改为数据库存储 1、修改存储方式 找到james-2.3.2\apps\james\SAR-INF\config.xml 找到<users-store>标…
阅读更多...
能被整除的数

能被整除的数

给定一个整数 n 和 m个不同的质数 p1,p2,…,pm。 请你求出 1∼n中能被 p1,p2,…,pm 中的至少一个数整除的整数有多少个。 输入格式 第一行包含整数 n 和 m。 第二行包含 m 个质数。 输出格式 输出一个整数&#xff0c;表示满足条件的整数的个数。 数据范围 1≤n≤10^5 …
阅读更多...
30V转5V 1A 30降压12V 1A DCDC低电压恒压IC 车充芯片-H4110

30V转5V 1A 30降压12V 1A DCDC低电压恒压IC 车充芯片-H4110

30V转5V和30V转12V的DCDC低电压恒压IC&#xff08;也称为降压恒压芯片或车充芯片&#xff09;工作原理如下&#xff1a; 输入电压识别&#xff1a;芯片首先识别输入的30V电压&#xff0c;并准备进行转换。 PWM控制&#xff1a;芯片内部的控制逻辑生成PWM信号。这个信号用于控制…
阅读更多...
6个免费的ChatGPT网站

6个免费的ChatGPT网站

AI 大模型的出现给时代带来了深远的影响&#xff1a; 改变了产业格局&#xff1a;AI 大模型的发展推动了人工智能技术在各行业的广泛应用&#xff0c;改变了传统产业的运作方式&#xff0c;促进了新兴产业的崛起&#xff0c;如智能驾驶、医疗健康、金融科技等。提升了科学研究…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023