Milvus vector database
第一章 Milvus概述
Milvus创建于2019年,唯一的目标是:存储、索引和管理由深度神经网络和其他机器学习(ML)模型生成的大量嵌入向量embedding vectors。
存储对象:向量
NOTE:embedding vectors是对非结构化数据的特征抽象,比如电子邮件、物联网传感器数据、Instagram照片、蛋白质结构等等。现代嵌入技术用于将非结构化数据转换为嵌入向量,从数学上讲,嵌入向量是浮点数或二进制数的数组。
Milvus能够通过计算两个向量的相似距离来分析它们之间的相关性,如果两个嵌入向量非常相似,则意味着原始数据源也是相似的。
1.1相关应用
-
图像相似性搜索:图像可搜索,并立即从海量数据库中返回最相似的图像。
-
视频相似度搜索:通过将关键帧转换为向量,然后将结果输入Milvus,可以近乎实时地搜索和推荐数十亿个视频。
-
音频相似度搜索:快速查询语音、音乐、音效、表面相似声音等海量音频数据。
-
分子相似性搜索:对特定分子进行快速相似性搜索、子结构搜索或上层结构搜索。
-
推荐系统:推荐
官网:https://milvus.io/bootcamp/
1.2Milvus是如何设计的?
作为一个云原生矢量数据库,Milvus通过设计分离了存储和计算。为了增强弹性和灵活性,Milvus中的所有组件都是无状态的。
该系统分为四个层次:
-
访问层:访问层由一组无状态代理组成,作为系统的前端层和用户的端点。
-
协调服务:协调服务将任务分配给工作节点,并发挥系统大脑的作用。
-
工作节点:工作节点就像手臂和腿,是哑执行器,遵循协调器服务的指令,执行用户触发的DML/DDL命令。
-
存储:存储是系统的骨架,负责数据持久性。它包括元存储、日志
有关更多信息,请参见体系结构概述Architecture Overview.
1.3开发者工具
Milvus由丰富的api和工具支持,以促进DevOps。
Milvus有包装在Milvus API之上的客户端库,可用于从应用程序代码中以编程方式插入、删除和查询数据。
PyMilvus
Node.js SDK
Go SDK
Java SDK
第二章 快速开始
2.1安装Milvus
使用docker-compose安装Milvus Standalone
【第一步】下载milvus-standalone-docker-compose.yml
,并保存为docker-compose.yml
https://github.com/milvus-io/milvus/releases/download/v2.2.3/milvus-standalone-docker-compose.yml
linux
wget https://github.com/milvus-io/milvus/releases/download/v2.2.3/milvus-standalone-docker-compose.yml -O docker-compose.yml
【第二步】在与docker-compose.yml
相同的目录中,启动所有docker-compose
服务并后台运行
docker-compose up -d
【第三步】展示当前docker-compose
编排过的运行的所有容器
docker-compose ps
停止服务
docker-compose down
停止Milvus后删除数据,执行
sudo rm -rf volumes
第三章 学习
前提下载:PyMilvus 2.2.2
pip3 install pymilvus==2.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
3.1Manage Milvus Connections (连接管理)
如何连接和断开Milvus服务器
milvus支持两个端口:19530、9091
-
gRPC支持19530端口
它是连接不同Milvus sdk的Milvus服务器时的默认端口。
-
RESTful API支持9091端口
当使用HTTP客户端连接到Milvus服务器时使用它。
连接Milvus服务器
建立一个Milvus连接。在进行任何操作之前,请确保连接到Milvus服务器。
示例代码:
from pymilvus import connections
connections.connect(
alias="default",
host='localhost',
port='19530'
)
Parameter | Description |
---|---|
alias | 要构造的Milvus连接的别名。 |
host | Milvus服务器IP地址。 |
port | Milvus服务器端口。 |
返回值:由传递的参数创建的Milvus连接
NOTE:最大连接数为65,536。
Milvus服务器断开连接
示例代码:
connections.disconnect("default")
Parameter | Description |
---|---|
alias | 要断开连接的Milvus服务器的别名。 |
3.2Manage Collections(集合管理)
要创建的集合必须包含一个主键字段和一个向量字段。主键字段支持的数据类型为INT64和String。
Prepare Schema(准备schema)
首先,准备参数,包括field schema, collection schema, and collection name.、
示例代码:
from pymilvus import CollectionSchema, FieldSchema, DataType
book_id = FieldSchema(
name="book_id",
dtype=DataType.INT64,
is_primary=True,
)
book_name = FieldSchema(
name="book_name",
dtype=DataType.VARCHAR,
max_length=200,
)
word_count = FieldSchema(
name="word_count",
dtype=DataType.INT64,
)
book_intro = FieldSchema(
name="book_intro",
dtype=DataType.FLOAT_VECTOR,
dim=2
)
schema = CollectionSchema(
fields=[book_id, book_name, word_count, book_intro],
description="Test book search"
)
collection_name = "book"
Parameter | Description | Option |
---|---|---|
FieldSchema | 要创建的集合中的字段的模式。 | N/A |
name | 要创建的字段的名称 | N/A |
dtype | 要创建的字段的数据类型。 | DataType.INT64 、DataType.VARCHAR 、DataType.BOOL 、DataType.INT64``DataType.FLOAT 、DataType.DOUBLE BINARY_VECTOR FLOAT_VECTOR |
is_primary 主键字段为必选项 | 要创建的字段是否为主键 | True or False |
auto_id (主键字段为必选项) | 启用或禁用自动ID(主键)分配。 | True or False |
max_length (VARCHAR字段的必填项) | 允许插入的最大字符串长度。 | [1, 65,535] |
dim (向量字段是必须的) | 向量的维数。 | [1, 32,768] |
description (可选) | 字段的描述。 | N/A |
CollectionSchema | 要创建的集合的模式。 | N/A |
fields | 要创建的集合的字段。 | N/A |
description (可选) | 要创建的集合的描述。 | N/A |
collection_name | 要创建的集合的名称。 | N/A |
Create a collection(创建集合)
示例代码:
from pymilvus import Collection
collection = Collection(
name=collection_name,
schema=schema,
using='default',
shards_num=2
)
Parameter | Description | Option |
---|---|---|
using 可选 | 通过在这里指定服务器别名,选择在哪个Milvus服务器中创建集合。 | N/A |
shards_num 可选 | 要创建的集合的碎片数。 | [1,256] |
properties: collection.ttl.seconds 可选 | TTL (Collection time to live)是收集的过期时间。过期集合中的数据将被清理,并且不会涉及到搜索或查询。TTL以秒为单位。 | 该值应该为0或更大。0表示关闭TTL。 |
限制
Feature | Maximum limit |
---|---|
Length of a collection name | 255 characters |
Number of partitions in a collection | 4,096 |
Number of fields in a collection | 64 |
Number of shards in a collection | 256 |
Modify a collection(修改集合)
示例代码:
collection.set_properties(properties={"collection.ttl.seconds": 1800})
TTL (Collection time to live)是集合中数据的过期时间。集合中过期的数据将被清理,并且不会涉及到搜索或查询。TTL以秒为单位。该值应该为0或更大。缺省值为0,即关闭TTL功能。
Check Collection Information(核对集合信息)
检查是否存在集合
from pymilvus import utility
utility.has_collection("book")
检查集合的具体信息
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.schema # Return the schema.CollectionSchema of the collection.
collection.description # Return the description of the collection.
collection.name # Return the name of the collection.
collection.is_empty # Return the boolean value that indicates if the collection is empty.
collection.num_entities # Return the number of entities in the collection.
collection.primary_field # Return the schema.FieldSchema of the primary key field.
collection.partitions # Return the list[Partition] object.
collection.indexes # Return the list[Index] object.
collection.properties # Return the expiration time of data in the collection.
列出这个Milvus实例中的所有集合。
from pymilvus import utility
utility.list_collections()
Drop a collection(删除一个集合)
from pymilvus import utility
utility.drop_collection("book")
Collection Alias(集合别名)
集合别名管理;别名的长度不能超过255个字符
创建集合别名
from pymilvus import utility
utility.create_alias(
collection_name = "book",
alias = "publication"
)
删除集合别名
from pymilvus import utility
utility.drop_alias(alias = "publication")
更改集合别名
from pymilvus import utility
utility.alter_alias(
collection_name = "book",
alias = "publication"
)
Load a Collection(加载一个集合)
将集合加载到内存中;Milvus中的所有搜索和查询操作都在内存中执行。
示例代码:
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.load(replica_number=2)
Parameter | Description |
---|---|
partition_name (optional) | 要加载的分区名称 |
replica_number (optional) | 要加载的副本的编号 |
获取副本信息
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.load(replica_number=2) # Load collection as 2 replicas
result = collection.get_replicas()
print(result)
Release a Collection(释放一个集合)
从内存中释放集合,以减少内存使用。
示例代码:
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.release()
3.3Manage Partitions(分区管理)
Create a Partition(创建一个分区)
Milvus允许将大量矢量数据划分为少量的分区,然后可以将搜索和其他操作限制在一个分区上,以提高性能。
集合由一个或多个分区组成。在创建一个新集合时,Milvus创建了一个默认分区_default
。
集合中的分区数不能超过4096
示例:在集合book中构建分区novel。
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.create_partition("novel")
Check Partition Information(核对分区信息)
1)检查是否存在分区 collection.has_partition()
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.has_partition("novel")
2)列出所有分区collection.partitions
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.partitions
Drop Partitions(删除分区)
删除指定集合中的分区
collection.drop_partition("novel")
Parameter | Description |
---|---|
partition_name | 要删除的分区的名称。 |
Load a Partition(加载分区)
将分区加载到内存
将分区而不是整个集合加载到内存中可以显著降低内存使用,Milvus中的所有搜索和查询操作都在内存中执行。
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.load(["novel"], replica_number=2)
from pymilvus import Partition
partition = Partition("novel") # Get an existing partition.
partition.load(replica_number=2)
Parameter | Description |
---|---|
partition_name | 分区名称。 |
replica_number (optional) | 要加载的副本的编号。 |
Get replica information(获取副本信息)
示例代码:
from pymilvus import Partition
partition = Partition("novel") # Get an existing partition.
partition.load(replica_number=2) # Load partition as 2 replicas
result = partition.get_replicas()
print(result)
Release a Partition(释放分区)
在执行搜索或查询操作后,将分区从内存中释放,以减少对内存的占用。
示例代码:
from pymilvus import Partition
partition = Partition("novel") # Get an existing partition.
partition.release()
Parameter | Description |
---|---|
partition_name | 分区的名称 |
3.4Manage Data(数据管理)
Insert Entities(插入实体)
Prepare data(准备数据)
首先,准备要插入的数据。要插入的数据的数据类型必须与集合的模式匹配,否则Milvus将引发异常。
import random
data = [
[i for i in range(2000)],
[str(i) for i in range(2000)],
[i for i in range(10000, 12000)],
[[random.random() for _ in range(2)] for _ in range(2000)],
]
Insert data to Milvus(数据存储)
指定partition_name
,选择将数据插入哪个分区。
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
mr = collection.insert(data)
Parameter | Description |
---|---|
data | Data to insert into Milvus. |
partition_name (optional) | 要插入数据的分区名称。 |
Delete Entities(删除实体)
Milvus支持通过布尔表达式过滤的主键删除实体。
Prepare boolean expression
Milvus只支持删除带有明确指定主键的实体,这可以通过术语 in
实现
其他运算符只能用于向量搜索中的查询或标量过滤。
下面的示例过滤主键值为0和1的数据。
expr = "book_id in [0,1]"
Delete entities
删除满足布尔表达式的实体。Milvus返回已删除实体的ID列表。
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.delete(expr)
Parameter | Description |
---|---|
expr | 布尔表达式,指定要删除的实体。 |
partition_name (optional) | 删除实体的分区名称。 |
3.5Manage Indexes(索引管理)
Build an Index on Vectors
向量索引是元数据的组织单位,用于加速向量相似性搜索。如果没有建立在向量上的索引,Milvus将默认执行暴力搜索。
下面的例子用欧几里得距离(L2)作为相似度度量来构建一个1024个集群的IVF_FLAT索引。
更多的相似度测量:https://milvus.io/docs/metric.md
Prepare index parameter
index_params = {
"metric_type":"L2",
"index_type":"IVF_FLAT",
"params":{"nlist":1024}
}
参数说明:
1)metric_type 用于度量向量相似性的度量类型。
- 浮点向量
L2
(Euclidean distance) 欧几里得距离IP
(Inner product) 内积(即点积)
- 二进制向量
JACCARD
(Jaccard distance) 杰卡德距离TANIMOTO
(Tanimoto distance) Tanimoto距离HAMMING
(Hamming distance) 海明距离SUPERSTRUCTURE
(Superstructure)SUBSTRUCTURE
(Substructure)
2)index_type 用于加速向量搜索的索引类型。
-
浮点向量
FLAT
(FLAT)IVF_FLAT
(IVF_FLAT)IVF_SQ8
(IVF_SQ8)IVF_PQ
(IVF_PQ)HNSW
(HNSW)ANNOY
(ANNOY)DISKANN*
(DISK_ANN)
-
二进制向量
BIN_FLAT
(BIN_FLAT)BIN_IVF_FLAT
(BIN_IVF_FLAT)
3)params
针对索引构建参数,请参阅内存索引和磁盘索引。See In-memory Index and On-disk Index for more information.
Build index
针对向量字段构建索引
通过指定向量字段名和索引参数来构建索引。
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.create_index(
field_name="book_intro",
index_params=index_params
)
Parameter | Description |
---|---|
field_name | 要在其上构建索引的向量字段的名称。 |
index_params | 要构建的索引的参数。 |
Build an Index on Scalars
针对标量构建索引。
不像向量,向量有大小和方向,标量只有大小。Milvus将单个数字和字符串视为标量。下面是Milvus中标量字段可用数据类型的列表。
为了加快混合搜索中的属性过滤,从Milvus v2.1.0开始,可以在标量字段上构建索引。
Build index
针对标量构建索引
要在标量字段上构建索引,不需要设置任何索引参数。标量字段索引名的默认值为default_idx。您可以将它设置为另一个合适的值。
下面的代码片段假设一个名为book
的集合已经存在,并且要在字符串字段book_name
上创建索引。
from pymilvus import Collection
collection = Collection("book")
collection.create_index(
field_name="book_name",
index_name="scalar_index",
)
collection.load()
一旦创建了索引,可以在向量相似度搜索中包含一个布尔表达式:
search_param = {
"data": [[0.1, 0.2]],
"anns_field": "book_intro",
"param": {"metric_type": "L2", "params": {"nprobe": 10}},
"limit": 2,
"expr": "book_name like \"Hello%\"",
}
res = collection.search(**search_param)
Drop an Index(删除一个索引)
示例代码:
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.drop_index()
3.6Search And Query
Conduct a Vector Similarity Search(向量相似度搜索)
Milvus中的向量相似搜索,计算查询向量与集合中具有指定相似度量的向量之间的距离,并返回最相似的结果。通过指定筛选标量字段或主键字段的布尔表达式【boolean expression 】,您可以执行混合搜索【 hybrid search 】,甚至使用Time Travel【 Time Travel】进行搜索。
需求:在包含图书ID(主键)、字数(标量字段)和图书介绍(向量字段)的2000行数据集上执行向量相似度搜索,模拟基于向量搜索某些图书的情况。Milvus将根据定义的查询向量和搜索参数返回最相似的结果。
Load collection 加载集合
Milvus中的所有搜索和查询操作都在内存中执行。在进行向量相似性搜索之前,将集合加载到内存中。
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.load()
Prepare search parameters 准备查询参数
准备适合搜索场景的参数。
下面的示例定义了搜索策略,使用欧几里得距离计算距离,并从IVF_FLAT索引构建的10个最近的群集中检索向量。
search_params = {"metric_type": "L2", "params": {"nprobe": 10}, "offset": 5}
Parameter | Description |
---|---|
metric_type | 用于度量向量的相似性策略。See Simlarity Metrics for more information. |
params | 特定于索引的搜索参数. See Vector Index for more information. |
Conduct a vector search 执行向量查询
若要在特定分区 partition中搜索,请指定分区名称列表。
results = collection.search(
data=[[0.1, 0.2]],
anns_field="book_intro",
param=search_params,
limit=10,
expr=None,
consistency_level="Strong"
)
Parameter | Description |
---|---|
data | 用于搜索的向量 |
anns_field | 要搜索的字段的名称。 |
param | 特定于索引的搜索参数。See Vector Index for more information. |
offset | 返回集中要跳过的结果数。这个值和“limit”的和应该小于16384。 |
limit | 数最相似的结果返回。这个值和offset的和应该小于16384。 |
expr | 用于过滤属性的布尔表达式. See Boolean Expression Rules for more information. |
partition_names (optional) | 要搜索的分区的名称列表。 |
output_fields (optional) | 要返回的字段的名称。当前版本不支持向量字段。 |
timeout (optional) | 允许RPC的持续时间(以秒为单位)。当设置为None时,客户端等待服务器响应或发生错误。 |
round_decimal (optional) | 返回距离的小数位数 |
consistency_level (optional) | 搜索的一致性级别。 |
检查最相似向量的主键值及其距离。
results[0].ids
results[0].distances
释放在Milvus中加载的集合,以减少搜索完成时的内存消耗。
collection.release()
Conduct a Hybrid Search(混合搜索)
混合搜索本质上是带有属性过滤的向量搜索,通过指定过滤标量字段或主键字段的布尔表达式,可以用某些条件限制搜索。
需求:假设根据向量化搜索某些书籍,但只想要字数在特定范围内的书籍,然后可以指定布尔表达式来过滤搜索参数中的word_count字段。Milvus将只在与表达式匹配的实体中搜索相似的向量。
Load collection(加载集合)
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.load()
Conduct a hybrid vector search(执行混合向量搜索)
通过指定布尔表达式,可以在向量搜索期间过滤实体的标量字段。
示例代码:将搜索范围限制为指定的word_count值范围内的向量。
search_param = {
"data": [[0.1, 0.2]],
"anns_field": "book_intro",
"param": {"metric_type": "L2", "params": {"nprobe": 10}},
"offset": 0,
"limit": 2,
"expr": "word_count <= 11000",
}
res = collection.search(**search_param)
NOTE:collection.search
返回结果为 SearchResult对象,一个可迭代的2d数组类,其第一个维度是要查询的向量数(nq),第二个维度是极限数(topk)。
Conduct a Vector Query(向量查询)
与向量相似度搜索不同,向量查询通过基于布尔表达式的标量过滤来检索向量。Milvus支持标量字段中的许多数据类型和各种布尔表达式。布尔表达式对标量字段或主键字段进行筛选,并检索与筛选器匹配的所有结果。
需求:对2000行的图书ID(主键)、字数(标量字段)和图书介绍(向量字段)数据集执行向量查询,模拟根据其ID查询某些图书的情况。
Load collection(加载集合)
from pymilvus import Collection
collection = Collection("book") # Get an existing collection.
collection.load()
Conduct a vector query(执行向量查询)
res = collection.query(
expr = "book_id in [2,4,6,8]",
offset = 0,
limit = 10,
output_fields = ["book_id", "book_intro"],
consistency_level="Strong"
)
3.7Similarity Metrics
在Milvus中,相似性度量用于度量向量之间的相似性。选择一个好的距离度量有助于显著提高分类和聚类性能。下表显示了这些广泛使用的相似性度量如何与各种输入数据形式和Milvus索引相匹配。
欧式距离(L2)
其中,a = (a1, a2,…), an) 、b = (b1, b2,…, bn)是n维欧几里德空间中的两个点。
适用于连续性数据
内积(IP)
两个向量之间的内积定义如下:
其中A和B是向量。