Milvus学习整理

一、度量类型(metric_type)

二、向量字段和适用场景介绍

三、索引字段介绍

（一）、概述总结

（二）、详细说明

四、简单代码示例

（一）、建立集合和索引示例

（二）、搜索示例

（三）、参考文档

五、数据搜索

(一)、基础搜索参数说明

(二)、范围搜索

1.  概述总结

2.详细说明

(三)、全文搜索 (BM25)

1. 概述

2. 使用全文搜索步骤

(四)、其他搜索

一、度量类型(metric_type)

相似度量用于衡量向量之间的相似性。选择合适的距离度量有助于显著提高分类和聚类性能。

目前，Milvus 支持这些类型的相似性度量：欧氏距离 (L2)、内积 (IP)、余弦相似度 (COSINE)、JACCARD,HAMMING 和BM25 （专门为稀疏向量的全文检索而设计）。

下表总结了所有支持的度量类型的相似性距离值特征及其取值范围。

二、向量字段和适用场景介绍

三、索引字段介绍

（一）、概述总结

• 创建索引(Flat除外)时：都需要需要指定一些创建参数，如nlist
• 搜索数据时：可以指定一些索引的搜索参数来提高搜索精度，每种索引都有指定的搜索参数（即如果搜索数据时传入了这种索引不支持的参数，则不会起作用）

（二）、详细说明

下面表格说明了每一种索引的优缺点、构建索引需要指定参数、搜索数据可设置参数以及适用场景

search_params = {

“metric_type”：“L2”

}

search_params = {

"params":{

"nprobe":8

}

}

search_params = {
    "params": {
        "nprobe": 10,
    }
}

search_params = {
    "params": {
        "nprobe": 10, 
    }
}

search_params = {
    "params": {
        "ef": 10
    }
}

四、简单代码示例

（一）、建立集合和索引示例

client = MilvusClient(uri="http://127.0.0.1:19530",db_name="test_embedding")
schema = client.create_schema(
        auto_id=False,
        enable_dynamic_field=False,
    )
    schema.add_field(field_name="id",datatype=DataType.INT64,is_primary=True,auto_id=True)
    schema.add_field(field_name="embedding_content",datatype=DataType.FLOAT_VECTOR,dim=1024)
    schema.add_field(field_name="content",datatype=DataType.VARCHAR,max_length=65535)
    index_params = client.prepare_index_params()
    index_params.add_index(
        field_name="id",
        index_type="STL_SORT"
    )
    
    index_params.add_index(
        field_name="embedding_content", 
        index_type="FLAT",
        metric_type="IP",
        params={ "nlist": 1024 }
    )
    if "embedding_collection" not in client.list_collections():
        print("create collection")
        client.create_collection(collection_name="embedding_collection", schema=schema,index_params=index_params)

（二）、搜索示例

 # 这里的搜索参数，需要根据创建的向量索引字段的类型，再结合上面表格对应的搜索参数进行设置
 search_params = {
       "metric_type":"IP",
       "params":{
           #召回率设置
           "nprobe":128,
           #保留相似度大于radius的
           "radius":0.6
           
       }
    }
 search_res = client.search(
        collection_name="embedding_collection",
        data=[query_embedding],

        search_params=search_params,
        output_fields=["id", "content"]
    )

（三）、参考文档

Flat建立和搜索索引文档

IVF_FLAT建立和搜索索引文档

IVF_PQ 建立和搜索索引文档

HNSW建立和搜索索引文档

五、数据搜索

(一)、基础搜索参数说明

query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
client.search(
    collection_name="my_collection",
    anns_field="vector",
    data=[query_vector],
    limit=3,
    
    output_fields=["color"],
    search_params={
        "metric_type": "IP", 
        "offset": 10 
    }
)

• collection_name：集合名称
• anns_field：向量字段名称
• data：查询向量，可以是多个查询向量，如

  query_vectors = [
      [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648],
      [0.0039737443, 0.003020432, -0.0006188639, 0.03913546, -0.00089768134]
  ]

  当是多个查询向量时，返回的也是多维数组，如

  [
     [
           {
              "id": 551,
              "distance": 0.08821295201778412,
               "entity": {}
           },
           {
              "id": 552,
              "distance": 0.08821295201778412,
               "entity": {}
           }
     ],
     [
           {
              "id": 56,
              "distance": 0.08821295201778412,
               "entity": {}
           },
           {
              "id": 52,
              "distance": 0.08821295201778412,
               "entity": {}
           }
     ]
  ]
      

• limit：单次搜索中返回实体的最大数量，通常称为top-K

• offset：跳过的数量，设置为已经返回的实体总数

• output_fields：输出的字段名称集

• metric_type：使用那种度量类型来计算查询向量与 Collections 中向量的相似度

(二)、范围搜索

1.  概述总结

• 范围搜索可将返回实体的距离或得分限制在特定范围内，从而提高搜索结果的相关性。
• 需要再search_params.params中指定radius和rang_filter的值，如

search_params={
        # highlight-start
        "params": {
            "radius": 0.4,
            "range_filter": 0.6
        }
        # highlight-end
    }

• 如果正确设置值：

IP和CONSINE：距离越大越相似，所以如果要返回相似度高且在某个范围之间的则需要保证 radius < range_filter

L2及其他：距离越小越相似，所以如果要返回相似度高且在某个范围之间的则需要保证 radius > range_filter

2.详细说明

执行范围搜索请求时， 搜索结果中与查询向量最相似的向量为圆心

以搜索请求中指定的半径radius为外圈半径，以range_filter为内圈半径，画出两个同心圆。

所有相似度得分在这两个同心圆形成的环形区域内的向量都将被返回。

上图显示，范围搜索请求包含两个参数：radius和range_filter。收到范围搜索请求后，Milvus 会执行以下操作。

• 使用指定的度量类型（metric_type:consine）查找与查询向量最相似的所有向量嵌入。

• 过滤与查询向量的距离或得分在radius和range_filter参数指定范围内的向量嵌入。

• 从筛选出的实体中返回前 limit个实体。

设置 radius 和range_filter的方法因搜索的度量类型metric_type而异。下表列出了在不同度量类型下设置这两个参数的要求。

from pymilvus import MilvusClient

client = MilvusClient(
    uri="http://localhost:19530",
    token="root:Milvus"
)

query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]

res = client.search(
    collection_name="my_collection",
    data=[query_vector],
    limit=3,
    search_params={
        # highlight-start
        "params": {
            "radius": 0.4,
            "range_filter": 0.6
        }
        # highlight-end
    }
)

for hits in res:
    print("TopK results:")
    for hit in hits:
        print(hit)

(三)、全文搜索 (BM25)

1. 概述

全文搜索是一种在文本数据集中检索包含特定术语或短语的文档，然后根据相关性对结果进行排序的功能。该功能克服了语义搜索可能会忽略精确术语的局限性，确保您获得最准确且与上下文最相关的结果。此外，它还通过接受原始文本输入来简化向量搜索，自动将您的文本数据转换为稀疏嵌入，而无需手动生成向量嵌入。

该功能使用 BM25 算法进行相关性评分，在检索增强生成 (RAG) 场景中尤为重要，它能优先处理与特定搜索词密切匹配的文档。

通过将全文检索与基于语义的密集向量搜索相结合，可以提高搜索结果的准确性和相关性。

2. 使用全文搜索步骤

要使用全文搜索，请遵循以下主要步骤。

1. 创建 Collections：设置一个带有必要字段的 Collections，并定义一个将原始文本转换为稀疏嵌入的函数。

2. 插入数据：将原始文本文档插入 Collections。

3. 执行搜索：使用查询文本搜索你的 Collections 并检索相关结果。

from pymilvus import MilvusClient, DataType, Function, FunctionType

client = MilvusClient(uri="http://localhost:19530")

# 第一步 创建 Schema 并添加必要的字段。
schema = client.create_schema()

schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True, auto_id=True)
#存储原始文本数据，用于全文搜索操作,设置enable_analyzer=True 以允许 Milvus 对文本进行标记化
schema.add_field(field_name="text", datatype=DataType.VARCHAR, max_length=1000, enable_analyzer=True)
#矢量字段，用于存储内部生成的稀疏嵌入，以进行全文搜索操作
schema.add_field(field_name="sparse", datatype=DataType.SPARSE_FLOAT_VECTOR)


# 第二步 定义一个将文本转换为稀疏向量表示的函数，然后将其添加到 Schema 中
bm25_function = Function(
    name="text_bm25_emb", # 函数名称
    input_field_names=["text"], # 需要将文本转换为稀疏向量的VARCHAR 字段的名称a
    output_field_names=["sparse"], # 存储内部生成的稀疏向量的字段名称
    function_type=FunctionType.BM25, # 要使用的函数类型。将值设为FunctionType.BM25
)

schema.add_function(bm25_function)

# 第三步 配置索引

index_params = client.prepare_index_params()

index_params.add_index(
    field_name="sparse",
    index_name="sparse_inverted_index",
    index_type="SPARSE_INVERTED_INDEX", # 要创建的索引类型。SPARSE_INVERTED_INDEX 是稀疏向量的推荐索引类型
    metric_type="BM25",#该参数的值必须设置为BM25 ，以专门用于全文搜索功能。
    params={"inverted_index_algo": "DAAT_MAXSCORE"}, # 索引构建和查询所使用的算法。有效值：DAAT_MAXSCORE、DAAT_WAND、TAAT_NAIVE
)

# 第四步 创建 Collections，插入数据
client.create_collection(
    collection_name='demo', 
    schema=schema, 
    index_params=index_params
)
client.insert('demo', [
    {'text': 'information retrieval is a field of study.'},
    {'text': 'information retrieval focuses on finding relevant information in large datasets.'},
    {'text': 'data mining and information retrieval overlap in research.'},
])


# 第五步 执行全文搜索
search_params = {
    'params': {'drop_ratio_search': 0.2}, # 搜索时要忽略的低重要性词语的比例
}

client.search(
    collection_name='demo', 
    data=['whats the focus of information retrieval?'], # 原始查询文本。
    anns_field='sparse', # 存储内部生成的稀疏嵌入的字段名称
    limit=3,
    search_params=search_params
)

(四)、其他搜索

分组搜索

混合搜索

过滤操作