Milvus - 比特集机制及其应用场景详解

news2024/9/25 2:27:46

在向量数据库 Milvus 中，比特集（Bitset）是一种强大且高效的机制，能够帮助实现属性过滤、数据删除以及时间旅行查询等功能。本文将详细介绍比特集的概念、其在 Milvus 中的应用，以及其主要应用场景，并通过多个示例展示比特集在实际应用中的功能。

比特集（Bitset）是由 0 和 1 组成的位数组。每一个比特（bit）代表布尔值 true 或 false，即 1 或 0。在 Milvus 中，比特集用于表示数据的状态，能够紧凑、高效地存储和处理布尔逻辑操作。

在属性过滤中，比特集用于标记哪些实体数据满足给定的查询条件。通过布尔逻辑操作，比特集能够快速筛选出符合条件的实体。

应用场景：当需要从大量数据中根据某个属性（如年龄、产品类型等）进行筛选时，比特集能迅速确定哪些数据符合条件，而其他不符合条件的数据会被标记为 0。

示例：在一个包含 8 个实体的数据集中，只有 primary_keys 为 [1, 3, 5, 7] 的实体满足查询条件。比特集会将这些实体标记为 1，其余实体标记为 0：

比特集还用于管理数据删除。当某个实体被删除时，对应位置的比特集会被设置为 1。在后续查询中，这些标记为 1 的实体将被跳过。

应用场景：在大规模数据库中进行逻辑删除操作时，比特集可以帮助快速标记已删除的数据，避免它们在后续查询中被考虑。

示例：如果 primary_keys 为 [7, 8] 的实体被删除，比特集会变为：

时间旅行查询允许用户查看历史某一时间点的数据状态。比特集结合时间戳，能够标记在不同时间点有效或无效的实体，模拟该时间点的数据库状态。

应用场景：在需要回溯数据状态或进行审计时，时间旅行查询可以帮助用户查询过去某个时间点的数据。

示例：如果用户设置 time_travel 为 150，比特集会标记在此时间点之前已存在且有效的数据，而那些之后插入的数据则会被标记为无效。

比特集占用的存储空间较小，并且可以快速执行布尔运算，适合在并行计算环境中处理大规模数据。多个比特集之间的逻辑操作（如 AND、OR）能够并行执行，从而提升系统的处理速度。

应用场景：在多核处理器或分布式系统中，处理大规模数据时，比特集能极大提升并行计算性能。

比特集可以用于构建高效的索引结构。通过预先生成比特集，可以快速筛选出满足查询条件的实体，避免每次查询时都重新计算。

应用场景：在需要频繁查询的大数据系统中，比特集可以作为一种优化工具，显著提升查询性能。

在稀疏数据场景中，比特集能够高效表示布尔状态。与传统数据类型相比，比特集占用空间小，非常适合表示大量布尔值或标志位。

应用场景：例如在权限管理系统中，比特集可以高效表示用户权限，或在任务调度系统中用于标记任务的状态。

场景描述：假设在一个系统中，我们有 8 个实体数据，按照时间顺序进行以下操作：

用户希望通过时间旅行查询，查看在 ts = 150 和 ts = 250 时哪些实体符合查询条件。

过滤条件：primary_keys 为 [1, 3, 5, 7] 满足筛选条件，因此初始 filter_bitset 为 [1, 0, 1, 0, 1, 0, 1, 0]。
时间点判断：在时间戳 ts = 150 时，实体 [5, 6, 7, 8] 还未插入，因此应被标记为无效，filter_bitset 变为 [1, 0, 1, 0, 0, 0, 0, 0]。
删除判断：此时还没有发生删除操作，因此删除比特集为 [0, 0, 0, 0, 0, 0, 0, 0]。

最终比特集结果：通过与删除比特集结合后，最终结果比特集为 [1, 0, 1, 0, 0, 0, 0, 0]，表示实体 [1, 3] 会被查询到。

过滤条件：primary_keys 为 [1, 3, 5, 7] 满足筛选条件，因此初始 filter_bitset 仍然为 [1, 0, 1, 0, 1, 0, 1, 0]。
时间点判断：在时间戳 ts = 250 时，所有实体都已经插入，因此比特集不变。
删除判断：删除操作尚未发生，因此删除比特集依旧为 [0, 0, 0, 0, 0, 0, 0, 0]。

最终比特集结果：最终比特集结果为 [1, 0, 1, 0, 1, 0, 1, 0]，表示实体 [1, 3, 5, 7] 会被查询到。