什么是布隆过滤器

布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。

它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。

上面这句介绍比较全面的描述了什么是布隆过滤器，如果还是不太好理解的话：就可以把布隆过滤器理解为一个set集合，我们可以通过add往里面添加元素，通过contains来判断是否包含某个元素。

布隆过滤器的优缺点

布隆过滤器的优点：

• 时间复杂度低，增加和查询元素的时间复杂为O(N)，（N为哈希函数的个数，通常情况比较小）
• 保密性强，布隆过滤器不存储元素本身
• 存储空间小，如果允许存在一定的误判，布隆过滤器是非常节省空间的（相比其他数据结构如Set集合）

布隆过滤器的缺点：

• 有点一定的误判率，但是可以通过调整参数来降低
• 无法获取元素本身
• 很难删除元素

用布隆过滤器干什么（重要）

 Bloom 筛选器索引以加速进行“大海捞针式”查询。

作为大数据开发我经常需要“大海捞针式”查询我需要的字段，举个例子：

我的数据是 id, date, loctionId, data(其他很多列)，默认情况它就先找分区，再全表搜索到底有没有（ id, date, loctionId）

如果我基于id, date, loctionid建立一个bloom索引，首先通过布隆过滤器知道有没有（ id, date, loctionId），如果在索引里没有，那我就不需要搜索相关的id，节省大量搜索时间。

布隆过滤器原理

把每个key hash之后映射到位图上，位图默认为0，映射到则改为1。

查询就是key hash之后看看位图是不是都是1，如果有一个不是1是0，则这key一定没有

两个key取模，hash后可能hash碰撞, 导致存储的位图一样，如下图所示，xushu跟xushu666存储在bloom的位图都一样，所在存在不一定存在，所以bloom过滤器有一点误差。

不存在一定不存在，存在不一定存在

记住上面这句话，我只要能排除不存在的id，那我就可以减少很多查询时间。

基于误差我可以通过下面两种方式减小误差。

bit位数越长，我hash之后放入同一个位数概率越低，冲突概率越低。

一次hash之后可能冲突，那我对一个key多次hash, 多放几个位数，这样冲突概率也会降低，但是hash太多次也会影响查询效率，因为查询的的时候也需要多次hash

基于detlaTable建bloom过滤器实践

背景基于databricks(spark)，可参考思路

// Enable the Bloom filter index capability
SET spark.databricks.io.skipping.bloomFilter.enabled = true;

// 数据源加载到detlaTable
from delta.tables import DeltaTable

# 加载 Delta Lake 表
delta_table = DeltaTable.forPath(spark, "/path/to/delta-table")

# 创建布隆过滤器索引
# FPP 为 10% 时，每个元素需要 5 位，也就是一个key需要hash 5次，存到五个位图
# numItems=50000000 表示期望布隆过滤器包含的唯一元素数量为 5000 万
delta_table.createIndex("bloom_filter_index", "id, date, locationId", "bloom_filter(fpp=0.1, numItems=50000000)")

# 查看创建的索引信息
delta_table.describeIndex("bloom_filter_index").show()

使用bloom过滤器效能（databricks官方测试）

1.5GB数据使用bloom作索引后查询速度 （21s ===> 13s）

---------------------->