文章目录
- 背景
- 布隆过滤器介绍
- 定义
- 工作原理
- 数据结构:
- Redis布隆过滤器实战
- 总结
背景
由于在业务中用到了Redis用于存储一些关系信息,且对应的请求量比较大,为了防止缓存击穿导致数据库压力过大,一般我们都会采用将不存在的内容存储空值的方式来解决这个问题。但随着业务的逐渐扩大,Redis的容量占用最终非常高,达到了10个T。
最终通过对实际业务数据的分析,发现空值的对应Key在redis中的占比达到了近90%,所以我们认为可以采用布隆过滤器来解决Redis占用量很大的问题。
布隆过滤器介绍
定义
布隆过滤器(Bloom Filter)本质上是一种空间效率极高的概率型数据结构,主要用于判断一个元素是否在一个集合中。它的特点是查询速度快,占用内存少,但是有一定的误判率,即可能会出现假阳性(False Positive),但绝不会出现假阴性(False Negative)。也就是说,布隆过滤器可能会错误地报告某元素存在于集合中,但绝不会错误地报告某元素不存在于集合中。
工作原理
布隆过滤器主要由两部分组成:
- 位数组(Bit Array):通常是一个很长的二进制向量,初始状态全为0。
- 哈希函数集:一组独立的哈希函数,用于将元素映射到位数组中的位置。
当一个元素被加入布隆过滤器时,它会被通过所有哈希函数分别计算,得到的结果指示位数组中相应的位置被标记为1。查询元素是否存在时,同样使用相同的哈希函数集计算,检查位数组中对应的位是否全部为1。如果是,则认为元素可能存在(可能是真的存在,也可能是误报);如果不是,则确定元素不存在。
数据结构:
假设我们针对值 “alibaba” 和三个不同的哈希函数分别生成了哈希值 1、4、7,在布隆过滤器内部的存储如下所示:
再存入一个值 “youku”,如果哈希函数返回 3、4、8 的话,图就会变成如下
我们在判定是否存在这个值时,将业务对应的值初始化到布隆过滤器中,查询时按照同样的方式去查询,若对应的bit位均为1,则存在。
但上图也可以清楚的发现,随着增加的值越来越多,被置为 1 的 bit 位也会越来越多,这样某个值 “alibaba” 即使没有被存储过,但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 ,那么程序还是会判断 “alibaba” 这个值存在。存在一定的误判。
Redis布隆过滤器实战
1. 引入库
<!-- Maven -->
<dependencies>
<dependency>
<groupId>org.redisson</groupId>
<artifactId>redisson-spring-boot-starter</artifactId>
<version>3.16.6</version> <!-- 使用与你的Redisson版本匹配的starter版本 -->
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
</dependencies>
2.配置yml文件
# application.yml
spring:
redis:
host: localhost
port: 6379
database: 0
timeout: 10s # optional
3.创建布隆过滤器
import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
@Service
public class BloomFilterService {
private final RBloomFilter<String> bloomFilter;
@Autowired
public BloomFilterService(RedissonClient redissonClient) {
this.bloomFilter = redissonClient.getBloomFilter("myBloomFilter");
// 初始化布隆过滤器,设置预期元素数量和误判率
bloomFilter.tryInit(1_000_000L, 0.01d);
}
/**
* 添加元素到布隆过滤器
*/
public void addElement(String element) {
bloomFilter.add(element);
}
/**
* 检查元素是否可能存在于布隆过滤器中
*/
public boolean mightContain(String element) {
return bloomFilter.contains(element);
}
}
4.使用示例
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class MyController {
private final BloomFilterService bloomFilterService;
@Autowired
public MyController(BloomFilterService bloomFilterService) {
this.bloomFilterService = bloomFilterService;
}
@GetMapping("/check-element")
public String checkElement(@RequestParam String element) {
if (bloomFilterService.mightContain(element)) {
return "Element may exist.";
} else {
return "Element definitely does not exist.";
}
}
}
总结
依赖于Redis的布隆过滤器,大大的减少了Redis中key的数量,以bit标记的方式存储,最终该场景的Redis存储使用量由10T约降低到100G,减少了100倍!