布隆过滤器将应用Redis缓存使用量降低100倍

news2024/11/25 5:50:12

文章目录

背景
布隆过滤器介绍
- 定义
- 工作原理
- 数据结构：
Redis布隆过滤器实战
总结

背景

由于在业务中用到了Redis用于存储一些关系信息，且对应的请求量比较大，为了防止缓存击穿导致数据库压力过大，一般我们都会采用将不存在的内容存储空值的方式来解决这个问题。但随着业务的逐渐扩大，Redis的容量占用最终非常高，达到了10个T。

最终通过对实际业务数据的分析，发现空值的对应Key在redis中的占比达到了近90%，所以我们认为可以采用布隆过滤器来解决Redis占用量很大的问题。

布隆过滤器介绍

定义

布隆过滤器（Bloom Filter）本质上是一种空间效率极高的概率型数据结构，主要用于判断一个元素是否在一个集合中。它的特点是查询速度快，占用内存少，但是有一定的误判率，即可能会出现假阳性（False Positive），但绝不会出现假阴性（False Negative）。也就是说，布隆过滤器可能会错误地报告某元素存在于集合中，但绝不会错误地报告某元素不存在于集合中。

工作原理

布隆过滤器主要由两部分组成：

位数组（Bit Array）：通常是一个很长的二进制向量，初始状态全为0。
哈希函数集：一组独立的哈希函数，用于将元素映射到位数组中的位置。

当一个元素被加入布隆过滤器时，它会被通过所有哈希函数分别计算，得到的结果指示位数组中相应的位置被标记为1。查询元素是否存在时，同样使用相同的哈希函数集计算，检查位数组中对应的位是否全部为1。如果是，则认为元素可能存在（可能是真的存在，也可能是误报）；如果不是，则确定元素不存在。

数据结构：

假设我们针对值 “alibaba” 和三个不同的哈希函数分别生成了哈希值 1、4、7，在布隆过滤器内部的存储如下所示：在这里插入图片描述
再存入一个值 “youku”，如果哈希函数返回 3、4、8 的话，图就会变成如下

我们在判定是否存在这个值时，将业务对应的值初始化到布隆过滤器中，查询时按照同样的方式去查询，若对应的bit位均为1，则存在。
但上图也可以清楚的发现，随着增加的值越来越多，被置为 1 的 bit 位也会越来越多，这样某个值 “alibaba” 即使没有被存储过，但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 ，那么程序还是会判断 “alibaba” 这个值存在。存在一定的误判。

Redis布隆过滤器实战

1. 引入库

<!-- Maven -->
<dependencies>
    <dependency>
        <groupId>org.redisson</groupId>
        <artifactId>redisson-spring-boot-starter</artifactId>
        <version>3.16.6</version> <!-- 使用与你的Redisson版本匹配的starter版本 -->
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-redis</artifactId>
    </dependency>
</dependencies>

2.配置yml文件

# application.yml
spring:
  redis:
    host: localhost
    port: 6379
    database: 0
    timeout: 10s # optional

3.创建布隆过滤器

import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

@Service
public class BloomFilterService {

    private final RBloomFilter<String> bloomFilter;

    @Autowired
    public BloomFilterService(RedissonClient redissonClient) {
        this.bloomFilter = redissonClient.getBloomFilter("myBloomFilter");
        
        // 初始化布隆过滤器，设置预期元素数量和误判率
        bloomFilter.tryInit(1_000_000L, 0.01d);
    }

    /**
     * 添加元素到布隆过滤器
     */
    public void addElement(String element) {
        bloomFilter.add(element);
    }

    /**
     * 检查元素是否可能存在于布隆过滤器中
     */
    public boolean mightContain(String element) {
        return bloomFilter.contains(element);
    }
}

4.使用示例

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class MyController {

    private final BloomFilterService bloomFilterService;

    @Autowired
    public MyController(BloomFilterService bloomFilterService) {
        this.bloomFilterService = bloomFilterService;
    }

    @GetMapping("/check-element")
    public String checkElement(@RequestParam String element) {
        if (bloomFilterService.mightContain(element)) {
            return "Element may exist.";
        } else {
            return "Element definitely does not exist.";
        }
    }
}