布隆过滤器实战

news2024/11/17 3:25:14

一、背景

本篇文章以解决实际需求的问题的角度进行切入，探讨了如果使用布隆过滤器快速丢弃无效请求，降低了系统的负载以及不必要的流量。

我们都知道布隆过滤器是以占用内存小，同时也能够实现快速的过滤从而满足我们的需求，本篇文章就不仔细展开说明布隆过滤器的工作原理，具体工作原理可以参考下面这篇博客。

Redis布隆过滤器的原理和应用场景，解决缓存穿透 - 知乎

二、实际要解决的问题

面临问题：在我们的日常工作中，我们通常是负责某个系统，例如订单系统、预约系统、保险系统等等，在一整个业务流程中，我们只是负责某一业务系统，我们都会有自己的上下游，以预约系统为例，订单系统(下游)根据预约单号查询预约系统是否有预约，从而处理对应逻辑，但并不是所有的订单都是有预约的，大部分的订单是没有的，对于我预约系统来说，订单系统大部分的查询都是无效的，但是如果我只是使用数据库的前提下，大部分的请求还是打到了我的数据库，如图所示

这种情况下，如果订单系统的请求量非常大，那对我们预约的系统压力以及数据库的压力会比较大，那么我们将如何解决我们的系统压力以及数据库的压力呢？

三、解决方案

刚才说到，订单系统有大量的订单，但是不是每个订单都需要预约，大部分单号对预约系统来说都是无效的请求，所以这个业务场景我们就可以考虑用布隆过滤器对无效的请求进行过滤。

具体怎么做呢，我们可以在数据库和预约系统之间增加布隆过滤器，增加了布隆过滤器那同时也必须增加布隆过滤器的数据初始化。我们可以这样设计，如下图所示

在数据流入的时候增加布隆布隆过滤器的写入

关键代码：BloomFilterUtils.addValue

/**
     * @author chen
     * @description 下单后处理
     * @param orderNo 订单号
     * @date: 2024/3/3 9:42
     */
    private void afterOrderHandle(String orderNo) {
        //redisTemplate.opsForValue().setBit("test-key",10,true);
        //通过这种方式实现，需要自己使用hash算法计算对应位数组下标位置（不推荐）
        //推荐使用redisson开箱即用的RBloomFilter
        //加载到布隆过滤器
        BloomFilterUtils.addValue(BloomFilterEnum.TB_ORDER_BLOOM_FILTER.getBloomFilterName(),orderNo);
        log.info("#加载完毕#");
        //其他操作.....
    }

在下游订单系统查询预约系统时增加通过订单号查询布隆过滤器进行过滤，能够快速的对上游请求进行快速过滤

关键代码：BloomFilterUtils.isContains

/**
     * @author chen
     * @description 订单查询
     * @param reqVO 请求入参
     * @date: 2024/3/3 9:59
     * @return com.redis.bloom.filter.data.vo.resp.OrderSearchRespVO
     */
    public OrderSearchRespVO orderSearch(OrderSearchReqVO reqVO) {
        String orderNo = reqVO.getOrderNo();
        if(!BloomFilterUtils.isContains(BloomFilterEnum.TB_ORDER_BLOOM_FILTER.getBloomFilterName(),orderNo)){
            log.info("布隆过滤器不存在#则代表数据库一定不存在，则直接返回空，不进行数据库查询#orderNo={}",reqVO.getOrderNo());
            return null;
        }
        QueryWrapper<TbOrder> queryWrapper = new QueryWrapper<>();
        queryWrapper.eq("order_no",reqVO.getOrderNo());
        //查询数据库
        List<TbOrder> tbOrders = tbOrderMapper.selectList(queryWrapper);
        if(CollectionUtil.isEmpty(tbOrders)){
            return null;
        }
        TbOrder tbOrder = tbOrders.get(0);
        //使用MapStruct复制对象返回，不暴漏数据库对象给前端
        OrderSearchRespVO respVO = TbOrderCopyMapper.INSTANCE.createOrderSearchRespVO(tbOrder);
        return respVO;
    }