【Redis】如何处理缓存穿透、击穿、雪崩

news2025/4/5 13:00:00

Redis 缓存穿透、击穿和雪崩是高并发场景下的典型问题,以下是详细解决方案和最佳实践:


一、缓存穿透(Cache Penetration)

问题:恶意请求不存在的数据(如不存在的ID),绕过缓存直接访问数据库。

解决方案:
  1. 布隆过滤器(Bloom Filter)

    • 前置过滤器拦截非法请求,存储所有合法键的指纹。
    • 实现示例
      # 使用RedisBloom模块(需安装)
      # 创建布隆过滤器,预期容量100万,错误率1%
      BF.RESERVE my_filter 0.01 1000000
      # 将合法ID加入过滤器
      BF.ADD my_filter valid_id_1
      # 查询前先检查过滤器
      if BF.EXISTS my_filter request_id:
          # 查缓存或数据库
      else:
          return None
      
  2. 缓存空对象(Null Caching)

    • 对查询结果为空的请求,缓存短时效的空值。
    • 实现示例
      Object value = redis.get(key);
      if (value == null) {
          value = db.query(key);
          if (value == null) {
              // 缓存空值,设置较短过期时间(如30秒)
              redis.setex(key, 30, "NULL");
          } else {
              redis.setex(key, 3600, value);
          }
      } else if ("NULL".equals(value)) {
          return null; // 避免数据库查询
      }
      
最佳实践:
  • 结合布隆过滤器与空对象缓存:先用过滤器拦截绝对不存在的数据,对可能存在的Key缓存空值。
  • 定期清理空值缓存,避免内存浪费。

二、缓存击穿(Cache Breakdown)

问题:热点Key突然过期,大量并发请求直接击穿到数据库。

解决方案:
  1. 互斥锁(Mutex Lock)

    • 使用分布式锁控制单线程重建缓存。
    • 实现示例(Redis分布式锁)
      def get_data(key):
          data = redis.get(key)
          if data is None:
              # 尝试获取锁(SETNX + 超时时间)
              if redis.setnx("lock:" + key, 1, ex=10):
                  try:
                      data = db.query(key)
                      redis.setex(key, 3600, data)
                  finally:
                      redis.delete("lock:" + key)
              else:
                  # 等待并重试或返回默认值
                  time.sleep(0.1)
                  return get_data(key)
          return data
      
  2. 逻辑过期(Logical Expiration)

    • 缓存永不过期,但存储逻辑过期时间,异步更新。
    • 数据结构示例
      {
          "value": "真实数据",
          "expire": 1715000000 // 逻辑过期时间戳
      }
      
    • 后台线程检测过期时间并主动更新。
最佳实践:
  • 对热点Key启用永不过期策略,结合异步更新(如定时任务或消息队列触发更新)。
  • 使用Redisson等成熟库实现分布式锁,避免手写锁逻辑出错。

三、缓存雪崩(Cache Avalanche)

问题:大量缓存Key同时过期,导致数据库负载骤增。

解决方案:
  1. 随机过期时间

    • 基础过期时间 + 随机偏移量(如30分钟±随机600秒)。
    • 示例代码
      int baseExpire = 1800; // 30分钟
      int randomExpire = ThreadLocalRandom.current().nextInt(-600, 600);
      redis.setex(key, baseExpire + randomExpire, value);
      
  2. 多级缓存架构

    • 本地缓存(如Caffeine) + Redis + 数据库。
    • 流程
      1. 先查本地缓存
      2. 本地未命中则查Redis
      3. Redis未命中则查数据库并回填
  3. 服务熔断与降级

    • 使用Hystrix或Sentinel在数据库压力过大时触发降级策略(如返回默认值)。
最佳实践:
  • 关键数据设置分层过期时间(如核心数据永不过期+异步刷新)。
  • 启用Redis Cluster或Sentinel实现高可用,避免单点故障。

综合防御策略

  1. 监控与预热
    • 实时监控缓存命中率,热点数据提前预热。
    • 使用Redis的SLOWLOG分析慢查询。
  2. 压测验证
    • 模拟极端场景(如缓存宕机),验证降级策略是否生效。
  3. 代码示例(综合方案)
    public Object getData(String key) {
        // 1. 布隆过滤器拦截
        if (!bloomFilter.mightContain(key)) {
            return null;
        }
        // 2. 查缓存
        Object value = redis.get(key);
        if (value != null) {
            return "NULL".equals(value) ? null : value;
        }
        // 3. 获取分布式锁重建缓存
        RLock lock = redisson.getLock("lock:" + key);
        try {
            lock.lock();
            // 二次检查缓存
            value = redis.get(key);
            if (value == null) {
                value = db.query(key);
                redis.setex(key, 300 + random.nextInt(60), value == null ? "NULL" : value);
            }
            return value;
        } finally {
            lock.unlock();
        }
    }
    

总结

  • 穿透:布隆过滤器 + 空值缓存。
  • 击穿:分布式锁 + 逻辑过期。
  • 雪崩:随机TTL + 多级缓存。
  • 所有方案需结合业务场景调整参数(如过期时间、锁超时时间),并通过压测验证可靠性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2327468.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

实战打靶集锦-35-GitRoot

文章目录 1. 主机发现2. 端口扫描3. 服务枚举4. 服务探查5. 系统提权6. 写在最后 靶机地址:https://download.vulnhub.com/gitroot/GitRoot.ova 1. 主机发现 目前只知道目标靶机在192.168.56.xx网段,通过如下的命令,看看这个网段上在线的主机…

英语口语 -- 常用 1368 词汇

英语口语 -- 常用 1368 词汇 介绍常用单词List1 (96 个)时间类气候类自然类植物类动物类昆虫类其他生物地点类 List2 (95 个)机构类声音类食品类餐饮类蔬菜类水果类食材类饮料类营养类疾病类房屋类家具类服装类首饰类化妆品类 Lis…

SpringBoot+Vue 中 WebSocket 的使用

WebSocket 是一种在单个 TCP 连接上进行全双工通信的协议,它使得客户端和服务器之间可以进行实时数据传输,打破了传统 HTTP 协议请求 - 响应模式的限制。 下面我会展示在 SpringBoot Vue 中,使用WebSocket进行前后端通信。 后端 1、引入 j…

关于依赖注入框架VContainer DIIOC 的学习记录

文章目录 前言一、VContainer核心概念1.DI(Dependency Injection(依赖注入))2.scope(域,作用域) 二、练习例子1.Hello,World!步骤一,编写一个底类。HelloWorldService步骤二,编写使用低类的类。GamePresenter步骤三&am…

Qt常用控件第一部分

1.控件概述 Widget 是 Qt 中的核⼼概念. 英⽂原义是 "⼩部件", 我们此处也把它翻译为 "控件" . 控件是构成⼀个图形化界⾯的基本要素. 像上述⽰例中的, 按钮, 列表视图, 树形视图, 单⾏输⼊框, 多⾏输⼊框, 滚动条, 下拉框等, 都可以称为 "控件"…

docker存储卷及dockers容器源码部署httpd

1. COW机制 Docker镜像由多个只读层叠加而成,启动容器时,Docker会加载只读镜像层并在镜像栈顶部添加一个读写层。 如果运行中的容器修改了现有的一个已经存在的文件,那么该文件将会从读写层下面的只读层复制到读写层,该文件的只读版本依然存在,只是已经被读写层中该文件…

JMeter接口自动化发包与示例

前言 JMeter接口自动化发包与示例 近期需要完成对于接口的测试,于是了解并简单做了个测试示例,看了看这款江湖上声名远播的强大的软件-Jmeter靠不靠谱。 官网:Apache JMeter - Apache JMeter™ 1简介 Apache-Jmeter是一个使用java语言编写且开源&…

INFINI Console 极限控制台密码忘记了,如何重置?

在使用 INFINI Console(极限控制台)时,可能会遇到忘记密码的情况,这对于管理员来说是一个常见但棘手的问题。 本文将详细介绍如何处理 INFINI Console 密码忘记的情况,并提供两种可能的解决方案,帮助您快速…

汇编学习之《jcc指令》

JCC(Jump on Condition Code)指的是条件跳转指令,c中的就是if-else, while, for 等分支循环条件判断的逻辑。它包括很多指令集,各自都不太一样,接下来我尽量将每一个指令的c 源码和汇编代码结合起来看,加深…

从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.3.3低代码开发:快速构建行业应用(电商推荐与金融风控案例)

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 从零构建大语言模型全栈开发指南-第四部分:工程实践与部署4.3.3 低代码开发:快速构建行业应用(电商推荐与金融风控案例)1. 低代码与AI结合的核心价值2. 电商推荐系统案例2.1 技术架构与实现2.2 性能…

基于vue框架的智能服务旅游管理系统54kd3(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。

系统程序文件列表 项目功能:用户,景点信息,门票预订,酒店客房,客房预订,旅游意向,推荐景点,景点分类 开题报告内容 基于Vue框架的智能服务旅游管理系统开题报告 一、研究背景与意义 1.1 行业现状与挑战 传统系统局限性:当前旅游管理系统普遍存在信息…

用Python实现TCP代理

依旧是Python黑帽子这本书 先附上代码,我在原书代码上加了注释,更好理解 import sys import socket import threading#生成可打印字符映射 HEX_FILTER.join([(len(repr(chr(i)))3) and chr(i) or . for i in range(256)])#接收bytes或string类型的输入…

MySQL的进阶语法7(索引-B+Tree 、Hash、聚集索引 、二级索引(回表查询)、索引的使用及设计原则

目录 一、索引概述 1.1 基本介绍 1.2 基本演示 1.3 特点及优势 二、索引结构 2.1 概述 2.2 二叉树 2.3 B-Tree 2.4 BTree 2.5 Hash 2.5.1 结构 2.5.2 特点 2.5.3 存储引擎支持 三、索引的分类 3.1 索引分类 3.2 聚集索引和二级索引 3.2.1 聚集索引和二级…

【CSS3】04-标准流 + 浮动 + flex布局

本文介绍浮动与flex布局。 目录 1. 标准流 2. 浮动 2.1 基本使用 特点 脱标 2.2 清除浮动 2.2.1 额外标签法 2.2.2 单伪元素法 2.2.3 双伪元素法(推荐) 2.2.4 overflow(最简单) 3. flex布局 3.1 组成 3.2 主轴与侧轴对齐方式 3.2.1 主轴 3.2.2 侧轴 3.3 修改主…

论坛系统的测试

项目背景 论坛系统采用前后端分离的方式来实现,同时使用数据库 来处理相关的数据,同时将其部署到服务器上。前端主要有7个页面组成:登录页,列表页,论坛详情页,编辑页,个人信息页,我…

宠物店小程序怎么做?助力实体店实现营销突破

宠物店小程序怎么做?助力实体店实现营销突破 ——一个宠物店老板的“真香”实战分享 ​一、行业现状:线下宠物店的“流量焦虑”​ 作为开了3年宠物店的“铲屎官供应商”,这两年明显感觉生意难做了:某宝9.9包邮的狗粮、某团“满…

《Mycat核心技术》第21章:高可用负载均衡集群的实现(HAProxy + Keepalived + Mycat)

作者:冰河 星球:http://m6z.cn/6aeFbs 博客:https://binghe.gitcode.host 文章汇总:https://binghe.gitcode.host/md/all/all.html 星球项目地址:https://binghe.gitcode.host/md/zsxq/introduce.html 沉淀&#xff0c…

深度学习Note.5(机器学习.6)

1.Runner类 一个任务应用机器学习方法流程: 数据集构建 模型构建 损失函数定义 优化器 模型训练 模型评价 模型预测 所以根据以上,我们把机器学习模型基本要素封装成一个Runner类(加上模型保存、模型加载等功能。) Runne…

从零开始设计Transformer模型(1/2)——剥离RNN,保留Attention

声明: 本文基于哔站博主【Shusenwang】的视频课程【RNN模型及NLP应用】,结合自身的理解所作,旨在帮助大家了解学习NLP自然语言处理基础知识。配合着视频课程学习效果更佳。 材料来源:【Shusenwang】的视频课程【RNN模型及NLP应用…

【 <二> 丹方改良:Spring 时代的 JavaWeb】之 Spring Boot 中的缓存技术:使用 Redis 提升性能

<前文回顾> 点击此处查看 合集 https://blog.csdn.net/foyodesigner/category_12907601.html?fromshareblogcolumn&sharetypeblogcolumn&sharerId12907601&sharereferPC&sharesourceFoyoDesigner&sharefromfrom_link <今日更新> 一、开篇整…