Redis 缓存深度解析:穿透、击穿、雪崩与预热的全面解读

news2025/3/12 22:27:29

Redis 缓存深度解析:穿透、击穿、雪崩与预热的全面解读

  • 一 . 什么是缓存 ?
  • 二 . 使用 Redis 作为缓存
  • 三 . 缓存的更新策略
    • 3.1 定期生成
    • 3.2 实时生成
  • 四 . 缓存预热、缓存穿透、缓存雪崩、缓存击穿
    • 4.1 缓存预热
    • 4.2 缓存穿透
    • 4.3 缓存雪崩
    • 4.4 缓存击穿

Hello , 大家好 , 这个专栏给大家带来的是 Redis 系列 ! 本篇文章给大家讲解的是 Redis 的缓存. 在 Redis 缓存系统中 , 缓存穿透、缓存击穿、缓存雪崩和缓存预热是常见的问题 , 它们对系统的性能和稳定性有着重要的影响 . 而缓存穿透、缓存击穿、缓存雪崩和缓存预热又是面试常考问题 , 所以大家一定要仔细认真的阅读 !

在这里插入图片描述
本专栏旨在为初学者提供一个全面的 Redis 学习路径,从基础概念到实际应用,帮助读者快速掌握 Redis 的使用和管理技巧。通过本专栏的学习,能够构建坚实的 Redis 知识基础,并能够在实际学习以及工作中灵活运用 Redis 解决问题 .
专栏地址 : Redis 入门实践

一 . 什么是缓存 ?

Redis 最主要的用途主要有三个方面 :

  1. 存储数据 (内存型数据库)
  2. 缓存 (最常用的场景)
  3. 消息队列 (使用比较少)

缓存的作用就是让我们能够更快地获取到数据 , 一般来说速度快的设备可以给速度慢的设备去做缓存 .

对于硬件的访问速度来说 , 通常情况下是这样的 : CPU 寄存器 > 内存 > 硬盘 > 网络

比较常见的是使用内存来去作为硬盘的缓存 (Redis) , 甚至我们也可以使用硬盘来去作为网络的缓存

使用硬盘来去作为网络的缓存这种场景也是存在的 , 比如 : 浏览器的缓存 , 浏览器通过 HTTP/HTTPS 从服务器上获取到数据 (HTML / CSS / JS / 图片 / 视频 / 音频 / 字体 …) 并且进行展示 , 那像这些体积大而且变化不频繁的数据就可以保存到浏览器本地 , 这就是使用硬盘来去给网络做缓存 .

二 . 使用 Redis 作为缓存

在一个网站中 , 我们通常会使用 Redis 来去作为关系型数据库 (MySQL) 的缓存

为什么一般来说关系型数据库性能都不高 ?

  1. 关系型数据库把数据存储到硬盘上 , 但是硬盘的 IO 速度并不快 , 尤其是随机访问
  2. 如果查询不能命中索引 , 就需要进行表的整个遍历 , 这样就会大大增加硬盘的 IO 次数
  3. 关系型数据库对于 SQL 的执行会做一系列的解析、校验、优化工作
  4. 一些复杂查询 (比如 : 笛卡尔积操作) 效率也会降低

由于关系型数据库效率一般比较低 , 所以能够承担的并发量有限 . 一旦请求数量变多 , 数据库的压力就会变大 , 甚至严重到宕机 .

那如何提高 MySQL 能够承担的并发量呢 ?

  1. 开源 : 引入更多的机器 , 构成数据库集群
  2. 节流 : 引入缓存就是一种节流的方案 , 把一些频繁读取的热点数据保存到缓存中 , 后续查询数据 , 如果缓存中存在就直接返回

三 . 缓存的更新策略

如何知道 Redis 中应该存储哪些数据呢 ? 也就是如何知道哪些数据属于热点数据呢 ?

那我们需要先了解一下缓存的更新策略

3.1 定期生成

首先我们会把访问的数据以日志的形式记录下来 .

通过日志 , 就可以把访问的数据记录下来 , 然后针对这些日志进行统计 , 按照一段时间内数据出现的频率进行降序排序 , 然后排名靠前的数据就可以认为是热点数据 .

那这个热点数据 , 就可以根据当前的统计维度 (每 天/周/月) 来定期更新 , 我们可以写一套离线的流程 (比如使用 Shell / Python … 来去写一些脚本代码) 来进行定时任务的触发 .

这种方式的优点是上述过程实现比较简单 , 过程更可控 , 方便排查问题

那缺点也很明显 , 它的实时性不够 , 如果出现一些突发事件 , 导致一些本来不是热词的内容变成了热词了

比如 : 春晚这个关键词 , 如果定期生成的话 , 假如周期是一个月 , 那年都过完了 , 春晚这个热搜才被统计出来

3.2 实时生成

实时生成的策略是 :

  • 如果在 Redis 中查询到数据 , 就直接返回数据
  • 如果在 Redis 中查询不到数据 , 那就把查询到的结果也写入到 Redis 中

但是这样不停地写 Redis , 就会使 Redis 的内存占用越来越多 , 从而逐渐的达到内存上限

此时如果继续插入数据 , 就会出现一些问题 , 为了解决上述情况 , Redis 就引入了一些内存淘汰策略

  1. 先进先出 (FIFO - First In First Out) : 将缓存中存在时间最久的数据 (最先来的数据) 淘汰掉
  2. 淘汰最久未使用的 (LRU - Least Recently Used) : 记录每个 key 的最近访问时间 , 将最近访问时间最老的 key 淘汰掉
  3. 淘汰访问次数最少的 (LFU - Least Frequently Used) : 记录每个 key 最近一段时间的访问次数 , 把访问次数最少的淘汰掉
  4. 随机淘汰 (Random) : 从所有的 key 中随机抽取某个 key 然后淘汰掉

在 Redis 中有一个配置项 , 就可以设置 Redis 采取哪种内存淘汰策略

  1. LRU 策略 (最近最少使用)
    1. volatile-lru : 从设置了过期时间的 key 中使用 LRU 算法进行淘汰
    2. allkeys-lru : 从所有 key 中使用 LRU 算法进行淘汰
  2. LFU 策略 (最近访问最少)
    1. volatile-lfu : 在已经过期的 key 中使用 LFU 算法进行淘汰
    2. allkeys-lfu : 从所有 key 中使用 LFU 算法进行淘汰
  3. Random (随机淘汰)
    1. volatile-random : 从设置了过期时间的 key 中随机淘汰数据
    2. allkeys-random : 从所有 key 中随机淘汰数据
  4. FIFO (先进先出)
    1. volatile-ttl : 根据过期时间进行淘汰 , 越早过期的越先被淘汰 (相当于 FIFO , 只不过是针对过期的 key)
  5. noeviction 默认策略 : 当内存不⾜以容纳新写⼊数据时 , 新写入操作会报错 .

经过一段时间的动态平衡 , Redis 中的 key 就都逐渐成了热点数据了

四 . 缓存预热、缓存穿透、缓存雪崩、缓存击穿

4.1 缓存预热

我们之前了解过 , 缓存中的数据有两种更新策略

  1. 定期生成 : 这种情况一般不涉及缓存预热问题
  2. 实时生成 : 一般涉及到缓存预热文体

在 Redis 服务器首次接入之后 , Redis 服务器中是没有任何数据的 . 而实时生成的步骤是客户端先查询 Redis 的数据 , 如果没查到就再查一次 MySQL , 然后将查询到的数据也写入到 Redis 中 .

这样的话 , 在服务器刚启动的时候 , 所有的请求都会访问 MySQL , 就会给 MySQL 造成不小压力 . 随着时间的推移 , Redis 上面积累的数据越来越多 , MySQL 的压力就会越来越小 .

所以我们就需要在服务器刚启动的时候进行缓存预热 , 避免服务器刚启动的时候导致 MySQL 压力过大 .

缓存预热的步骤是将定期生成和实时生成相结合 , 通过离线的方式用一些统计途径 , 先把热点数据找到一批然后导入到 Redis 中 . 此时导入的这些热点数据就能够减轻 MySQL 很大压力了 , 随着时间的推移 , 逐渐就可以使用新的热点数据淘汰掉旧的数据了 .

4.2 缓存穿透

缓存穿透指的是查询的某个 key , 他在 Redis 中查询不到 , 在 MySQL 中也查询不到 , 那这个 key 肯定也不会被更新到 Redis 中 .

那如果这样的数据存在很多并且还反复查询 , 一样也会给 MySQL 带来很大压力 .

一般来说 , 出现这样的情况主要有以下几个原因 :

  1. 业务设计不合理 : 比如缺少一些参数校验环节 , 导致非法的 key 也进行查询了
  2. 开发 / 运维误操作 : 不小心把部分数据删除掉了
  3. 黑客恶意攻击

我们通过改进业务 / 加强监控报警这些方法 , 虽然能够解决 , 不过是亡羊补牢 .

一般来说 , 主要采用的方案有以下几种 :

  1. 如果发现某个 key 在 Redis 和 MySQL 中都不存在 , 那将这个 key 写入到 Redis 中 , 然后将 value 设置成一个非法值 (比如 : “”)
  2. 引入布隆过滤器 : 在每次查询 Redis / MySQL 之前 , 都需要先判定一下 key 是否在布隆过滤器中是否存在 (我们会提前将所有的 key 插入到布隆过滤器中) .

布隆过滤器本质上是结合了 hash + bitmap 这两种结构 , 以较小的空间开销和较快的时间速度 , 实现针对 key 是否存在的判定

4.3 缓存雪崩

缓存雪崩指的是由于在短时间内 , Redis 上大规模的 key 失效 , 导致缓存命中率陡然下降 , 导致 MySQL 压力迅速上升 , 甚至宕机 .

产生这种情况主要有以下几种原因 :

  1. Redis 直接挂了 : Redis 宕机 / Redis 集群模式下大量节点宕机
  2. 之前短时间内设置了很多 key 给 Redis , 并且设置的过期时间是相同的 : 给 Redis 设置 key 作为缓存的时候 , 有的时候为了考虑缓存的时效性 , 就会设置过期时间 , 并且它是和 Redis 的内存淘汰机制是相配合使用的

那解决的原因一般如下 :

  1. 加强监控报警 , 加强 Redis 集群可用性
  2. 不给 key 设置过期时间 , 或者设置过期时间添加随机因子 (防止同一时刻过期)

4.4 缓存击穿

缓存击穿的英文全称指的是 Cache breakdown , 其中 breakdown 更适合翻译成瘫痪

所以缓存击穿我们就可以理解为缓存瘫痪 , 他是缓存雪崩的特殊情况 , 针对热点 key , 突然过期了 , 这样就导致了大量的请求直接访问到数据库上 , 甚至引起数据库宕机 .

它的解决方案主要有以下几点 :

  1. 基于统计的方式发现一些非常热点的 key , 并且设置永不过期 : 这需要服务器结构做出较大的调整 , 专门设置一个方法来去统计
  2. 进行必要的服务降级 : 例如访问数据库的时候使用分布式锁 , 限制服务器同时请求数据库的并发数

服务降级指的就是本身我们服务器的功能有 10 个 , 但是在一些特定情况下适当的关闭一些不重要的功能 , 只保留一些核心的功能 (超级省电模式 , 只保留了电话、短信、相机等核心功能)


文章到这里就结束喽 , 不知道你有没有被缓存预热、缓存穿透、缓存雪崩、缓存击穿绕蒙 , 如果对你有帮助的话 , 还请一键三连 , 你的鼓励是对我最大的认可~
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2113055.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2025届计算机毕业设计:如何构建Java SpringBoot+Vue个人健康档案管理系统?

✍✍计算机编程指导师 ⭐⭐个人介绍:自己非常喜欢研究技术问题!专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流! ⚡⚡ Java实战 |…

全能AI神器!工作效率提升80倍!Zmo.ai带你玩转AI做图!

今天,我要给大家介绍一款神器:Zmo.ai。 这个平台简直是做图神器,集多种功能于一身,让你像专业人士一样轻松创建和编辑图像,不需要任何美术与设计基础,真的非常适合我们这些“手残党”! 我们只需…

香港服务器机房托管:优化全球访问体验的最佳选择

在当今全球化的商业环境中,出海企业面临着前所未有的挑战与机遇。为了在全球范围内高效运营,确保公司内部系统、网站及应用的顺畅访问成为了企业成功的关键。尤其是当企业需要同时服务国内管理团队与海外客户时,如何选择一个既能降低国内访问…

数字化平台跨界融合增值:新起点与新机遇

亲爱的朋友们,在这个快速发展的数字化时代,有一个重要的趋势正站在新起点上,那就是数字化平台跨界融合增值。 新起点的基石技术基础夯实:如今,5G 网络已经全面普及,物联网技术也在深度发展,再加…

AI编程辅助工具先锋:豆包MarsCode

在科技日新月异的今天,AI正以不可阻挡之势渗透到各行各业,其中编程辅助领域也正经历着一场前所未有的变革。随着AI技术的不断成熟与应用深化,编程辅助工具正逐步从简单的代码补全、语法检查,迈向更加智能化、个性化的全方位辅助&a…

【Python 学习】Numpy的基础和应用

目录 1 数组基础1.1 Numpy简介1.2 Numpy数组基础1.3 创建数组1.3.1 使用np.array()函数生成数组1.3.2 利用内置函数产生特定形式的数组1.3.2.1 简单内置函数1.3.2.2 特殊内置函数 1.3.3 生成随机数组 1.4 数组的数据类型1.5 数组的迭代1.6数组的索引和切片1.6.1 一维数组的索引…

NULL 輸出情況

NULL值 輸出情況區分 匯總圖片 select 空 param1 -> param1:null select param1 from 空 —> param1:空 NULL 值出現在查詢結果中 只能由 SELELCT 和 聚合函數 產生 而不是 LIMIT WHERE HAVING FROM 語句 REFERENCE Leetcode 解析

[QT] QT事件与事件重写

一.事件 事件(event)是由系统或者 Qt本身在不同的场景下发出的。当用户按下鼠标、敲下键盘,或者是窗口关闭等都会发出一个相应的事件。 一些事件在用户操作时发出(如鼠标/键盘事件); 另一些事件则是由系统自动发出(如计时器事件)。 Qt窗口中对于产生的一系列事件都…

jmeter之setUP、tearDown线程组

setUp线程组: 用于在执行常规线程组之前执行一些必要的操作 ------会在普通线程组执行前被触发 应用场景举例: A、测试数据库操作功能时,用于执行打开数据库连接操作 B、测试用户购物功能时,用于执行用户的注册、登录等操作 tea…

C++入门(02)简单了解C++应用程序的开发部署

文章目录 1. 开发C应用程序2. 简单示例计算器程序3. 需求分析4. 设计5. 编码6. 编译7. 调试8. 测试9. 部署10. 部署示例10.1 使用Visual Studio Installer Projects创建安装程序10.2 安装VisualStudio Installer Projects扩展10.3 在calculator解决方案中创建安装项目10.3.1 添…

揭秘网络安全:从零基础到高手的必由之路

一、网络安全的定义 网络安全,是指通过采取必要措施,防范对网络的攻击、侵入、干扰、破坏和非法使用以及意外事故,使网络处于稳定可靠运行的状态,以及保障网络数据的完整性、保密性、可用性的能力 。其涵盖信息保密性、完整性、可…

【2025】基于Python的空气质量综合分析系统的设计与实现(源码+文档+调试+答疑)

博主介绍: ✌我是阿龙,一名专注于Java技术领域的程序员,全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师,我在计算机毕业设计开发方面积累了丰富的经验。同时,我也是掘金、华为云、阿里云、InfoQ等平台…

优化算法与正则化

目录 一:优化问题 1.梯度消失和爆炸 2.局部最优 3.指数加权平均 4.动量梯度下降法 5.RMSProp算法 6.Adam算法 二:学习率衰减 三:标准化 都看到这里了,点个赞呗!!!!! 一:优化问题 1.梯度消失和爆炸 在梯度函数上出现指数级递增或者递减的情况下分别称为梯度爆…

Vue+Nginx前端项目多种方式部署一文搞定(练习源码自取)

目录 介绍 本地项目部署 nginx部署 云端服务器部署 介绍 对于Vue项目而言,Nginx可以轻松地配置来处理SPA的路由问题,即对于所有未定义的路径请求返回index.html,这样前端路由机制就可以接管URL的处理。此外,Nginx支持反向代理设…

仕考网:考公务员有什么好处?

公务员工作节奏不快,工作压力小,不用担心下岗待业工作很稳定。机关事业单位职工退休可拿到在职工资的80%至 90%。薪资待遇高,国家也在不断完善中央和地方公务员薪酬体系管理工作,提高公务员薪资。 1、公务员定义 (1)公务员考试,…

【量化部署】AWQ in MLSys 2024

一、引言 论文: AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration 作者: MIT 代码: AWQ 特点: 该方法是一个仅量化权重的方法(W4A16),AWQ认为只有极少部分&am…

Python基础—Python 中pip的8个必备命令

在Python开发中,pip是一个非常强大的包管理工具,用于安装和管理Python包。下面我将介绍8个pip的必备命令,并通过代码示例来讲解它们。 1. 安装包 pip install package_name这个命令用于安装指定的Python包。例如,要安装requests…

数据结构排序——快排的递归与非递归

1.霍尔排序(递归方法) 这个是将右边找到比key小的数字,之后让左边找到比key大的数字,让左右的交换,如果相遇就会停止,让key与他们停止的位置进行交换,这时,交换的位置一定比key小&a…

【Git 学习笔记_24】Git 使用冷门操作技巧(四)——更多实用 git 别名设置、交互式新增提交

文章目录 11.8 更多别名设置别名1:只查看当前分支(git b)别名2:以图表形式显示自定义格式的 git 日志(git graph)别名3:查看由于合并分支导致的冲突后仍有冲突的、待合并的文件列表(…

node快速复制文件或文件夹,排除部分文件(node_modules)

const fs require(fs) const path require(path)/*** description: 获取完整的文件路径* param {*} url 路径* return {*} 返回完整的文件路径*/ const getPath (url) > {return path.join(__dirname, url) }/*** description: 获取参数* return {*} target【目标文件夹】…