redis的应用----缓存

news2025/2/25 1:55:11

redis的应用----缓存

    • 一、缓存的概念
    • 二、使用redis作为缓存
      • 2.1使用redis作为缓存的原因
      • 2.2缓存机制的访问步骤
    • 三、缓存的更新策略
      • 3.1定期更新
      • 3.2实时更新
      • 3.3淘汰策略
    • 四、缓存常见的问题
      • 4.1缓存预热(Cache preheating)
      • 4.2缓存穿透(Cache penetration)
      • 4.3缓存雪崩(Cache avalanche)
      • 4.4缓存击穿(Cache breakdown)

一、缓存的概念

缓存(Cache)是一种存储机制,旨在提供高速访问已保存的数据或计算结果。通过将数据存储在临时存储位置,当再次需要这些数据时,可以迅速从缓存中检索,而不是重新进行原始数据的获取和计算过程。缓存可以存在于各种层次,如硬件,CPU缓存、软件(如Web浏览器缓存)和专门的存储系统(如内存中的分布式缓存)‌

举例说明

比如我们需要去⾼铁站坐高铁,我们知道坐⾼铁是需要反复刷身份证的 (进⼊⾼铁站,检票,车,乘车过程中,出站…). 正常来说,我们的⾝份证是放在⽪箱⾥的(⽪箱的存储空间大,足够能装). 但是每次刷⾝份证都需要开⼀次⽪箱找⾝份证, 就非常不方便. 因此我就可以把身份证先放到⾐服⼝袋⾥. ⼝袋虽然空间小, 但是访问速度比皮箱快很多. 这样的话每次刷身份证我只需要从⼝袋⾥掏⾝份证就行了, 就不必开⽪箱了. 此时 “口袋” 就是 “皮箱” 的缓存. 使⽤缓存能够大大提高访问效率

对于计算机硬件来说, 往往访问速度越快的设备, 成本越高, 存储空间越小. 缓存是更快, 但是空间上往往是不⾜的. 因此⼤部分的时候, 缓存只放⼀些 热点数据 (访问频繁的数据), 就非常有用了

二、使用redis作为缓存

2.1使用redis作为缓存的原因

在⼀个⽹站中, 我们经常会使⽤关系型数据库 (⽐如 MySQL) 来存储数据. 关系型数据库虽然功能强⼤, 但是有⼀个很⼤的缺陷, 就是性能不⾼. (换⽽⾔之, 进⾏⼀次查询操作消耗的系统资源较多)

为什么说关系型数据库性能不⾼?

数据库把数据存储在硬盘上,硬盘的 IO 速度并不快,尤其是随机访问,如果查询不能命中索引,就需要进⾏表的遍历,这就会⼤⼤增加硬盘 IO 次数。关系型数据库对于 SQL 的执⾏会做⼀系列的解析,校验,优化⼯作, 如果是⼀些复杂查询,⽐如联合查询,需要进⾏笛卡尔积操作,效率更是降低很多

因此, 如果访问数据库的并发量⽐较⾼, 对于数据库的压⼒是很⼤的, 很容易就会使数据库服务器宕机

为什么并发量⾼了就会宕机?

服务器每次处理⼀个请求, 都是需要消耗⼀定的硬件资源的. 所谓的硬件资源包括不限于 CPU, 内存, 硬盘, ⽹络带宽…

⼀个服务器的硬件资源本⾝是有限的,⼀个请求消耗⼀份资源,请求多了,⾃然把资源就耗尽了,后续的请求没有资源可⽤,⾃然就⽆法正确处理。更严重的还会导致服务器程序的代码出现崩溃

如何让数据库能够承担更⼤的并发量呢?

  1. 开源: 引⼊更多的机器,部署更多的数据库实例,构成数据库集群(主从复制, 分库分表等…)

  2. 节流: 引⼊缓存,使⽤其他的⽅式保存经常访问的热点数据,从⽽降低直接访问数据库的请求数量

一般情况下,这两种方案都是搭配使用的

为什么使用redis作为缓存?

Redis 访问速度⽐关系型数据库 (⽐如 MySQL) 快很多,或者说处理同⼀个访问请求,Redis 消耗的系统资源⽐MySQL少很多,因此 Redis 能⽀持的并发量更⼤,Redis 数据在内存中, 访问内存⽐硬盘快很多,Redis 只是⽀持简单的 key-value 存储,不涉及复杂查询的那么多限制规则

2.2缓存机制的访问步骤

  1. 客⼾端访问业务服务器,发起查询请求

  2. 业务服务器先查询Redis,看想要的数据是否在Redis中存在

  3. 如果已经在Redis中存在了,就直接返回,此时不必访问MySQL了

  4. 如果Redis中不存在,再查询 MySQL

在这里插入图片描述

理论上,一般只需要在 Redis 中放 20% 的热点数据,就可以使 80% 的请求不再真正查询数据库了。当然,实践中究竟是 “⼆⼋”, 还是 “⼀九”, 还是 “三七”, 这个情况可能会根据业务场景的不同,存在差异,但是⾄少绝⼤多数情况下,使⽤缓存都能够⼤⼤提升整体的访问效率降低数据库的压⼒

注意:缓存是⽤来加快 “读操作” 的速度的. 如果是 “写操作”, 还是要⽼⽼实实写数据库, 缓存并不能提⾼性能

三、缓存的更新策略

根据网络中的梗我们就能够知道,哪些是热点数据,哪些非热点的数据,那么缓存是怎么区分的呢?这时就引入了更新策略

3.1定期更新

每隔⼀定的周期(⽐如⼀天/⼀周/⼀个⽉),对于访问的数据频次进⾏统计,挑选出访问频次最⾼的前 N% 的数据

以搜索引擎为例进行说明

⽤⼾在搜索引擎中会输⼊⼀个 “查询词”, 有些词是属于⾼频的, ⼤家都爱搜(鲜花, 蛋糕, 同城交友…),有些词就属于低频的,⼤家很少搜索的。搜索引擎的服务器会把哪个⽤⼾什么时间搜了啥词,都通过⽇志的⽅式记录的明明⽩⽩,然后每隔⼀段时间对这期间的搜索结果进⾏统计 (⽇志的数量可能⾮常巨⼤,这个统计的过程可能需要使⽤ hadoop 或者 spark 等⽅式完成),从⽽就可以得到 “⾼频词表”

但是这种方式实时性非常的低,对于一些突发情况处理起来不是很好,比如春节时经常出现的春节晚会,这就属于突然出现的高频词

3.2实时更新

先给缓存设定容量上限(可以通过 Redis 配置⽂件的maxmemory参数设定),此时的查询步骤为:

  • 如果在 Redis 查到了, 就直接返回.

  • 如果 Redis 中不存在, 就从数据库查, 把查到的结果同时也写⼊ Redis中

  • 如果缓存已经满了(达到上限),就触发缓存淘汰策略,把⼀些 “相对不那么热⻔” 的数据淘汰掉,按照上述过程,持续⼀段时间之后 Redis 内部的数据⾃然就是 “热⻔数据” 了

3.3淘汰策略

下列策略并⾮局限于 Redis, 其他缓存也可以按这些策略展开:

  • FIFO (First In First Out) 先进先出:把缓存中存在时间最久的 (也就是先来的数据) 淘汰掉
  • LRU (Least Recently Used) 淘汰最久未使⽤的:记录每个 key 的最近访问时间. 把最近访问时间最⽼的 key 淘汰掉
  • LFU (Least Frequently Used) 淘汰访问次数最少的:记录每个 key 最近⼀段时间的访问次数. 把访问次数最少的淘汰掉
  • Random 随机淘汰:从所有的 key 中抽取幸运⼉被随机淘汰掉

这⾥的淘汰策略, 我们可以⾃⼰实现. 当然 Redis 也提供了内置的淘汰策略, 也可以供我们直接使⽤

Redis 内置的淘汰策略如下:

  • volatile-lru:当内存不⾜以容纳新写⼊数据时,从设置了过期时间的key中使⽤LRU(最近最少使⽤)算法进⾏淘汰
  • allkeys-lru:当内存不⾜以容纳新写⼊数据时,从所有key中使⽤LRU(最近最少使⽤)算法进⾏淘汰
  • volatile-lfu:4.0版本新增,当内存不⾜以容纳新写⼊数据时,在过期的key中,使⽤LFU算法进⾏删除key
  • allkeys-lfu:4.0版本新增,当内存不⾜以容纳新写⼊数据时,从所有key中使⽤LFU算法进⾏淘汰
  • volatile-random:当内存不⾜以容纳新写⼊数据时,从设置了过期时间的key中,随机淘汰数据.
  • allkeys-random:当内存不⾜以容纳新写⼊数据时,从所有key中随机淘汰数据.
  • volatile-ttl:在设置了过期时间的key中,根据过期时间进⾏淘汰,越早过期的优先被淘汰. (相当于 FIFO, 只不过是局限于过期的 key)
  • noeviction:默认策略,当内存不⾜以容纳新写⼊数据时,新写⼊操作会报错

整体来说 Redis 提供的策略和我们上述介绍的通⽤策略是基本⼀致的,只不过 Redis 这⾥会针对 “过期 key” 和 “全部 key” 做分别处理

四、缓存常见的问题

4.1缓存预热(Cache preheating)

使⽤ Redis 作为 MySQL 的缓存的时候,当 Redis 刚刚启动,或者 Redis ⼤批 key 失效之后,此时由于Redis⾃⾝相当于是空着的,没啥缓存数据,那么 MySQL 就可能直接被访问到,从⽽造成较⼤的压⼒,因此就需要提前把热点数据准备好, 直接写⼊到 Redis 中,使 Redis 可以尽快为 MySQL 撑起保护伞

热点数据可以基于之前介绍的统计的⽅式⽣成即可. 这份热点数据不⼀定⾮得那么 “准确”, 只要能帮助 MySQL 抵挡⼤部分请求即可. 随着程序运⾏的推移, 缓存的热点数据会逐渐⾃动调整, 来更适应当前情况

4.2缓存穿透(Cache penetration)

什么是缓存穿透?

访问的 key 在 Redis 和 数据库中都不存在,此时这样的 key 不会被放到缓存上, 后续如果仍然在访问该 key,依然会访问到数据库,这就会导致数据库承担的请求太多, 压⼒很⼤

为什么会产生缓存穿透?

  1. 业务设计不合理. ⽐如缺少必要的参数校验环节, 导致⾮法的 key 也被进⾏查询了
  2. 开发/运维误操作. 不⼩⼼把部分数据从数据库上误删了
  3. ⿊客恶意攻击

解决方案

  1. 针对要查询的参数进⾏严格的合法性校验. ⽐如要查询的 key 是⽤⼾的⼿机号, 那么就需要校验当前 key 是否满⾜⼀个合法的⼿机号的格式
  2. 针对数据库上也不存在的 key , 也存储到 Redis 中, ⽐如 value 就随便设成⼀个 “”. 避免后续频繁访问数据库
  3. 使⽤布隆过滤器先判定 key 是否存在, 再真正查询

将数据库中的能够唯一标识某个数据保存在布隆过滤器中,当我们需要查找某个key的时候,就先到布隆过滤器中查询,如果存在那就去数据库中查找,如果不存在,那就直接返回了,不去数据库中查找了。

4.3缓存雪崩(Cache avalanche)

什么是缓存雪崩?

短时间内⼤量的 key 在缓存上失效, 导致数据库压⼒骤增, 甚⾄直接宕机,比如:本来 Redis 是 MySQL 的⼀个护盾,帮 MySQL 抵挡了很多外部的压⼒. ⼀旦护盾突然失效了, MySQL ⾃⾝承担的压⼒骤增, 就可能直接崩溃

为什么会产生缓存雪崩?

  1. Redis服务器挂了
  2. Redis 上的⼤量的 key 同时过期

redis中key同时过期的情况一般是由于某一时间段内redis存储了大量的key,并设置了相同的过期时间

解决方案

  1. 部署⾼可⽤的 Redis 集群, 并且完善监控报警体系
  2. 不给 key 设置过期时间 或者 设置过期时间的时候添加随机时间因⼦,避免大量key过期时间一样

4.4缓存击穿(Cache breakdown)

什么是缓存击穿?

当前key是一个热点key(例如一个秒杀活动),并发量非常大,重建缓存不能在短时间完成,可能是一个复杂计算,例如复杂的SQL、多次IO、多个依赖等。 在缓存失效的瞬间,有大量线程来重建缓存,造成后端负载加大,甚至可能会让应用崩溃

解决方案

  1. 基于统计的⽅式发现热点 key, 并设置永不过期
  2. 进⾏必要的服务降级. 例如访问数据库的时候使⽤分布式锁, 限制同时请求数据库的并发数

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2253393.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

用于LiDAR测量的1.58um单芯片MOPA(一)

--翻译自M. Faugeron、M. Krakowski1等人2014年的文章 1.简介 如今,人们对高功率半导体器件的兴趣日益浓厚,这些器件主要用于遥测、激光雷达系统或自由空间通信等应用。与固态激光器相比,半导体器件更紧凑且功耗更低,这在低功率供…

SpringBoot两天

SpringBoot讲义 什么是SpringBoot? Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。通过这种方式&#xf…

vue3项目最新eslint9+prettier+husky+stylelint+vscode配置

一、eslint9和prettier通用配置 安装必装插件 ESlint9.x pnpm add eslintlatest -DESlint配置 vue 规则 , typescript解析器 pnpm add eslint-plugin-vue typescript-eslint -DESlint配置 JavaScript 规则 pnpm add eslint/js -D配置所有全局变量 globals pnpm add globa…

LSTM-CNN-BP-RF-SVM五模型咖喱融合策略混合预测模型

目录 效果一览基本介绍程序设计参考资料 效果一览 基本介绍 LSTM-CNN-BP-RF-SVM五模型咖喱融合策略混合预测模型 Matlab代码注释清晰。 程序设计 完整程序和数据获取方式:私信博主回复LSTM-CNN-BP-RF-SVM五模型咖喱融合策略混合预测模型(Matlab&#…

【数据集】细胞数据集:肿瘤-胎儿重编程的内皮细胞驱动肝细胞癌中的免疫抑制性巨噬细胞(Sharma等人)

引用此数据集: Sharma, Ankur (2020), “Onco-fetal reprogramming of endothelial cells drives immunosuppressive macrophages in Hepatocellular Carcinoma (Sharma et al)”, Mendeley Data, V1, doi: 10.17632/6wmzcskt6k.1 下载地址:Onco-feta…

A30 PHP+MYSQL+LW+工厂库存仓储订单销售后台管理系统的设计与实现 源代码 配置 文档

工厂库存仓储订单销售管理系统 1.摘要2.开发目的和意义3.系统功能设计4.数据库设计5.系统界面截图6.源码获取 1.摘要 互联网给人们生活带来了极大的转变,现代化、信息化管理系统也成为企业管理的必要手段。电子信息化服务模式,一切以信息化手段来处理和…

利用Docker一键发布Nginx-Tomcat-MySQL应用集群

Docker简介,可以看上一篇文章: 为什么互联网公司离不开Docker容器化,它到底解决了什么问题?-CSDN博客 Docker体系结构 docker核心就是镜像和容器: 镜像就是应用程序的安装文件,包含了所有需要的资源&…

python使用python-docx处理word

文章目录 一、python-docx简介二、基本使用1、新建与保存word2、写入Word(1)打开文档(2)添加标题(3)添加段落(4)添加文字块(5)添加图片(6&#xf…

echarts的双X轴,父级居中的相关配置

前言:折腾了一个星期,在最后一天中午,都快要放弃了,后来坚持下来,才有下面结果。 这个效果就相当是复合表头,第一行是子级,第二行是父级。 子级是奇数个时,父级label居中很简单&…

CTF-PWN: WEB_and_PWN [第一届“吾杯”网络安全技能大赛 Calculator] 赛后学习(不会)

附件 calculate.html <!DOCTYPE html> <html lang"en"> <head><!-- 设置字符编码为 UTF-8&#xff0c;支持多语言字符集 --><meta charset"UTF-8"><!-- 设置响应式视图&#xff0c;确保页面在不同设备上自适应显示 --&…

STM32 PWM波形详细图解

目录 前言 一 PWM介绍 1.1 PWM简介 1.2 STM32F103 PWM介绍 1.3 时钟周期与占空比 二.引脚映像关系 2.1引脚映像与寄存器 2.2 复用功能映像 三. PWM 配置步骤 3.1相关原理图 3.2配置流程 3.2.1 步骤一二&#xff1a; 3.2.2 步骤三&#xff1a; 3.2.3 步骤四五六七&#xff1a; …

6.824/6.5840 Lab 1: MapReduce

宁静的夏天 天空中繁星点点 心里头有些思念 思念着你的脸 ——宁夏 完整代码见&#xff1a; https://github.com/SnowLegend-star/6.824 由于这个lab整体难度实在不小&#xff0c;故考虑再三还是决定留下代码仅供参考 6.824的强度早有耳闻&#xff0c;我终于也是到了挑战这座高…

东方隐侠网安瞭望台第8期

谷歌应用商店贷款应用中的 SpyLoan 恶意软件影响 800 万安卓用户 迈克菲实验室的新研究发现&#xff0c;谷歌应用商店中有十多个恶意安卓应用被下载量总计超过 800 万次&#xff0c;这些应用包含名为 SpyLoan 的恶意软件。安全研究员费尔南多・鲁伊斯上周发布的分析报告称&…

【python自动化一】pytest的基础使用

1.pytest简述 pytest‌ 是一个功能强大且灵活的Python测试框架&#xff0c;其主要是用于流程控制&#xff0c;具体用于UI还是接口自动化根据个人需要而定。且其具有丰富插件&#xff0c;使用时较为方便。咱们具体看下方的内容&#xff0c;本文按照使用场景展开&#xff0c;不完…

EasyDSS视频推拉流技术的应用与安防摄像机视频采集参数

安防摄像机的视频采集参数对于确保监控系统的有效性和图像质量至关重要。这些参数不仅影响视频的清晰度和流畅度&#xff0c;还直接影响存储和网络传输的需求。 安防摄像机图像效果的好坏&#xff0c;由DSP处理器和图像传感器sensor决定&#xff0c;如何利用好已有的硬件资源&…

GoReplay开源工具使用教程

目录 一、GoReplay环境搭建 1、Mac、Linux安装GoReplay环境 二、GoReplay录制与重播 1、搭建练习接口 2、录制命令 3、重播命令 三、GoReplay单个命令 1、常用命令 2、其他命令 3、命令示例 4、性能测试 5、正则表达式 四、gorepaly组合命令 1、组合命令实例 2、…

论文:IoU Loss for 2D/3D Object Detection

摘要&#xff1a;在2D/3D目标检测任务中&#xff0c;IoU (Intersection-over- Union)作为一种评价指标&#xff0c;被广泛用于评价不同探测器在测试阶段的性能。然而&#xff0c;在训练阶段&#xff0c;通常采用常见的距离损失(如L1或L2)作为损失函数&#xff0c;以最小化预测值…

CAD 文件 批量转为PDF或批量打印

CAD 文件 批量转为PDF或批量打印&#xff0c;还是比较稳定的 1.需要本地安装CAD软件 2.通过 Everything 搜索工具搜索&#xff0c;DWG To PDF.pc3 &#xff0c;获取到文件目录 &#xff0c;替换到代码中&#xff0c; originalValue ACADPref.PrinterConfigPath \ r"C:…

【错误记录】jupyter notebook打开后服务器错误Forbidden问题

如题&#xff0c;在Anaconda Prompt里输入jupyter notebook后可以打开浏览器&#xff0c;但打开具体项目后就会显示“服务器错误&#xff1a;Forbidden”&#xff0c;终端出现&#xff1a; tornado.web.HTTPError: HTTP 403: Forbidden 查看jupyter-server和jupyter notebook版…

[MacOS] [kubernetes] MacOS玩转虚拟化最佳实践

❓ 为什么不在MacOS本机安装呢&#xff1f;因为M系列芯片是Arm架构&#xff0c;与生产环境或者在本地调试时候&#xff0c;安装虚拟镜像和X86不同&#xff0c;造成不必要的切换环境的额外成本&#xff0c;所以在虚拟化的x86调试 步骤 & 详情 一: 安装OrbStack & 并配置…