Redis 性能管理/优化 缓存雪崩/击穿/穿透

news2024/11/25 4:49:54

---------------------- Redis 性能管理 ----------------------------------------

----- 查看Redis内存使用 ----- 

info memory

redis-cli -a 'abc123' info memory

----- 内存碎片率 -----

  • used_memory_rss:是Redis向操作系统申请的内存。
  • used_memory:是Redis中的数据占用的内存。
  • mem_fragmentation_ratio:内存碎片率。
    mem_fragmentation_ratio = used_memory_rss / used_memory
  • used_memory_peak:redis内存使用的峰值。

内存碎片如何产生的?
Redis内部有自己的内存管理器,为了提高内存使用的效率,来对内存的申请和释放进行管理。
Redis中的值删除的时候,并没有把内存直接释放,交还给操作系统,而是交给了Redis内部有内存管理器。
Redis中申请内存的时候,也是先看自己的内存管理器中是否有足够的内存可用。
Redis的这种机制,提高了内存的使用率,但是会使Redis中有部分自己没在用,却不释放的内存,导致了内存碎片的发生。

Redis请求了一堆内存空着不用,也不还给操作系统,俗称占着茅坑不拉屎。

 

跟踪内存碎片率对理解Redis实例的资源性能是非常重要的
●内存碎片率在1到1.5之间是正常的,这个值表示内存碎片率比较低,也说明 Redis 没有发生内存交换。
●内存碎片率超过1.5,说明Redis消耗了实际需要物理内存的150%,其中50%是内存碎片率。
●内存碎片率低于1的,说明Redis内存分配超出了物理内存,操作系统正在进行内存交换。需要增加可用物理内存或减少 Redis内存占用。

解决碎片率大的问题
如果你的Redis版本是4.0以下的,需要在 redis-cli 工具上输入 shutdown save 命令,让 Redis 数据库执行保存操作并关闭 Redis 服务,再重启服务器。Redis服务器重启后,Redis会将没用的内存归还给操作系统,碎片率会降下来。

Redis4.0版本开始,可以在不重启的情况下,线上整理内存碎片。

config set activedefrag yes     #自动碎片清理,内存就会自动清理了。
memory purge                    #手动碎片清理

----- 内存使用率 -----

redis实例的内存使用率超过可用最大内存,操作系统将开始进行内存与swap空间交换。

避免内存交换发生的方法
●针对缓存数据大小选择安装 Redis 实例(内存大多装几个Redis实例,内存小就少装)
●尽可能的使用Hash数据结构存储(hash 散列 占用空间小)
●设置key的过期时间(设置过期时间 用不到的key不让他浪费空间)

----- 内回收key -----

内存数据淘汰策略,保证合理分配redis有限的内存资源

当达到设置的最大阀值时,需选择一种key的回收策略,默认情况下回收策略是禁止删除


配置文件中修改 maxmemory-policy 属性值

vim /usr/local/redis/conf/redis.conf

--1149--
maxmemory-policy noenviction #最大内存时key的淘汰策略
●volatile-lru:从已设置过期时间的数据集合中 使用LRU算法淘汰数据(移除最近最少使用的key,针对设置了TTL的key) 
●volatile-ttl:从已设置过期时间的数据集合中 挑选即将过期的数据淘汰(移除最近过期的key)
●volatile-random:从已设置过期时间的数据集合中 随机挑选数据淘汰(在设置了TTL的key里随机移除)
●allkeys-lru:使用LRU算法从所有数据集合中淘汰数据(移除最少使用的key,针对所有的key)
●allkeys-random:从数据集合中任意选择数据淘汰(随机移除key)
●noenviction:禁止淘汰数据(不删除直到写满时报错)

其它限制相关

●maxclients #最大客户端连接数
设置redis同时可以与多少个客户端进行连接。
默认情况下为10000个客户端。
如果达到了此限制,redis则会拒绝新的连接请求,并且向这些连接请求方发出“max number of clients reached”以作回应。

●maxmemory #最大内存使用量
Redis使用最大内存量。建议必须设置,否则,将内存占满,造成服务器宕机。
设置redis可以使用的内存量。一旦到达内存使用上限,redis将会试图移除内部数据,移除规则可以通过maxmemory-policy来指定。
如果redis无法根据移除规则来移除内存中的数据,或者设置了“不允许移除”,那么redis则会针对那些需要申请内存的指令返回错误信息,比如SET、LPUSH等。
但是对于无内存申请的指令,仍然会正常响应,比如GET等。如果你的redis是主redis(说明redis集群有主从),那么在设置内存使用上限时,需要在系统中留出一些内存空间给同步队列缓存,只有在你设置的是“不移除”的情况下,才不用考虑这个因素。

●maxmemory-samples #LRU/最小TTL算法的采样数量
设置样本数量,LRU算法和最小TTL算法都并非是精确的算法,而是估算值,所以你可以设置样本的大小,redis默认会检查这么多个key并选择其中LRU的那个。
一般设置3到7的数字,数值越小样本越不准确,但性能消耗越小。

redis优化(总结)

性能优化

1)设置 config set activedefrag yes 开启内存碎片自动清理, 或者定时执行 memory purge 清理内存碎片
2)设置 maxmemory 指定redis占用最大内存大小, 设置 maxmemory-samples 指定内存数据淘汰策略的样本数量
3)设置 内存数据淘汰策略 maxmemory-policy 实现保证内存使用率不超过设置的最大内存大小
4)设置 key 的过期时间,精简 键名和键值,及控制键值的大小
5)尽可能使用 Hash 数据类型存储数据,因为 Hash 类型的一个键包含多个字段,该类型的数据占用空间较小
6)合理设置 maxclients 最大客户端连接数(10000),tcp-backlog tcp监控端口的最大连接排队数(1024), timeout 连接超时时间(30000)  

安全优化
7)设置 AOF 持久化

8)部署 主从复制 备份数据,采用 哨兵 或者 集群 模式实现高可用
9)设置 config set requirepass 开启密码验证




缓存和数据库双写一致性问题(面试有几率问)

Redis缓存服务器要与MySQL服务器中数据保持一致。

为了实现数据的一致,可以

先更新数据库,然后再删除缓存  + 缓存做过期时间,数据过期后再有读请求可从数据库直接更新缓存,以保证数据的一致性。

 

1.读取数据时,先从Redis中读取,如果Redis中没有,再从MvSQL中读取,并将读取到的数据写入到Redis缓存中。
2.更新数据时,先更新MySQL数据库,再更新Redis缓存。
3.删除数据时,同样需要先删除Redis缓存,再删除MvSQL数据库。
4.对于一些关键数据,可以使用MySQL的触发器(Trigger) 来实现同步更新Redis缓存。当MySQL中的数据发生变化时,触发器可以自动将变化同步到Redis中,避免了手动操作的疏漏。
5.定期同步MySQL和Redis中的数据,以确保数据的一致性。可以使用定时任务或者其他方式定期同步两个数据源中的数据,从而保持一致。




 

缓存的三大问题(需要知道现象原因,解决方案可以不用管,是软件开发的业务逻辑问题)

正常情况下,大量的资源请求都会被redis响应,在redis得不到响应的小部分请求才会去请求DB,这样DB的压力是非常小的,是可以正常工作的。
缓存雪崩/击穿/穿透三大问题的根本原因在于Redis命中率下降,大量请求直接落在数据库上,导致数据库直接崩溃。

  • 缓存雪崩:redis中大量key集体过期
  • 缓存击穿:redis中一个热点key过期(大量用户访问该热点key,但是热点key过期)
  • 缓存穿透:大量请求根本不存在的key

缓存雪崩       

缓存同一时间大面积的过期失效,所以,后面的请求都会落到数据库上,造成数据库短时间内承受大量请求而崩掉。

 

解决方案
缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生。
一般并发量不是特别多的时候,使用最多的解决方案是加锁排队。(软件开发负责)
给每一个缓存数据增加相应的缓存标记,记录缓存的是否失效,如果缓存标记失效,则更新数据缓存。

缓存击穿

缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。
和缓存雪崩不同的是,缓存击穿指并发查同一条数据缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。

解决方案
实时调整,监控哪些数据是热门数据,实时的调整key的过期时长
使用锁机制,加互斥锁

缓存穿透

缓存和数据库中都没有的数据,导致所有的请求都落到数据库上,造成数据库短时间内承受大量请求而崩掉。

解决方案
接口层增加校验,如用户鉴权校验,id做基础校验,id<=0的直接拦截;
从缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value对写为key-null,缓存有效时间可以设置短点,如30秒(设置太长会导致正常情况也没法使用)。这样可以防止攻击用户反复用同一个id暴力攻击
采用布隆过滤器(牠说有的数据不一定有,但是确认过没有的数据肯定没有),将所有可能存在的数据哈希到一个足够大的 bitmap 中,一个一定不存在的数据会被这个 bitmap 拦截掉,从而避免了对底层存储系统的查询压力

穿透解决方案:
对空值进行缓存
设置白名单
使用布隆过滤器
网警


 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/701749.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

缺失concrt140.dll下载,找不到concrt140.dll的解决方法

我们平时在打开 Adobe 应用程序、Halo、Forza Horizon 5 等时&#xff0c;可能会遇到找不到 concrt140.dll。因此&#xff0c;这不是特定于某个应用程序的问题。如果没有安装正确的 DLL&#xff0c;应用程序将无法正常工作&#xff0c;因为它们的代码依赖于这些库中编写的代码。…

井盖异动监测传感器:井盖的安全守护者

随着城市化进程的不断加速&#xff0c;城市道路、人行道上的井盖扮演着重要的角色。然而&#xff0c;由于各种因素&#xff0c;如车辆冲击、材料老化等&#xff0c;井盖常常会出现异动情况&#xff0c;井盖异动不仅对行车和行人的安全构成威胁&#xff0c;还给城市基础设施的维…

C#扩展——Visual Studio 代码提示/智能提示字体大小更改方法.

声明&#xff1a;本文为个人笔记&#xff0c;用于学习研究使用非商用&#xff0c;内容为个人研究及综合整理所得&#xff0c;若有违规&#xff0c;请联系&#xff0c;违规必改。 C#扩展——Visual Studio 代码提示/智能提示字体大小更改方法. 文章目录 C#扩展——Visual Studio…

【期末总复习】医学影像学(第2版)周翔平

【选择】 1、垂体腺瘤大小范围这么界定的&#xff1f; P66&#xff0c;肿瘤直径<1cm称为垂体微腺瘤&#xff0c;>1cm称为垂体大腺瘤&#xff0c;>4cm成为巨大腺瘤。 2、当一个车祸伤病人&#xff0c;怀疑长骨骨折首选什么检查方法&#xff1f; P387 X线平片 3、…

leetcode957. N 天后的牢房(java-14天周期优化)

N 天后的牢房 leetcode957. N 天后的牢房题目描述解题思路Java 代码演示 算法专题 leetcode957. N 天后的牢房 来源&#xff1a;力扣&#xff08;LeetCode&#xff09; 链接&#xff1a;https://leetcode.cn/problems/prison-cells-after-n-days 题目描述 监狱中 8 间牢房排成一…

力扣 106. 从中序与后序遍历序列构造二叉树

题目来源&#xff1a;https://leetcode.cn/problems/construct-binary-tree-from-inorder-and-postorder-traversal/description/ C题解&#xff1a;中序遍历是左中右&#xff0c;后序遍历是左右中&#xff0c;所以拿到两个遍历数组&#xff0c;我们可以从后序遍历获取中间节点…

信号链噪声分析6

目录 概要 整体架构流程 技术名词解释 技术细节 公用时钟源相位噪声的消除 公用电源噪声的消除 小结 概要 提示&#xff1a;这里可以添加技术概要 放大器输出被发送到均衡混频器&#xff08;相位检测器&#xff09;。相位检测器将两 个信号混合&#xff0c;在其输出处产生和积…

Apollo无人驾驶平台中多传感器标定

传感器标定是无人车最基础也是最核心的模块之一。作为软件层提供的第一项服务,标定质量和准确度极大地影响着感知、定位地图、PNC等模块。在 Apollo 开源自动驾驶平台中,我们提供了丰富的多传感器标定服务,如激光雷达、惯导、摄像头、多普勒雷达等多种传感器之间的标定。算法…

pytorch 中 dim 的-1,0,1,2 的意义 详解

对于3维矩阵&#xff0c;dim为-1时 与 dim为2时 的效果是一样的。dim为0时 从0维度&#xff0c; 下图 是三维实例 图的目的是 可以由一个想象的空间。 下面代码 与上图关系不大 >>> ab torch.tensor([[[0,1,2,3],[1,2,3,4]],[[2,3,4,5],[4,5,6,7]],[[5,6,7,8],…

如何解决failed to load steamui.dll这个问题?

当你在玩steam的时候&#xff0c;电脑突然弹出一个failed to load steamui.dll的时候&#xff0c;相信你内心一定是非常的烦躁的&#xff0c;毕竟你的玩游戏体验直接中断了&#xff0c;今天小编就来给大家详细的讲解一下怎么解决failed to load steamui.dll这个问题。 目录 一…

leetcode消失的数字

题目描述 数组 nums 包含从 0 到 n 的所有整数&#xff0c;但其中缺了一个。请编写代码找出那个缺失的整数。你有办法在 O ( n ) O(n) O(n) 时间内完成吗&#xff1f; 示例 1&#xff1a; 输入&#xff1a;[3,0,1] 输出&#xff1a;2 leetcode链接&#xff1a;消失的数字 ⭕…

举例说明什么是卷积神经网络

卷积神经网络&#xff08;Convolutional Neural Network, CNN&#xff09;是一种深度学习模型&#xff0c;主要应用于计算机视觉任务&#xff0c;如图像分类、物体检测等。它通过卷积层、池化层和全连接层等组件来实现对图像的特征提取和分类。 现在我们以一个简单的图像分类任…

【算法题】动态规划中级阶段之跳跃游戏、最大子数组和、解码方法

动态规划中级阶段 前言一、最大子数组和1.1、思路1.2、代码实现 二、跳跃游戏2.1、思路2.2、代码实现 三、解码方法3.1、思路3.2、代码实现 总结 前言 动态规划&#xff08;Dynamic Programming&#xff0c;简称 DP&#xff09;是一种解决多阶段决策过程最优化问题的方法。它是…

计算机组成原理(期末或考研备考)- 存储器(RAM和ROM重点讲解)

存储器分类 主存储器&#xff1a;也称内存&#xff0c;存放正在运行程序和数据&#xff0c;CPU可以直接访问&#xff0c;容量存储较小&#xff0c;价格较贵。辅助存储器&#xff1a;也称外存&#xff08;绝大多数是磁盘&#xff09;&#xff0c;存放电脑的应用程序等&#xff0…

CentOS7使用Nginx部署前后端分离项目

CentOS7使用Nginx部署前后端分离项目 CentOS7安装使用Nginx1.安装1.1下载1.2 检验服务器上是否有nginx1.3 解压安装1.4 验证 2.部署2.1基本知识2.1.1常用命令2.1.2配置文件 2.2 配置效果前端后端 CentOS7安装使用Nginx 本文使用的nginx版本为1.22.1 Nginx发布版本分为主线版本…

Ant-Design 中a-transfer穿梭框 组件的使用

这段代码是一个包含模态框&#xff08;Modal&#xff09;和穿梭框&#xff08;Transfer&#xff09;的Vue组件。下面我会逐行解释代码的含义。 <a-modaltitle"合并":visible"visible"ok"handleOk"cancel"handleCancel"width"1…

基于51单片机串口加密系统(分主机从机)

目录 基于51单片机串口加密系统&#xff08;分主机从机&#xff09;一、原理图二、部分代码三、视频演示 基于51单片机串口加密系统&#xff08;分主机从机&#xff09; 功能&#xff1a; 1.通过两个单片机串口实现信息的加密和解密 2.按键完成信息的选择和发送 3.通过屏幕实时…

【Python】列表和元组

文章目录 一. 概念介绍二. 列表1. 创建列表2. 访问元素3. 切片操作4. 列表的遍历4.1 范围-for4.2 普通的 for 循环4.3 while 循环 5. 插入元素5.1 append() 方法5.2 insert() 方法 6. 删除元素6.1 pop() 方法6.2 remove() 方法 7. 查找元素7.1 in 和 not in 操作符7.2 index() …

【Linux】MHA高可用配置及故障切换

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 MHA高可用配置及故障切换 MHA高可用配置及故障切换MHA概述MHA 的组成MHA 的特点 搭建 MySQL MHA1&#xff0e;Master、Slave1、Slave2 节点上安装 mysql5.72&#xff0e;修改…

电压放大器驱动感性负载有哪些特点

电压放大器是一种常见的信号放大器&#xff0c;广泛应用于各种电子设备。当电压放大器需要驱动感性负载时&#xff0c;需要采取一些特殊措施来确保系统的稳定和可靠性。 感性负载是指由电感器构成的电路元件&#xff0c;它在电路中起到了储存能量的作用。感性负载可以分为两类&…