Redis 热 key 和大 key 问题

news2025/4/26 4:15:01

一、什么是 Redis 热 key?

热 key(Hot Key)定义:

在单位时间内被**频繁访问(读/写)**的 key,导致其访问集中、压力过大。

 热 key 常见表现:

  • QPS 极高(某 key 每秒被访问几万次)

  • 某业务高频读写一个 key(如秒杀库存、排行榜 top1)

  • Redis 实例 CPU 异常,却只服务一个 key

热 key 的风险:

问题说明
单点压力过大所有请求打到同一个 key 上
缓存击穿热 key 过期瞬间,大量请求落到 DB
主从复制延迟热 key 改变频繁 → 主从同步数据猛增
节点不均衡(集群)Redis Cluster 中 key 分布不均匀

热 key 解决方案:

方案原理 / 思路
✅ 本地缓存(Golang map / Caffeine)热 key 前移到本地,不打 Redis
✅ 请求合并(Request Merge)多个请求合并为一次查询
✅ 多 key 拆分(Sharding)拆成 key_1, key_2, …,均摊压力
✅ 设置过期+预热机制防止同时失效,导致“缓存击穿”
✅ 热 key 限流对热点 key 特判,限流/降级
✅ 使用布隆过滤器 / 异步加载防穿透 / 控制负载

二、什么是 Redis 大 key?

大 key(Big Key)定义:

指的是 value 太大(例如一个 Hash 内含几百万个 field,或一个 List 有 10 万项以上)或**字符串体积超大(如几 MB 图片)**的 key。

大 key 的风险:

问题说明
❗ 删除阻塞DEL 大 key 时会阻塞 Redis 单线程
❗ 主从复制变慢 / 丢失主节点传送一个大 key → 复制延迟
❗ 造成 RDB / AOF 暴涨Dump 一次会卡死
❗ 影响单条命令性能操作大 key 会变慢,例如 HGETALL

大 key 识别方法:

  • 使用 redis-cli --bigkeys 命令扫描实例

  • 使用 redis-rdb-tools 分析 RDB 文件

  • 通过慢查询日志 + 监控查看 HGETALLLRANGESMEMBERS 的大 key

大 key 解决方案:

方案说明
✅ 拆分数据结构如一个大 Hash 拆成多个小 Hash(按 ID)
✅ 控制最大 field 数/元素数控制单个结构体内成员 ≤ 10K
✅ 禁用危险命令比如关闭 KEYS, FLUSHALL, HGETALL
✅ 延迟删除 / 慢删策略例如将大 key 分批 UNLINK 删除
✅ 限制最大 value 大小字符串不要超过几 KB,避免超过 MTU

 

UNLINK vs DEL 的区别:

命令说明
DEL立即删除(阻塞线程)
UNLINK异步删除,非阻塞

✅ Redis 4.0+ 建议用 UNLINK 删除大 key!

总结对比表

类型触发方式风险解决方案核心
热 key高频访问同一个 keyCPU 飙升、击穿、热点本地缓存、分片、限流、预热
大 keyvalue 结构太大慢查询、阻塞、同步问题拆分结构、异步删除、结构约束、UNLINK

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2342960.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基准指数选股策略思路

一种基于Python和聚宽平台的量化交易策略,主要包含以下内容: 1. 导入必要的库 - 导入jqdata和jqfactor库用于数据获取和因子计算。 - 导入numpy和pandas库用于数据处理。 2. 初始化函数 - 设置基准指数为沪深300指数。 - 配置交易参数,如使用…

SAP接口超时:对 FOR ALL ENTRIES IN 的优化

SAP接口超时 经分析要10多分钟以上才出结果,且是这个语句耗时较长: SELECTaufnrmatnrbdmnglgortmeinschargFROM resbINTO CORRESPONDING FIELDS OF TABLE lt_lylcddxhFOR ALL ENTRIES IN lt_lylcddWHERE aufnr IN r_aufnr发现RESB有420万条记录&#xf…

Shell 脚本入门:从零开始写自动化脚本

目录 一、Shell 、Shell 命令、Shell 脚本 二、常用 Shell 命令与注释写法 三、echo 命令的使用 四、Shell 变量类型 五、变量与参数使用 六、读取用户输入 七、算术运算 八、条件判断与流程控制 九、循环结构 十、函数定义与调用 一、Shell 、Shell 命令、Shell 脚本…

【最新版】西陆健身系统源码全开源+uniapp前端

一.系统介绍 一款基于UniappThinkPHP开发健身系统,支持多城市、多门店,包含用户端、教练端、门店端、平台端四个身份。有团课、私教、训练营三种课程类型,支持在线排课。私教可以通过上课获得收益,在线申请提现功能,无…

常见移动机器人底盘模型对比(附图)

1. 概述 底盘模型驱动场景优势劣势双轮差速两轮驱动室内AGV结构简单、成本低转弯半径大,易打滑四轮差速四轮独立驱动复杂地形无人车全方位转向,机动性强控制复杂,能耗高阿克曼模型前轮转向后驱户外无人驾驶车高速稳定性好转弯半径大&#xf…

【MongoDB】windows安装、配置、启动

🪟 一、下载 MongoDB 安装包 打开官方地址: 👉 https://www.mongodb.com/try/download/community 配置下载选项: 选项设置Version最新(默认就好)OSWindowsPackageMSI(推荐) 点击【D…

GitLab_密钥生成(SSH-key)

目录 1.密钥命令 2.自定义路径 3.输2次密码 4.查看公钥:(打开文件) 5. 把公钥,放到GitLab上面 6.填写公钥标题 7.点击 Add key 按钮 8. 验证添加是否成功 9. 测试 SSH 连接 10.彩蛋(把ssh-key添加到python文…

【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读

Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读 ABSTRACT1 INTRODUCTION2 PRELIMINARIES3 OUR FRAMEWORK3.1 Multi-Modal Hypergraph Networks3.2 Variational Inference 4 EXPERIMENT6 CONCLUSION 文章信息: 发表于:WSDM 24 原文…

BUUCTF-[GWCTF 2019]re3

[GWCTF 2019]re3 查壳,64位无壳 然后进去发现主函数也比较简单,主要是一个长度校验,然后有一个mprotect函数,说明应该又是Smc,然后我们用脚本还原sub_402219函数处的代码 import idc addr0x00402219 size224 for …

C++入侵检测与网络攻防之暴力破解

目录 1.nessus扫描任务 2.漏洞信息共享平台 3.nessus扫描结果 4.漏扫报告的查看 5.暴力破解以及hydra的使用 6.crunch命令生成字典 7.其他方式获取字典 8.复习 9.关于暴力破解的防御的讨论 10.pam配置的讲解 11.pam弱密码保护 12.pam锁定账户 13.shadow文件的解析 …

管理100个小程序-很难吗

20公里的徒步-真难 群里的伙伴发起了一场天目山20公里徒步的活动,想着14公里都轻松拿捏了,思考了30秒后,就借着春风带着老婆孩子就出发了。一开始溪流清澈见底,小桥流水没有人家;青山郁郁葱葱,枯藤老树没有…

如何在Linux用libevent写一个聊天服务器

废话少说,先看看思路 因为libevent的回调机制,我们可以借助这个机制来创建bufferevent来实现用户和用户进行通信 如果成功连接后我们可以直接在listener回调函数里创建一个bufferevent缓冲区,并为每个缓冲区设置相应的读回调和事件回调&…

马浩棋:产通链CT-Chain 破局不动产 RWA,引领数智金融新变革

全球不动产 RWA 数智金融高峰论坛上马浩棋先生致辞 在全球不动产 RWA 数智金融高峰论坛暨产通链 CT-Chain 上链首发会的现场,犀牛世纪集团(香港)有限公司董事会主席马浩棋成为众人瞩目的焦点。此次盛会汇聚了全球金融、区块链及不动产领域的…

学习整理在centos7上安装mysql8.0版本教程

学习整理在centos7上安装mysql8.0版本教程 查看linux系统版本下载mysql数据库安装环境检查解压mysql安装包创建MySQL需要的目录及授权新增用户组新增组用户配置mysql环境变量编写MySQL配置文件初始化数据库初始化msyql服务启动mysql修改初始化密码配置Linux 系统服务工具,使My…

SIEMENS PLC程序解读 -BLKMOV (指定长度数据批量传输)

1、程序代码 2、程序解读 这段西门子 PLC 程序&#xff08;程序段 10&#xff09;实现了基于条件的数据块移动功能&#xff0c;具体解释如下&#xff1a; 条件触点&#xff1a; %M0.1 Always<>(TRUE)&#xff08;注释为 AT<>1&#xff09;&#xff1a;当 M0.1 的值…

初识HashMap

HashMap&#xff1a;无序&#xff0c;不重复&#xff0c;无索引 HashMap小练习&#xff1a; import java.text.ParseException; import java.util.*; import java.util.function.BiConsumer; import java.util.function.Consumer;import static java.lang.Math.abs;public cla…

隧道高清晰广播如何提升行车安全体验?

在隧道中行驶时&#xff0c;驾驶员常面临回声干扰、语音模糊、信息过载等问题&#xff0c;传统广播系统可能不仅未能提供有效信息&#xff0c;反而因噪音增加驾驶压力。高清晰广播通过数字降噪、动态音效优化等技术&#xff0c;显著改善驾驶员的听觉体验&#xff0c;进而提升行…

从0开始搭建一套工具函数库,发布npm,支持commonjs模块es模块和script引入使用

文章目录 文章目标技术选型工程搭建1. 初始化项目2. 安装开发依赖3. 项目结构4. 配置文件tsconfig.json.eslintrc.jseslint.config.prettierrc.jsrollup.config.cjs创建 .gitignore文件 设置 Git 钩子创建示例工具函数8. 版本管理和发布9 工具函数测试方案1. 安装测试依赖2. 配…

Cadence学习笔记之---原理图设计基本操作

目录 01 | 引 言 02 | 环境描述 03 | 原理图工具介绍 04 | 原理图设计基本操作 05 | 生成页间引用 06 | 元件自动编号 07 | 结 尾 01 | 引 言 书接上回&#xff0c;在前文中讲述了怎样制作常用的库元件&#xff0c;如电阻、二极管&#xff0c;IC器件&#xff0c;以及怎…

进行性核上性麻痹饮食指南:科学膳食助力对抗疾病

进行性核上性麻痹是一种进展性神经退行性疾病&#xff0c;常导致患者出现吞咽困难、运动障碍等症状。科学合理的饮食不仅能为患者提供必要的营养支持&#xff0c;还能降低并发症风险&#xff0c;改善生活质量。 蛋白质是维持身体机能的关键&#xff0c;患者应注重优质蛋白的摄取…