什么是 redis 的大 key?
- redis 的大 key 不是指存储在 redis 中的某个 key 的大小超过一定的阈值，而是该 key 所对应的 value 过大
- 对于 string 类型来说，一般情况下超过 10KB 则认为是大 key；对于set、zset、hash 等类型来说，一般数据超过5000条即认为是大 key
redis 大 key 的场景?
- 在抖音直播中，某个头部主播当前有很多正在观看的用户，假如有这样的数据结构：
- 直播间和观看用户之间的映射关系采用 redis 存储
- redis 的 key 是直播间id，长度可控且很小
- redis 的 value 是个 list，list 包含直播间里面所有用户
- 用户可能很多，就导致 list 长度不可控
大 key 带来的问题
- redis 内存不断变大引发 OOM，或达到 maxmemory 设置值引发写阻塞或重要 key 被逐出
- redis cluster 中的某个 node 内存远超其余 node，但因 redis cluster 的数据迁移最小粒度为 key 而无法将 node 上的内存均衡化
- 大 key 上的读请求使 redis 占用服务器全部带宽，自身变慢的同时影响到该服务器上的其它服务
- 删除一个大 key 造成主库较长时间的阻塞并引发同步中断或主从切换
如何查找大 key
使用命令 bigkeys
- bigkeys 是 redis 自带的命令，对整个 key 进行扫描，统计 string，list，set，zset，hash 这几个常见数据类型中每种类型里的最大的 key，会造成线程阻塞
- string 类型统计的是 value 的字节数
- 另外 4 种复杂结构的类型统计的是元素个数，不能直观的看出 value 占用字节数
- bigkeys 对分析 string 类型的大 key 是有用的，复杂结构的类型还需要一些第三方工具
- 使用 memory 命令查看 key 的大小(仅支持 redis 4.0 以后的版本)
- memory usage keyname
使用 rdb tools 工具包
- rdbtools 是 python写的 一个第三方开源工具，用来解析 redis 快照文件
- 除了解析 rdb 文件，还提供了统计单个 key 大小的工具
- https://github.com/sripathikrishnan/redis-rdb-tools
如何解决大 key
如何存储大 key
- 数据结构优化
- 优化 redis 的数据结构，使用合适的数据结构来存储数据，避免出现 redis 大 key 的情况
- 数据分片
- 将大量数据分片存储到多个 key 中，避免单个 key 的数据量过大
- 压缩数据
- 对于存储的大数据，可以采用压缩算法来减少数据的大小，redis支持多种压缩算法，如 LZF、Snappy 等
- 分布式存储
- 将数据分散到多个 redis 实例中，避免单个 redis 实例存储过多数据导致 redis 大 key 的问题
- 清理过期数据
- 及时清理过期数据，避免数据堆积，导致 redis 大 key 的问题
如何删除大 key
- 在系统低峰期，直接使用 del 命令删除 (会造成线程阻塞)
- 使用 scan 命令删除 (会造成线程阻塞)
- 使用 unlink 异步删除
