关于Redis的BigKey

news2024/11/18 5:49:42

文章目录

准备
keys * 等命令的危害与避免
不用keys * ，应该用什么
BigKey
- 阿里云Redis开发规范
- 多大算Big
- 危害
- 怎么产生的？
- 怎么发现BigKey
- 怎么删除
- - String类型
  - 使用hscan每次获取少量field-value，再使用hdel删除每个field
  - 使用ltrim渐进式逐步删除，直到全部删除完成
  - 使用sscan每次获取部分元素，再使用srem命令删除每个元素
  - 使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素
- 生产调优

准备

往redis里插入2000万测试数据key

# 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

通过redis提供的管道 --pipe命令插入100万大批量数据
cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

查看数据量大小

redis-cli dbsize

keys * 等命令的危害与避免

这个指令没有offset，limit参数，是要一次性吐出所有满足条件的key，由于redis是单线程的，其所有操作都是原子性的，而keys算法是遍历算法，时间复杂度是n，如果哦实例中有千万级别以上的key，这个指令就会导致redis服务卡顿，所有读写Redis的指令就会被延后甚至超时，可能引起缓存雪崩甚至数据库宕机。

生产上限制keys *，flushdb，flushall等危险命令以防止误删误用？
配置中设置禁用命令即可
在这里插入图片描述

不用keys * ，应该用什么

使用Scan命令，用于迭代数据库中的数据库键。
SCAN cursor定义：
基于游标的迭代器，需要基于上一次的游标延续之前的迭代过程，以0作为游标开始一次新的迭代，直到命令返回游标0完成一次遍历，不保证每次执行都返回某个给定数量的元素，支持模糊查询，一次返回的数量不可控，只是大概率符合count参数。
在这里插入图片描述
SCAN 命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数，以此来延续之前的迭代过程。

SCAN 返回一个包含两个元素的数组：

第一个元素是用于进行下一次迭代的新游标，
第二个元素则是一个数组，这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序：
非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。
在这里插入图片描述

BigKey

阿里云Redis开发规范

拒绝BigKey防止网卡流量，慢查询。

String类型控制在10kb以内，hash，list，set，zset元素个数不用超过5000
非字符串的BigKey不要使用del删除，使用hscan，sscan，zscan方式渐进式删除，同时注意防止BigKey过期时间自动删除（类似100万的zset设置固定时间过期，会触发del操作造成堵塞，而且该操作不会出现在慢查询中）

多大算Big

String是value，最大512MB但是大于等于10KB就是BigKey
list，hash，set，zset，个数超过5000就是BigKey

危害

内存不均匀，集群迁移困难
超时删除，大key阻塞
网络流量阻塞

怎么产生的？

比如汇总统计，某个报表日积月累的积累
比如粉丝列表，粉丝越来越多

怎么发现BigKey

redis-cli --bigkeys
给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小,但是想查询大于10kb的所有key，–bigkeys参数就无能为力了。
每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1
在这里插入图片描述

解决查看大于10kb的所有key，需要用到memory usage来计算每个键值的字节数。
MEMORY USAGE命令给出一个key和它的值在RAM中所占用的字节数。返回的结果是key的值以及为管理该key分配的内存总字节数。
对于嵌套数据类型，可以使用选项SAMPLES，其中count表示抽样的元素个数，默认值为5。==当需要抽样所有元素时，使用SAMPLES 0 ==。

MEMORY USAGE key [SAMPLE count]