Redis key(BigKey、MoreKey)的存储策略

news2024/10/7 18:27:37

1. MoreKey 案例

1.1 大批量往 redis 里面插入2000w 测试数据key

(1) Linux Bash 下面执行，插入 100w

root@spray:~# for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt; done;

查看

root@spray:~# more /tmp/redisTest.txt

set k1 v1
set k2 v2
set k3 v3

(2) 通过redis提供的管道 --pipe 命令插入 100w 大批量数据

root@spray:~# cat /tmp/redisTest.txt | redis-cli -h 47.101.139.8 -p 6379 --pipe
All data transferred. Waiting for the last reply...
Last reply received from server.
errors: 0, replies: 1000000

查看

:6379> get k1000000
v1000000

* 企业中建议禁止使用 keys* 、 flushdb 、 flushall等命令

1.2 Scan命令用于迭代数据库中的数据库键

// 其中 scan 的是 游标，当游标为0时 ，遍历结束
:6379> scan  0 match k* count 5
[
    "65536",
    [
        "k578034",
        "k899828",
        "k667111",
        "k720478",
        "k115954"
    ]
]
:6379> scan  65536 match k* count 5
[
    "720896",
    [
        "k133147",
        "k151526",
        "k549678",
        "k541042",
        "k937688",
        "k662333",
        "k652940",
        "k517887"
    ]
]

2.BigKey 案例

1.多大的key算作BigKey呢？

set k1 v1 (string 512MB)

根据阿里云 Redis 开发规范

string类型 > 大于10kb

hash、list、set、zset 其中的元素个数 > 非5000个

注意：非字符串的bigkey ,使用hscan、sscan、zscan方式删除（不建议是用del）

2. bigKey 有哪些危害

（1）内存不均、集群迁移困难

（2）网络流量阻塞

（3）超时删除，大key删除作梗

3. 如何产生

（1）社交类

某网红的粉丝列表，粉丝数量逐步递增

（2）汇总统计

某个报表，日月年的数据积累

4. 如何发现 bigkeys

(1)redis-cli --bigkeys

给出每种数据类型Top 1 bigkey,同时给出每种数据类型的键值个数+平均大小

(2)memory usage 键

对于大于10kb的key使用

root@spray:~# redis-cli -h 47.101.139.8 -p 6379 --bigkeys 

# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).

[00.00%] Biggest string found so far '"k578034"' with 7 bytes
[02.06%] Biggest string found so far '"backup4"' with 72 bytes

-------- summary -------

[16.34%] Sampled 163375 keys in the keyspace!
Total key length in bytes is 1125560 (avg len 6.89)

Biggest string found '"backup4"' has 72 bytes

0 lists with 0 items (00.00% of keys, avg size 0.00)
0 hashs with 0 fields (00.00% of keys, avg size 0.00)
163375 strings with 1125625 bytes (100.00% of keys, avg size 6.89)
0 streams with 0 entries (00.00% of keys, avg size 0.00)
0 sets with 0 members (00.00% of keys, avg size 0.00)
0 zsets with 0 members (00.00% of keys, avg size 0.00)

:6379> memory usage k100
(integer) 56

3.BigKey 生产调优

redis.conf 配置文件 LAZY FREEING 相关说明

vim /myredis/redis7.conf

Redis有两个原语来删除键。

（1）阻塞刪除命令：（默认）

        一种称为DEL,是对象的阻塞删除。
        这意味着服务器停止处理新命令,以便以同步方式回收与对象关联的所有内存。如果删除的键与一个小对象相关联,则执行DEL命令所需的时间非常短,可与大多数其他命令相媲美
Redis中的0(1)或O(log_N)命令。

        但是,如果键与包含数百万个元素的聚合值相关联,则服务器可能阻塞很长时间(甚至几秒钟)才能完成操作。

（2）非阻塞删除命令

        UNLINK非阻塞DEL以及FLUSHALL和FLUSHDB命令的ASYNC选项,以便在后台回收内存。

        这些命令在恒定时间内执行。另一个线和程将尽可能快地逐步释放后台中的对象。
FLUSHALL和FLUSHDB的DEL、UNLINK和ASYNC选项是用户控制的。这取决于应用程序的设计,以了解何时使用其中一个是个好主意。

        然而,作为其他操作的副作用,Redis服务器有时不得不删除键或刷新整个数据库。具体而言,Redis在以下场景中独立于用户调用删除对象: