1 淘汰策略
127.0.0.1:6379> help expire
EXPIRE key seconds
summary: Set a key's time to live in seconds
since: 1.0.0
group: generic
127.0.0.1:6379> help PEXPIRE
PEXPIRE key milliseconds
summary: Set a key's time to live in milliseconds
since: 2.6.0
group: generic
expire是直接让key失效,而不能针对某个具体的元素,例如对hash的某个域设置过期
里面有一个lru
Redis.conf
通常maxmemory填真实内存的一半,以便持久化fork子进程时,有足够的内存
淘汰策略:
- volatile-lru:最近最久未使用的过期key
- allkeys-lru:对所有的key使用LRU策略淘汰
- volatile-lfu:最少使用的过期key进行淘汰
- allkeys-lfu
- volatile-random:随机淘汰过期key
- allkeys-random:随机淘汰
- noeviction:禁止淘汰,当达到最大maxmemory时,继续写入数据会报错
2 持久化
fork原理:
fork的时候,仅对页表进行了复制,父进程对数据修改时,触发写保护中断,从而进行物理内存的复制,父进程的页表指向新的物理内存,子进程的页表指向旧的物理内存(谁修改,谁指向新的),在发生写操作的时候,系统才会去复制物理内存,避免物理内存的复制时间过长导致父进程长时间阻塞
fork进程那一刻相当于给父进程的内存打了一个快照
2.1 aof
append only file
追加日志,是一个顺序磁盘io(与随机磁盘差不多)
aof有三个策略:
- always:对Redis有修改,就写到aof文件中
- every_sec:每1秒写一次aof文件,由bio_aof_fsync操作
- no:只写入到page cache,由操作系统自己刷到磁盘中
但假如对某个key操作多次,则aof都有相关记录
set test 1
set test 2
set test 3
但set test 1和set test 2是不需要的数据,即aof会存在冗余的问题,因此可以使用aof-rewrite
aof-rewrite:当aof文件过大,为了减少aof数据恢复速度过慢
- fork进程,根据内存数据生成aof文件,避免同一个key历史冗余数据
- 在重写aof期间,对redis的写操作回记录到重写缓冲区,当重写aof结束后,附加到aof文件末尾
优点:数据可靠,丢失较少;持久化过程代价较低
缺点:aof文件过大,数据恢复慢
注意:aof并不需要fork进程,aof-rewrite才需要fork进程
2.2 rdb
redis database
通过fork子进程进行持久化,基于内存中(所有数据)对象编码直接持久化
rdb只记录了fork那一刻的内存情况,但Redis仍然在提供服务,那部分的数据丢失了
优点:rdb文件小,数据恢复快
缺点:数据丢失较多,持久化过程代价较高
2.3 rdb-aof混用
通过fork子进程,根据内存数据生成rdb文件
在rdb持久化期间,对redis的写操作回记录到重写缓冲区,当rdb持久化结束后,附加到aof文件末尾
2.4 大key
kw中v如果占用大量空间就是大key,比如v是hash、zset,里面存储大量元素
大key对持久化的影响:
- fsync压力大
- fork时间长,fork的时候,写时复制造成持久化时间过长
3 Redis主从复制
主要用来实现 redis 数据的可靠性,防止主 redis 所在磁盘损坏,造成数据永久丢失
主从之间采用异步复制的方式
使用replicaof指定从数据库
3.1 全量数据同步
3.2 增量数据同步
replication buffer:记录发送RDB的时候的命令
repl_backlog_buffer:主库会记录自己写到的位置,从库则会记录自己已经读到的位置。
4 哨兵模式
上述的主从复制,仅保证了数据的安全性,但若主库挂掉了,从库无法提供服务。
因此,需要从从库中选择一个数据库,作为主数据库。
哨兵会在主数据库挂掉后,按照一定规则,选择一个从数据库作为主库,并通知其他从库和client。
5 Redis cluster集群
Redis cluster 将所有数据划分为 16384(2^14)个槽位,每个 redis 节点负责其中一部分槽位。
cluster 集群是一种去中心化的集群方式。
当 redis cluster 的客户端来连接集群时,会得到一份集群的槽位配置信息。这样当客户端要查找某个 key 时,可以直接定位到目标节点。
4.0 Clustering In Redis
参考资源:
《Redis核心技术与实战》
https://xxetb.xetslk.com/s/1QH6AQ