Redis的持久化主要有两大机制 即 AOF(Append Only File)日志, RDB(Redis DataBase)快照。
AOF
日志是如何实现的?
AOF是写后日志,就是Redis限制性命令,数据写入内存,然后才记录日志。AOF里记录的是Redis收到的每一条命令,这些命令是以文本形式保存的。
以 set hestkey testvalue 为例 其中*3代表的是有三个部分,每个部分都是由$+数字开头,后面跟着具体的命令,键或者值,这里 数据标识这部分中的命令,键或者值一共有多少个字节,例如$3 set 表示这部分有3个自己,也就是‘set’命令。
写后日志的优势和风险
为了避免额外的检查开销,Redis在向AOF里面记录日志的时候,并不会先去对这个命令进行语法检查,如果先记录日志再执行命令的话,日志中就存在错误的命令,恢复数据的时候就会出现错误,而写后日志就是让系统先执行命令,只有命令执行成功才会被记录到日志中,否则,系统会直接向客户端报错,
所以Redis使用写后日志一大好处就是可以避免出现记录错误命令的情况。
另外一个好处就是 不会阻塞当前的写操作
但是也会有两个潜在的风险:
1.如果刚执行完一个命令,还没有来得及记录日志就当即了,那么这个命令和相应的数据就会有丢失的风险。如果用作缓存没有关系,如果Redis直接用作数据库的话,因为灭有计入日志,所以就没法用日志进行恢复了。
2.AOF虽然避免了对当前命令的阻塞,但可能会给下一个操作带来阻塞风险
AOF日志也是在主线程中执行(协会策略为always时),如果在把之日文件写入磁盘时,磁盘写压力大,就会导致写盘很慢,进而导致后续的操作也无法进行了。
日志的写回策略
AOF机制一共有三种写回策略,也就是AOF配置项appendfsync的三个可选值
1. Always同步写回 每个写命令执行完 立马听不得将日志写回磁盘
2.Everysec 每秒写回 每个写命令完,只是先把日志写到AOF文件得内存缓冲区,每隔一秒把缓冲区得内容写入磁盘
3.No 操作系统空值的写回 每个写命令执行完,只是先把之日写道AOF文件得内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘。
日志得重写
重写得作用:
AOF是以文件得形式在记录接收到得所有写命令。随着接受得写命令越来越多,AOF文件会越来越大,也就意味着小心AOF文件过大导致得性能问题,主要在于一下三个方面:
1、文件系统本身对文件大小有限制
2.如果文件过大,之后追加记录效率比较低
3.如果发生当即,AOF记录中的命令要一个个被重新执行,用于故障恢复,如果日志文件过大,整个恢复过程会非常还满,会影响到redis得正常使用。
AOF重写机制就是在重写得时候,redis根据数据库得现状创建一个新的AOF文件,也就是说,读取数据库中得所有键值对,然后对每一个键值对用一条命令记录他的写入,重写机制具有多变一得功能,旧日志我呢见得多条命令再重写后得新日志中变成了一条命令
重写得过程
aof日志由主线程写回不同,重写过程是由一个后台子进程bgrewriteaof来完成的。这也是为了避免阻塞主线程,导致数据库性能下降
重写的过程总结为 一个拷贝,两处日志。
一个拷贝 指的 是 每次执行重写时, 主线程fork出后台的bgwrigtaof子进程,此时,fork会把主线程的内存拷贝一份给bgrewrigteaof 子进程,这里面旧包含了数据库的最新数据,然后 bgrewriteaof子进程就可以在不影响主线程的情况下,逐一把拷贝的数据携程操作,计入重写日志。
第一处日志,指的是因为主线程未阻塞,仍然可以处理新来的操作,Redis会把这个操作写道他的缓冲区,这样以来,即便宕机了,这个AOF日志的操作应然是齐全,
第二处日志,指的就是新的AOF重写日志,这个操作也会被写道重写日志得缓冲区,这样重写日志也不会丢失最新得操作,等到拷贝数据得所有操作记录重写完成后,重写日志记录得这些最新操作也会写入新的aof文件,以保证数据库得最新状态,此时我们就可以用新的AOF文件替换旧文件了。
总结来说,每次 AOF 重写时,Redis 会先执行一个内存拷贝,用于重写;然后,使用两个日志保证在重写过程中,新写入的数据不会丢失。而且,「因为 Redis 采用子进程进行日志重写,所以,这个过程并不会阻塞主线程」。
正因为记录的是操作命令,而不是实际的数据,所以,用 AOF 方法进行故障恢复的时候,需要逐一把操作日志都执行一遍。如果操作日志非常多,Redis 就会恢复得很缓慢,影响到正常使用。这当然不是理想的结果。那么,还有没有既可以保证可靠性,还能在宕机时实现快速恢复的其他方法呢?
RDB
对 Redis 来说,它实现类似照片记录效果的方式,把某一时刻的状态以文件的形式写到磁盘上,也就是快照(RDB 文件)。这样一来,即使宕机,快照文件也不会丢失,数据的可靠性也就得到了保证。
和 AOF 相比,RDB 记录的是某一时刻的数据,并不是操作,所以,在做数据恢复时,我们可以直接把 RDB 文件读入内存,很快地完成恢复。
快照的原理
Redis 提供了两个命令来生成 RDB 文件,分别是 save 和 bgsave。
-
「save」:在主线程中执行,会导致阻塞;
-
「bgsave」:创建一个子进程,专门用于写入 RDB 文件,避免了主线程的阻塞,这也是 Redis RDB 文件生成的默认配置。
我们可以通过 bgsave 命令来执行全量快照,这既提供了数据的可靠性保证,也避免了对 Redis 的性能影响。
在执行快照的同时,Redis 就会借助操作系统提供的写时复制技术(Copy-On-Write, COW
),正常处理写操作。bgsave 子进程是由主线程 fork 生成的,可以共享主线程的所有内存数据。bgsave 子进程运行后,开始读取主线程的内存数据,并把它们写入 RDB 文件。
如果主线程对这些数据也都是读操作(例如图中的键值对 A),那么,主线程和 bgsave 子进程相互不影响。但是,如果主线程要修改一块数据(例如图中的键值对 C),那么,这块数据就会被复制一份,生成该数据的副本(键值对 C’)。然后,主线程在这个数据副本上进行修改。同时,bgsave 子进程可以继续把原来的数据(键值对 C)写入 RDB 文件。
这样既保证了快照的完整性,也允许主线程同时对数据进行修改,避免了对正常业务的影响。
混合 AOF/RDB
虽然 bgsave 执行时不阻塞主线程,但是,如果频繁地执行全量快照,也会带来两方面的开销。
一方面,频繁将全量数据写入磁盘,会给磁盘带来很大压力,多个快照竞争有限的磁盘带宽,前一个快照还没有做完,后一个又开始做了,容易造成恶性循环(所以,在 Redis 中如果有一个 bgsave 在运行,就不会再启动第二个 bgsave 子进程)。
另一方面,bgsave 子进程需要通过 fork 操作从主线程创建出来。虽然,子进程在创建后不会再阻塞主线程,但是,「fork 这个创建过程本身会阻塞主线程」,而且主线程的内存越大,阻塞时间越长。
Redis 4.0 中提出了一个混合使用 AOF 日志和内存快照的方法。简单来说,「内存快照以一定的频率执行,在两次快照之间,使用 AOF 日志记录这期间的所有命令操作」。这样一来,快照不用很频繁地执行,这就避免了频繁 fork 对主线程的影响。而且,AOF 日志也只用记录两次快照间的操作,也就是说,不需要记录所有操作了,因此,就不会出现文件过大的情况了,也可以避免重写开销。