【Redis从0到1进阶】Redis 持久化

笔记内容来自B站博主《遇见狂神说》：Redis视频链接

Redis 是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中的数据库状态也会消失。所有Redis 提供了持久化功能！

一、RDB（Redis DataBase）

什么是RDB

RDB 全称是 Redis DataBase，简而言之，就是在不同的时间点，将 redis 存储的数据生成快照并存储到磁盘等介质上。就是Redis的数据库。
在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是Snapshot快照，它恢复时是将快照文件直接读到内存里。
Redis 会创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那么RDB方式要比AOF方式更加的高效。
RDB的缺点是最后一次持久化后的数据可能丢失。
在这里插入图片描述

测试rdb

1、简单配置一下配置文件

rdb保存的文件默认是dump.rdb 可以在配置文件中配置。
在这里插入图片描述
先修改配置文件，注释掉默认的。设置60s内修改了3次key，就会触发rdb操作。

rdb保存的路径 /var/lib/redis

修改保存！需要重启redis服务，和删除rdb文件！！！

2、测试生成rdb文件

先删除 rdb 文件

这里我们set 三个值

60秒内修改了三次key，触发rdb操作，生成dump.rdb文件

3、触发机制

1、save的规则满足情况下，会自动触发rdb规则
2、执行flush命令，
3、退出redis
备份就自动生成一个dump.rdb

4、恢复rdb文件

1、只需要将rdb文件放在我们redis启动目录就可以，redis启动的时候会自动检查dump.rdb 恢复其中的数据。
2、查询需要存在的位置。

127.0.0.1:6388> config get dir	# 获取配置文件中的 dir 属性
1) "dir"
2) "/var/lib/redis"	# 如果在这个目录下存在dump.rdb文件，启动就会自动恢复其中的数据

5、总结

Redis 的 rdb 默认配置几乎够我们自己使用了，但是我们还是需要学习
rdb的优缺点

优点：
1、适合大规模的数据恢复
2、对数据的完整性要求不高

缺点：
1、需要一定的时间间隔进程操作，如果redis意外宕机了，这个最后一次修改数据就没有的了
2、fork进程的时候，会占用一定的内容空间

图片取自redis中文网：
在这里插入图片描述

二、AOF（Append Onley File）

AOF，英文是 Append Only File，即只允许追加不允许改写的文件。
aof将我们的所有命令都记录下来，相当于历史记录（history），恢复的时候就把这个文件全部在执行一遍

什么是AOF

以日志的形式来记录每个写操作，将Redis执行过的所有指令记录下来（读操作不记录），只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
在这里插入图片描述

1、append 配置文件

aof 默认是关闭的，报错的文件名为 appendonly.aof。 我们只需要把appendonly设置为yes就可以，其他保持默认状态已经够用。
在这里插入图片描述

重启redis就可以看到 appendonly.aof 文件
在这里插入图片描述

2、测试写入数据

首先我们在客户端set几个key

127.0.0.1:6388> flushdb	# 清除当前数据库
OK
127.0.0.1:6388> set name oldfe	# 这里我 set 三个key
OK
127.0.0.1:6388> set age 16
OK
127.0.0.1:6388> set city beijing
OK

然后我们查看一下aof文件

root@VM-20-10-ubuntu:/var/lib/redis# cat appendonly.aof 	# 使用 cat 查看文件内容
*2				# 这表示接下来有 2 个参数。 《select 0》
$6				# 接下来字符串的长度。《select》
SELECT			# 首先是我们的查询，默认查询当前数据库（下标为0的数据库）
$1				# 接下来字符串的长度。《0》
0				# 这是数据库的索引号，这里表示选择第一个数据库。
*3				# 这表示接下来有 3 个参数。《set name oldfe》
$3				
set				# 这是我们刚刚执行的命令。《set name oldfe》
$4
name			
$5
oldfe
*3
$3
set				# 这是我们刚刚执行的命令。《set age 16》
$3
age
$2
16
*3
$3
set				# 这是我们刚刚执行的命令。《set city beijing》
$4
city
$7
beijing

3、破坏aof文件进行测试启动

首先我们随便修改一下，破坏完好的数据。
在这里插入图片描述
然后进行redis重启，发现启动失败！因为aof文件有错位！这时候redis是启动不起来的。

莫慌，redis 提供修复工具 redis-check-aof 。
ubuntu系统上redis默认安装在 /usr/bin 目录下

使用aof工具进行修复

# 修复指定aof文件
redis-check-aof --fix /var/lib/redis/appendonly.aof

在这里插入图片描述
重启 redis。启动成功！

aof修复机制其实就是把错误的数据删除。我们再次查看修复好的aof 文件，发现错误的数据被删除。

4、总结

配置文件中 aof 的其他配置

appendonly no	# 默认是不开启aof模式，默认是使用rdb方式持久化，在大部分情况下，rdb完全够用
appendfilename "appendonly.aof"	 # 持久化的文件名

# appendfsync always	# 每次修改都会sync，消耗性能
appendfsync everysec	# 每秒执行一次，默认状态。可能会丢失这1s的数据
# appendfsync no	# 不执行 sync， 这个时候操作系统自己同步数据，速度最快

# 这个参数指定了在 AOF 文件当前大小超过上一次重写后大小的百分比增长时，触发自动 AOF 重写。
# 例如，如果设置为 100，则表示当 AOF 文件大小增长到上一次重写后大小的两倍时，触发自动 AOF 重写。
# 这有助于控制 AOF 文件的增长速度，以避免文件过大而影响性能。
auto-aof-rewrite-percentage 100

# 这个参数指定了进行自动 AOF 重写的最小 AOF 文件大小阈值。只有当当前 AOF 文件大小超过这个阈值时，
# 才会考虑触发自动 AOF 重写。在你的例子中，设置为 64mb 表示 AOF 文件必须达到 64MB 大小才会考虑进行自动重写。
auto-aof-rewrite-min-size 64mb

aof的优缺点：

优点：
1、每一次修改都同步，文件的完整会更加好
2、每秒同步一次，可能会丢失一秒的数据
3、从不同步、效率最高

缺点：
1、相对于数据文件来说，aof远远大于rdb，修复的速度也比rdb慢
2、aof运行效率也要比rdb慢，所以我们redis默认的配置就是rdb持久化

图片取自Redis中文网：
在这里插入图片描述

5、扩展。

1、RDB 持久化方式能够在指定的时间间隔内对你的数据进行快照存储
2、AOF 持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来恢复原始的数据，AOF命令以Redis 协议追加保存每次写的操作到文件末尾，Redis还能对AOF文件进行后台重写，是的 AOF文件的体积不至于过大。
3、只做缓存，如果你只希望你的数据在服务器运行的时候存在，你也可以不使用任何持久化
4、同时开启两种持久化方式

在这种情况下，当Redis 重启的时候会优先载入AOF文件来恢复原始的数据，因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。
RDB的数据不实时，同时使用两者时服务器重启也只会找AOF文件，那要不要只使用AOF呢？作者建议不要，因为RDB更适合用户备份数据库（AOF在不断变化不好备份），快速重启，而且不会有AOF可能潜在的Bug，留着作为一个万一的手段。

5、性能建议

因为RDB文件只用作后备用途，建议只在Slave上持久化RDB文件，而且只要15分钟备份一次就够了，只保留save 900 1 这条规则。
如果Enable AOF，好处是在最恶劣情况下也只会丢失不超过两秒的数据，启动脚本较简单只load自己的AOF文件就可以了，代价一是带来了持续的IO，二是AOF rewrite的最后将 rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可，应该尽量减少AOF rewrite 的频率，AOF重写的基础大小默认值64M太小了，可以设到5G以上，默认超过原大小100% 大小重写可以改到适当的数值。
如果不 Enable AOF，仅靠Master-Slave Repllcation（复制）实现高可用性也可以，能省掉一大笔IO，也减少了rewrite时带来的系统波动，代价是如果Master/Slave同时断电，会丢失十几分钟的数据，启动脚本也要比较两个Master/Slave中的RDB文件，载入较新的那个，微博就是这种架构。