redis的备份原理

1 Redis持久化之RDB

1RDB是什么

在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里

2备份是如何执行的

Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。

3Fork

Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据（变量、环境变量、程序计数器等）数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程

在Linux程序中，fork()会产生一个和父进程完全相同的子进程，但子进程在此后多会exec系统调用，出于效率考虑，Linux中引入了“写时复制技术”

4 RDB持久化流程

5 dump.rdb文件

在redis.conf中配置文件名称，默认为dump.rdb

文件在哪里启动这个文件就在哪里

6配置位置

rdb文件的保存路径，也可以修改。默认为Redis启动时命令行所在的目录下

redis.conf：

dir "/myredis/"

7 如何触发RDB快照；保持策略

1配置文件中默认的快照配置时间间隔

2命令save bgsave

save ：save时只管保存，其它不管，全部阻塞。手动保存。不建议。

bgsave：Redis会在后台异步进行快照操作，快照同时还可以响应客户端请求。

可以通过lastsave 命令获取最后一次成功执行快照的时间

3 SNAPSHOTTING快照

4 Save

格式：save 秒写操作次数

RDB是整个内存的压缩过的Snapshot，RDB的数据结构，可以配置复合的快照触发条件，

默认是1分钟内改了1万次，或5分钟内改了10次，或15分钟内改了1次。

禁用

不设置save指令，或者给save传入空字符串

5 stop-writes-on-bgsave-error

当Redis无法写入磁盘的话(磁盘已满)，直接关掉Redis的写操作。推荐yes.

6 rdbcompression 压缩文件

对于存储到磁盘中的快照，可以设置是否进行压缩存储。如果是的话，redis会进行压缩。

如果你不想消耗CPU来进行压缩的话，可以设置为关闭此功能。推荐yes.

7 rdbchecksum 检查数据的完整性

在存储快照后，还可以让redis来进行数据校验，如果数据已经损坏就不需要再进行持久化的操作，这样做会增加大约10%的性能消耗，如果希望获取到最大的性能提升，可以关闭此功能

推荐yes.

8 rdb的备份

先查询rdb文件的目录

将*.rdb的文件拷贝到别的地方

rdb的恢复

关闭Redis

先把备份的文件拷贝到工作目录下 cp dump2.rdb dump.rdb

启动Redis, 备份数据会直接加载

9优势

适合大规模的数据恢复

对数据完整性和一致性要求不高更适合使用

节省磁盘空间

恢复速度快

10 劣势

Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑

虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。

在备份周期在一定间隔时间做一次备份，所以如果Redis意外down掉的话，就会丢失最后一次快照后的所有修改。

2 Redis持久化之AOF

AOF（Append Only File）

1 AOF是什么

以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录)， 只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

2 AOF持久化流程

（1）客户端的请求写命令会被append追加到AOF缓冲区内；

（2） AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中；

（3）AOF文件大小超过重写策略或手动重写时，会对AOF文件rewrite重写，压缩AOF文件容量；

（4）Redis服务重启时，会重新load加载AOF文件中的写操作达到数据恢复的目的；

3 AOF默认不开启

可以在redis.conf中配置文件名称，默认为 appendonly.aof

AOF文件的保存路径，同RDB的路径一致。

4 AOF和RDB同时开启，redis听谁的？

AOF和RDB同时开启，系统默认取AOF的数据（数据不会存在丢失）

5 AOF启动/修复/恢复

AOF的备份机制和性能虽然和RDB不同, 但是备份和恢复的操作同RDB一样，都是拷贝备份文件，需要恢复时再拷贝到Redis工作目录下，启动系统即加载。

正常恢复

修改默认的appendonly no，改为yes

将有数据的aof文件复制一份保存到对应目录

恢复：重启redis然后重新加载

异常恢复

修改默认的appendonly no，改为yes

如遇到AOF文件损坏，通过

/usr/redis/bin/redis-check-aof --fix 文件的位置/appendonly.aof进行恢复

备份被写坏的AOF文件

恢复：重启redis，然后重新加载

6 AOF同步频率设置

appendfsync always

始终同步，每次Redis的写入都会立刻记入日志；性能较差但数据完整性比较好

appendfsync everysec

每秒同步，每秒记入日志一次，如果宕机，本秒的数据可能丢失。

appendfsync no

redis不主动进行同步，把同步时机交给操作系统。

3主从复制

主从复制（Master-Slave Replication）是一种Redis数据库的高可用性方案，它可以通过将数据从一个主节点复制到多个从节点来实现数据的冗余备份和读请求负载均衡。在主从复制中，主节点负责写入数据，从节点则负责读取数据。当主节点出现故障时，其中一个从节点会被晋升为新的主节点，保证了系统的高可用性。

主从复制的主要优势包括：

数据备份：主从复制可以将主节点的数据复制到多个从节点，从而实现数据的冗余备份。当主节点出现故障时，系统可以快速地切换到某个从节点上，保证数据的可用性。
读请求负载均衡：多个从节点可以同时处理读请求，从而降低主节点的负载压力，提高系统的并发处理能力。
可扩展性：通过添加更多的从节点，可以实现系统的横向扩展。从而提高系统的性能和容量。

主从复制的基本原理是：主节点将自己的数据变更操作记录到内存中的AOF文件或者RDB文件中，并将这些操作同步到所有从节点。从节点在接收到主节点的数据变更操作后，将其应用到自己的数据上，从而保持和主节点的数据同步。在主从复制中，主节点为单点写入，从节点为多点读取，从节点只能根据主节点提供的数据进行同步，不能对数据进行任何修改操作。

一主二仆

主：端口号6380

从：6381 6382

1创建文件

在/usr/myredis文件里创建redis6380.conf、redis6381.conf、redis6382.conf三个文件

文件内容：

# 使用 include 命令将其他配置文件包含进来
# 这里包含了 Redis 安装目录下的 redis.conf 文件
include /usr/pan/redis/redis-5.0.14/redis.conf

# 监听的端口号
port 6380

# 是否以守护进程方式运行
daemonize yes

# 指定持久化数据存储目录
dir /usr/myredis

# RDB 文件名
dbfilename dump6380.rdb

# 进程 ID 文件路径
pidfile /var/run/redis_6379.pid

# 绑定的 IP 地址
bind 0.0.0.0

# 是否启用保护模式，这里设置为不启用
protected-mode no

用find / -name redis .conf找到redis.conf文件位置