【Redis】内存数据库Redis进阶（Redis主从集群）

- 分布式缓存 Redis 四大问题
- 搭建Redis主从集群
- 主从数据同步原理
- - 全量同步
  - - master 如何得知 salve 是第一次来连接（Replication Id与offset）
  - 增量同步
  - - master怎么知道slave与自己的数据差异在哪里（repl_backlog原理）
  - 主从同步优化
  - 全量同步和增量同步总结

分布式缓存 Redis 四大问题

基于 Redis 集群解决单机 Redis 存在的四大问题：
在这里插入图片描述

搭建Redis主从集群

搭建的主从集群结构图：包含三个节点，一个主节点，两个从节点
在这里插入图片描述

IP	PORT	角色
192.168.150.101	7001	master
192.168.150.101	7002	slave
192.168.150.101	7003	slave

创建目录

# 进入/tmp目录
cd /tmp
# 创建三个文件夹，名字分别叫7001、7002、7003
mkdir 7001 7002 7003
ll
# 7001、7002、7003、redis-6.2.4

恢复原始配置

修改redis-6.2.4/redis.conf文件，将其中的持久化模式改为默认的 RDB 模式，AOF 保持关闭状态。

# 开启RDB
# save ""
save 3600 1
save 300 100
save 60 10000

# 关闭AOF
appendonly no

拷贝配置文件到每个实例目录，redis-6.2.4/redis.conf文件拷贝到三个目录中：

# 方式一：逐个拷贝
cp redis-6.2.4/redis.conf 7001
cp redis-6.2.4/redis.conf 7002
cp redis-6.2.4/redis.conf 7003

# 方式二：管道组合命令，一键拷贝
echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf

修改每个实例的端口、工作目录。修改每个文件夹内的配置文件，将端口分别修改为7001、7002、7003，将 RDB 文件保存位置都修改为自己所在目录：

sed -i -e 's/6379/7001/g' -e 's/dir .\//dir \/tmp\/7001\//g' 7001/redis.conf
sed -i -e 's/6379/7002/g' -e 's/dir .\//dir \/tmp\/7002\//g' 7002/redis.conf
sed -i -e 's/6379/7003/g' -e 's/dir .\//dir \/tmp\/7003\//g' 7003/redis.conf

修改每个实例的声明 IP。虚拟机本身有多个 IP，为了避免将来混乱，需要在 redis.conf 文件中指定每一个实例的绑定 IP 信息，格式如下：

# redis实例的声明 IP
replica-announce-ip 192.168.150.101

每个目录都要改，一键完成修改：

# 逐一执行
sed -i '1a replica-announce-ip 192.168.150.101' 7001/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7002/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7003/redis.conf

# 或者一键修改
printf '%s\n' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 192.168.150.101' {}/redis.conf

为了方便查看日志，打开3个 SSH 窗口，分别启动3个 Redis 实例，启动命令：

# 第1个
redis-server 7001/redis.conf
# 第2个
redis-server 7002/redis.conf
# 第3个
redis-server 7003/redis.conf

一键停止命令：

printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown

现在三个实例还没有任何关系，要配置主从可以使用replicaof 或者slaveof（5.0以前）命令。

有临时和永久两种模式：

修改配置文件（永久生效）
- 在 redis.conf 中添加一行配置：slaveof <masterip> <masterport>
使用 redis-cli 客户端连接到 Redis 服务，执行 slaveof 命令（重启后失效）：
```
slaveof <masterip> <masterport>
```

注：在5.0以后新增命令 replicaof，与 salveof 效果一致。

使用方式二，使用 redis-cli 客户端连接到 Redis 服务，执行 slaveof 命令（重启后失效）
通过redis-cli命令连接7002，执行下面命令：

# 连接 7002
redis-cli -p 7002
# 执行slaveof
slaveof 192.168.150.101 7001

通过redis-cli命令连接7003，执行下面命令：

# 连接 7003
redis-cli -p 7003
# 执行slaveof
slaveof 192.168.150.101 7001

然后连接 7001节点，查看集群状态：

# 连接 7001
redis-cli -p 7001
# 查看状态
info replication

在这里插入图片描述
执行下列操作以测试集群：

利用 redis-cli 连接7001，执行set num 123
利用 redis-cli 连接7002，执行get num，再执行set num 666
利用 redis-cli 连接7003，执行get num，再执行set num 888

可以发现，只有在 7001 这个 master 节点上可以执行写操作，7002 和 7003 这两个 slave 节点只能执行读操作。

主从数据同步原理

全量同步

主从第一次建立连接时，会执行全量同步，将 master 节点的所有数据都拷贝给 slave 节点，流程如下图。
在这里插入图片描述

master 如何得知 salve 是第一次来连接（Replication Id与offset）

有几个概念，可以作为判断依据：

Replication Id：简称 replid，是数据集的标记，id 一致则说明是同一数据集。每一个 master 都有唯一的 replid，slave 则会继承 master 节点的 replid。
offset：偏移量，随着记录在 repl_baklog 中的数据增多而逐渐增大。slave 完成同步时也会记录当前同步的 offset。如果 slave 的 offset 小于 master 的 offset，说明 slave 数据落后于 master，需要更新。

slave 做数据同步，必须向 master 声明自己的 replication id 和 offset，master 才可以判断到底需要同步哪些数据。
slave原本也是一个 master，有自己的 replid 和 offset，当第一次变成 slave，与 master 建立连接时，发送的 replid 和 offset 是自己的 replid 和 offset。master 判断发现 slave 发送来的 replid 与自己的不一致，说明这是一个全新的 slave，就知道要做全量同步了。
master 会将自己的 replid 和 offset 都发送给这个 slave，slave 保存这些信息。以后 slave 的 replid 就与 master 一致了。因此，master判断一个节点是否是第一次同步的依据，就是看replid 是否一致。

在这里插入图片描述
完整流程描述：

slave 节点请求增量同步。
master 节点判断 replid，发现不一致，拒绝增量同步。
master 将完整内存数据生成 RDB，发送 RDB 到 slave。
slave 清空本地数据，加载 master 的 RDB。
master 将 RDB 期间的命令记录在 repl_baklog，并持续将 log 中的命令发送给 slave。
slave 执行接收到的命令，保持与 master 之间的同步。

增量同步

全量同步需要先做 RDB，然后将 RDB 文件通过网络传输个 slave，成本太高了。因此除了第一次做全量同步，其它大多数时候 slave 与 master 都是做增量同步，就是只更新 slave 与 master 存在差异的部分数据。
在这里插入图片描述

master怎么知道slave与自己的数据差异在哪里（repl_backlog原理）

全量同步时的 repl_baklog 文件。这个文件是一个固定大小的数组，只不过数组是环形，也就是说角标到达数组末尾后，会再次从0开始读写，这样数组头部的数据就会被覆盖。
repl_baklog 中会记录 Redis 处理过的命令日志及 offset，包括 master 当前的 offset，和 slave 已经拷贝到的 offset。
slave 与 master 的 offset 之间的差异，就是 salve 需要增量拷贝的数据。随着不断有数据写入，master 的 offset 逐渐变大，slave 也不断的拷贝，追赶 master 的 offset，直到数组被填满。
在这里插入图片描述
此时，如果有新的数据写入，就会覆盖数组中的旧数据。不过，旧的数据只要是绿色的，说明是已经被同步到 slave 的数据，即便被覆盖了也没什么影响。因为未同步的仅仅是红色部分。
但是，如果 slave 出现网络阻塞，导致 master 的 offset 远远超过了 slave 的 offset，如果master继续写入新数据，其 offset 就会覆盖旧的数据，直到将 slave 现在的 offset 也覆盖。棕色框中的红色部分，就是尚未同步，但是却已经被覆盖的数据。此时如果 slave 恢复，需要同步，却发现自己的 offset 都没有了，无法完成增量同步了。只能做全量同步。
在这里插入图片描述