《Redis设计与实现》读书笔记-复制

news2024/11/25 8:20:12

1.概述

2.复制命令

3.部分重同步过程

4.部分重同步实现

4.1复制偏移量

4.2复制积压缓冲区

4.3服务器运行ID

5.总结

1.概述

在redis 通过向从服务器发送命令：SLAVE OF，让从服务器复制主服务器，成为复制。

复制的目的让从服务器与主服务器数据保持一致。

2.复制命令

为了解决旧版复制功能在处理断线重复制情况时的低效问题，Redis 从2.8版本开始，
使用 PSYNC命令代替 SYNC命令来执行复制时的同步操作。
PSYNC 命令具有【完整重同步（full resynchronization）】和【部分重同步（partial resynchronization）】
两种模式：
口其中完整重同步用于处理初次复制情况：完整重同步的执行步骤和SYNC命令的执
行步骤基本一样，它们都是通过让主服务器创建并发送 RDB 文件，以及向从服务器
发送保存在缓冲区里面的写命令来进行同步。
口而部分重同步则用于处理断线后重复制情况：当从服务器在断线后重新连接主服务
器时，如果条件允许，主服务器可以将主从服务器连接断开期间执行的写命令发送
给从服务器，从服务器只要接收并执行这些写命令，就可以将数据库更新至主服务
器当前所处的状态。
PSYNC命令的部分重同步模式解决了旧版复制功能在处理断线后重复制时出现的低效
情况，表15-3展示了如何使用PSYNC命令高效地处理上一节展示的断线后复制情况。

3.部分重同步过程

4.部分重同步实现

部分重同步功能由以下三个部分构成：
口主服务器的复制偏移量（replication offset）和从服务器的复制偏移量。
口主服务器的复制积压缓冲区（replication backlog）。
口服务器的运行 ID （run ID）。

4.1复制偏移量

执行复制的双方——主服务器和从服务器会分别维护一个复制偏移量：

口主服务器每次向从服务器传播N个字节的数据时，就将自己的复制偏移量的值加上N。
口从服务器每次收到主服务器传播来的N个字节的数据时，就将自己的复制偏移量值加上N。

判断主从数据是否一致：主从偏移量相等则一致，否则不一致。

考虑以下这个例子：

假设如图15-7所示，主从服务器当前的复制偏移量都为10086，但是就在主服务器要向从服务器传播长度为33字节的数据之前，从服多器A 断线了，那么主服务器传播的数据将只有从服务器 B和从服务器C能收到，在这之后，主服务器、从服务器B 和从服务器C三个服务器的复制偏移量都将更新为10119，而断线的从服务器A的复制偏移量仍然停留在10086，这说明从服务器A与主服务器并不一致，如图15-9所示。

假设从服务器A 在断线之后就立即重新连接主服务器，并且成功，那么接下来，从服
务器将向主服务器发送 PSYNC 命令，报告从服务器A当前的复制偏移量为10086，那么
这时，主服务器应该对从服务器执行完整重同步还是部分重同步呢？如果执行部分重同步的
话，主服务器又如何补偿从服务器A 在断线期间丢失的那部分数据呢？以上问题的答案都
和复制积压缓冲区出场了。

4.2复制积压缓冲区

复制积压缓冲区是由主服务器维护的一个固定长度（fixed-size）先进先出（FIFO）队
列，默认大小为1MB，可调节。

主服务器在发送写命令给从服务器时，同时会写缓冲区

当从服务器重新连上主服务器时，从服务器会通过PSYNC命令将自己的复制偏移量
offset 发送给主服务器，主服务器会根据这个复制偏移量来决定对从服务器执行何种同步
操作：
口如果 offset 偏移量之后的数据（也即是偏移量 offset+1开始的数据）仍然存在
于复制积压缓冲区里面，那么主服务器将对从服务器执行部分重同步操作。
口相反，如果 offset偏移量之后的数据已经不存在于复制积压缓冲区，那么主服务
器将对从服务器执行完整重同步操作。
回到之前图 15-9展示的断线后重连接例子：
口当从服务器A 断线之后，它立即重新连接主服务器，并向主服务器发送 PSYNC命
令，报告自己的复制偏移量为10086。
口主服务器收到从服务器发来的 PSYNC命令以及偏移量10086之后，主服务器将检
查偏移量10086之后的数据是否存在于复制积压缓冲区里面，结果发现这些数据仍
然存在，于是主服务器向从服务器发送 +CONTINUE 回复，表示数据同步将以部分
重同步模式来进行。

口接着主服务器会将复制积压缓冲区10086偏移量之后的所有数据（偏移量为 10087
至10119）都发送给从服务器。
口从服务器只要接收这33字节的缺失数据，就可以回到与主服务器一致的状态，如
图 15-11所示。

4.3服务器运行ID

除了复制偏移量和复制积压缓冲区之外，实现部分重同步还需要用到服务器运行ID
（run ID）

口每个 Redis 服务器，不论主服务器还是从服务，都会有自己的运行ID。
口运行ID 在服务器启动时自动生成，由40个随机的十六进制字符组成，例如53b9b
28df8042fdc9ab5e3fcbbbabffld5dce2b3。
当从服务器对主服务器进行初次复制时，主服务器会将自己的运行ID 传送给从服务器，
而从服务器则会将这个运行 ID 保存起来。
当从服务器断线并重新连上一个主服务器时，从服务器将向当前连接的主服务器发送之
前保存的运行 ID：
口如果从服务器保存的运行ID 和当前连接的主服务器的运行ID 相同，那么说明从服
务器断线之前复制的就是当前连接的这个主服务器，主服务器可以继续尝试执行部
分重同步操作。
口相反地，如果从服务器保存的运行 ID 和当前连接的主服务器的运行ID 并不相同，
那么说明从服务器断线之前复制的主服务器并不是当前连接的这个主服务器，主服
务器将对从服务器执行完整重同步操作。
举个例子，假设从服务器原本正在复制一个运行 ID 为 53b9b28df8042fdc9ab5e3f
cbbbabff1d5dce2b3的主服务器，那么在网络断开，从服务器重新连接上主服务器之后，
从服务器将向主服务器发送这个运行 TD，主服务器根据自己的运行 ID 是否53b9b28df80
42fdc9ab5e3fcbbbabff1d5dce2b3来判断是执行部分重同步还是执行完整重同步。