Sentinel是Redis高可用性的解决方案:由一个或者多个Sentinel实例组成的哨兵系统监视多个主从服务器,并实现主从服务器的故障转义。
Sentinel本质上只是一个运行在特殊模式下的Redis服务器,使用以下命令可以启动并初始化一个Sentinel实例:
redis-sentinel /path/../sentinel.conf
redis-server /path/../sentinel.conf --sentinel
下面我们看一下,启动一个Sentinel实例后,它做了哪些初始化步骤吧。
1. 启动并初始化Sentinel
1.1 初始化服务器
因为Sentinel也是一台Redis服务器,所以启动后的第一步就是初始化服务器,但是这里的初始化和之前我们普通的Redis服务器不太一样,有些步骤不需要执行,例如载入持久化文件还原数据库状态等等。
1.2 使用Sentinel专用代码
初始化后的第二步就是将一部分Redis服务器的代码替换成为Sentinel的专用代码,比如服务器的默认端口号,比如Sentinel模式下的命令表等等,正是由于两者使用的命令表不同,所以在哨兵模式下,有些普通键值对命令无法正常执行。
1.3 初始化Sentinel的状态
接下来Sentinel服务器会初始化一个SentinelState的结构,这里面用于保存和哨兵模式相关的一些状态属性。源代码如下,先混个眼熟,下面我们讲解各部分过能时会用到里面的属性。
struct sentinelState {
// 当前sentinel的运行id
char myid[CONFIG_RUN_ID_SIZE+1]; /* This sentinel ID. */
// 当前纪元
uint64_t current_epoch; /* Current epoch. */
// 所监视的主服务器字典
dict *masters; /* Dictionary of master sentinelRedisInstances.
Key is the instance name, value is the
sentinelRedisInstance structure pointer. */
int tilt; /* Are we in TILT mode? */
int running_scripts; /* Number of scripts in execution right now. */
mstime_t tilt_start_time; /* When TITL started. */
mstime_t previous_time; /* Last time we ran the time handler. */
list *scripts_queue; /* Queue of user scripts to execute. */
char *announce_ip; /* IP addr that is gossiped to other sentinels if
not NULL. */
int announce_port; /* Port that is gossiped to other sentinels if
non zero. */
unsigned long simfailure_flags; /* Failures simulation. */
int deny_scripts_reconfig; /* Allow SENTINEL SET ... to change script
paths at runtime? */
} sentinel;
1.4 初始化sentinelState的masters属性
这个masters属性是一个指针,指向一个dict结构,记录了所有被Sentinel监视的主服务器的信息,记住,这里是主服务器。其中key = 主服务器的名字,value = 主服务器的实例结构(由sentinelRedisInstance结构实现)
这里提到了**sentinelRedisInstance结构,它可以是主服务器,从服务器或者另一个Sentinel实例。这里仅展示一部分代码片段:
typedef struct sentinelRedisInstance {
// 该实例当前的状态
int flags; /* See SRI_... defines */
// 该实例的名字
char *name; /* Master name from the point of view of this sentinel. */
// 实例运行的id
char *runid; /* Run ID of this instance, or unique ID if is a Sentinel.*/
// 配置纪元,用于实现故障转义
uint64_t config_epoch; /* Configuration epoch. */
// 实例的地址
sentinelAddr *addr; /* Master host. */
...
} sentinelRedisInstance;
这里面有一个addr指针,保存着当前实例的ip地址和端口号,指向的是一个sentinelAddr实例,看代码如下所示:
typedef struct sentinelAddr {
char *ip; /* 实例的ip地址 */
int port; /* 实例的端口号 */
} sentinelAddr;
1.5 创建连向主服务器的网络连接
初始化Sentinel的最后一步是创建连向被监视主服务器的网络连接,之后Sentinel实例会成为此主服务器的客户端,可以向Redis主服务器发送命令消息,并获取相关回复信息。对于每个被监视的Redis主服务器来说,Sentinel会创建两个连向它们的异步网络:
- 一个是命令连接,这个用于发送命令并接受回复消息;
- 一个是订阅链接,用于监听__sentinel__:hello频道。
2.获取主服务器的信息
在初始化一个Sentinel实例并且连接到主服务器之后,Sentinel接下来会以每10s一次的频率,通过命令连接向所有被监视的主服务器发送INTO命令,并通过分析命令回复来获取服务器当前的状态信息。这里会包含两方面的信息,分别是:
- 一方面是关于主服务器本身的信息,比如run_id服务器运行id,role角色信息等;
- 主服务器下所有从服务器的信息,每个从服务器会通过一个“slave”字符串开头的行记录,基于此,Sentinel无需用户提供,就可以知道所有从服务器的信息。
通过以上的回复信息,Sentinel就可以对主服务器实例结构的部分信息进行更新,而且会将从服务器的实例记录到主服务器的 slaves字典中,当然如果之前 slaves已经存在此从服务器的实例,会对这部分实例的内容进行更新,这是存在于sentinelRedisInstance里面的一个属性:
typedef struct sentinelRedisInstance {
...
// 表示主服务器下的所有从服务器信息
dict *slaves; /* Slaves for this master instance. */
...
} sentinelRedisInstance;
综上,Sentinel监视主从服务器的示意图如下:
3. 获取从服务器的信息
通过第二步,Sentinel检测到了从服务器的存在,那么接下来,Sentinel除了会给从服务器创建实例外,还会创建连接到从服务器的命令连接和订阅连接。之后,Sentinel也会以每10s一次的频率通过命令连接向服务器发送 INTO命令。同理根据命令的回复,Sentinel会对从服务器的内容属性进行更新,包括从服务器的运行ID run_id,服务器的role,从服务器的复制偏移量,此从服务器对应主服务器的信息等。
4.发布与订阅消息
4.1 发布消息
默认情况下,Sentinel会以2s一次的频率向所有监视的主服务器和从服务器,通过命令连接发送以下消息:
PUBLISH __sentinel__hello: "sentinel-ip,sentinel-端口号,sentinel-runid,sentinel-纪元,服务器名称,服务器ip,服务器端口号,服务器纪元"
通过这条命令,所有服务器都会在这个__sentinel__:hello频道上执行发布操作。
4.2 订阅消息
Sentinel与主服务器和从服务器建立连接后,会订阅此服务器__sentinel__:hello这个频道。也就是说,Sentinel既通过命令连接要求各服务器向这个频道发送消息,也从这个频道上接收消息,这是为什么呢?
其实,对于监视同一个服务器的Sentinel来说,他们会通过监听这个频道获悉正在监听此服务器的其他Sentinel实例,用于更新自己的sentinels字典。所以在接收到__sentinel__:hello这个频道的消息后,Sentinel还要做下面这几件事情:
- 更新当前sentinel实例监听主服务器的sentinels字典:当一个Sentinel接收到来自其他Sentinel发来的问候消息时,会分析并提取出其他sentinel和master的参数,并检查自身的sentinels字典里面是否包含此sentinel实例,如果不包含就添加,如果包含会比对数据并进行更新。这里祭出源码:
typedef struct sentinelRedisInstance {
...
// 表示监听当前主服务器下的所有sentinel实例(这里不包含当前的sentinel实例)
dict *sentinels; /* Other sentinels monitoring the same master. */
...
} sentinelRedisInstance;
- 创建与其他Sentinel的命令连接:在经历步骤1之后,如果发现了新的Sentinel实例,会创建一个连接到新Sentinel的命令连接,同理新Sentinel在收到新消息后也会创建与当前Sentinel的链接,最终所有的Sentinel之间,会形成一张相互连接的网络。这里需要注意一下,Sentinel实例之间不会创建订阅链接,所以其实是新上线的Sentinel通过与主服务的订阅链接告诉所有Sentinel实例,然后他们之间再互相创建命令连接。
5. 检测主观下线状态
OK,经过这么多复杂的过程后,Sentinel就会以每秒一次的频率向所有与他创建了命令连接的实例(我们来看一下这些实例有哪些,分别是主服务器、从服务器、其他Sentinel实例)发送PING消息,并通过对方的回复确定是否在线。
如果实例在指定的时间内(down-after-milliseconds毫秒)没有回复,Sentinel会将此实例标记为下线的状态(flags = SRI_S_DOWN),此实例相对于此Sentinel就进入了主观下线状态。然而对于监视同一个服务器的多个Sentinel实例而言,由于设置的判断阈值时间不一样,会存在其他Sentinel实例判断此服务器仍然在线。
6. 检测客观下线状态
当Sentinel将一个主服务器判定为主观下线后,为了防止因网络问题误判造成的假死结果,Sentinel会向其他所有的Sentinel实例咨询,当收到足够的主观下线回复后,就会将主服务器标记为客观下线,并进行故障转移,步骤如下:
- 源Sentinel向其他Sentinel实例发送询问命令 sentinel is-master-down-by-addr,命令中包含主服务器的ip、端口号、当前纪元等信息。
- 其他Sentinel实例接收 sentinel is-master-down-by-addr 命令后检查主服务器的状态(是否SRI_S_DOWN),并回复结果(是否主观下线)
- 源Sentinel接收其他Sentinel命令,当反馈的主服务器主观下线数量超过配置的阈值数量(quonum)时,将此服务器的客观下线状态标识(flags = SRI_O_DOWN)打开。
7. 选举领头Sentinel
经过上面客观下线的判定后,监视下线主服务器的所有Sentinel会进行协商选举出一个领头Sentinel,由领头Sentinel对下线的主服务器进行故障转移。这里需要注意的是,检测主观和客观下线的可能不是一个Sentinel,由于时间先后顺序,监视同一个主服务器的Sentinel实例会陆续执行主观下线到客观下线的判定执行。下面我们看下选举领头Sentinel的选取规则:
- 最先判定客观下线的Sentinel实例(称为源1Sentinel)会向监视此服务器的所有Sentinel实例(目标Sentinel)发送 sentinel is-master-down-by-addr ,命令中会包含主服务器的ip、端口号、当前纪元,还有一个自身的runid。
- 目标Sentinel由于是首次收到领头Sentinel的选举,此时会将源1Sentinel设置为自身的leader,并给源1Sentinel回复一条命令,命令中包含源1的runid和当前纪元。后面再有其他Sentinel要求此目标Sentinel选举自身当leader的命令到来,都会被目标Sentinel拒绝,因为在当前纪元只能有一次选举权。
- 源1Sentinel接收到目标Sentinel的命令消息后,判断纪元和runid与自身的值是否相同,如果相同,那么表示目标已经将源1自己设置为领头Sentinel了。在向所有目标Sentinel发送完命后,如果源1收集到半数以上的回复后,就会成为最终的领头Sentinel。
- 下面其余陆续发现了服务器客观下线的源2/3/n…Sentinel,也会执行这些动作,看谁先能获得半数以上的投票就会成为leader。当然也可能在给定的时间内,没有一个Sentinel被选举为领头Sentinel,那就会过一段时间后,再次进行选举,步骤相同。
8. 故障转移
经过第7步,在选举出领头Sentinel后,领头Sentinel会对已下线的主服务器执行故障转移操作,这里面包包含三个步骤:
- 从主服务器的从服务器中选举出一个状态良好、数据完整的从服务器,然后向这个从服务器发送
slave no one
,于是此从服务器转换为主服务器(server2)。这里选举的规则是:- 优先选择优先级最高的从服务器;
- 其次选择偏移量比较高的从服务器;
- 再次会按照运行ID进行排序,选取最小运行ID的从服务器;
- 向已下线主服务器(server1)的其余从服务器发送
slaveof
的命令,实现更换其余从服务器复制的主服务器目标。 - 将已下线的主服务器(server1)设置为从服务器,当已下线的主服务器再次上线时,领头Sentinel就会向他发送
slaveof
的命令,使得server1成为server2的从服务器。
9. 总结
以上就是哨兵机制的实现原理,我整理自《Redis设计与实现这本书》,如果您觉得有问题,就给我留言吧,感谢关注和点赞。