上面已经阅读并观察了节点确定自己的身份后会做些什么,大致就是比对双方信息然后完成同步。
本篇阅读,
FOLLOWER收到了需要LEADER执行的命令后,怎么同步给LEADER的,并且LEADER会执行什么操作。
源码启动zkCli用于测试
将原本的代码拷贝一份用IDEA打开后,找到org.apache.zookeeper.ZooKeeperMain#main,然后修改org.apache.zookeeper.ZooKeeperMain#run中监听控制台输入命令的代码,修改成本次需要执行的ls /命令,或者create /test命令,然后启动ZooKeeperMain
后续的每次测试的流程是每次都将ZK1 ZK2 ZK3的data目录下除了myid之外的所有文件清空后(意味着从零启动集群)依次启动他们,然后修改ZKCLI的命令后启动。
总体上是ZK1的AcceptThread接受2181的连接,SelectorThread读取ZKCLI连接传过来的消息。(这里需要写个NIO的DEMO了解下NIO的用法)
1-zkCli.cmd连接上ZK1
1-1
zkCli连接上ZK1,ZK1的AcceptThread接住连接,ZKCLI然后向ZK1发送第一个request(Session establishment request),ZK1的SelectorThread接住request,
1-2
ZK1的FollowerRequestProcessor会让自己处理命令,并且将createSession request发送给LEADER,
org.apache.zookeeper.server.quorum.FollowerRequestProcessor#run
zks.getFollower().request(request);//需要转发给LEADER的要转发给LEADER
1-3
LEADER收到createSession request (org.apache.zookeeper.server.quorum.Learner#request case Leader.REQUEST)后,
LADER会将该请求做成个proposal发给各个FOLLOWER,并等待他们的ACK,比如发给ZK3如下
1-4
ZK3收到proposal后,写入日志后给LEADER返回ACK消息
1-5
LEADER收到来自FOLLOWER的ACK消息后,判断是否超过半数的已经ACK,如果已经超过半数的FOLLOWER进行了ACK,就对所有FOLLOWER发出COMMIT命令
1-6
FOLLOWER收到来自LEADER的COMMIT命令后,进行提交,不需要再对LEADER进行ACK回复。
整个流程的日志体现:
ZKCLI连接上ZK1,创建连接并通知给LEADER(ZK2),LEADER通知给ZK3。整个流程在日志中体现如下:
ZK1 9279085697300接收到客户端请求需要转发给leader: sessionid:0x100008d4de80000 type:createSession cxid:0x0 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a
ZK2 9279087048900收到了客户端转发的请求Processing request:: sessionid:0x100008d4de80000 type:createSession cxid:0x0 zxid:0x200000001
ZK2 将客户端请求封装成PROPOSAL Proposing:: sessionid:0x100008d4de80000 type:createSession cxid:0x0 zxid:0x200000001 txntype:-10 reqpath:n/a
ZK2 9279087198100往FOLLOWER1发送消息。消息类型是Leader.2
ZK2 9279087239700往FOLLOWER3发送消息。消息类型是Leader.2
ZK1 9279087377600收到了来自LEADER的消息,消息类型是2
ZK1 9279087474600收到了来自LEADER的PROPOSAL消息72058200935366656,0,8589934593,1702784374368,-10
ZK1 9279089191900 给LEADER返回ACK消息,该ACK针对的ZXID是 8589934593
ZK3 9279087412300收到了来自LEADER的消息,消息类型是2
ZK3 9279087569300收到了来自LEADER的PROPOSAL消息72058200935366656,0,8589934593,1702784374368,-10
ZK3 9279089655500 给LEADER返回ACK消息,该ACK针对的ZXID是 8589934593
ZK2 9279088663200收到了2对于Proposal的ACK2, 8589934593, sessionid:0x100008d4de80000 type:createSession cxid:0x0
ZK2 9279088831800关于该Proposal的ACK数量还不够
ZK2 9279089581300收到了1对于Proposal的ACK2, 8589934593, sessionid:0x100008d4de80000 type:createSession cxid:0x0 zxid:0x200000001
ZK2 9279089865700关于该Proposal的ACK数量够了,开始要求commit,该Proposal的ZXID是8589934593
ZK2 9279089933300告知FOLLOWER们,可以进行COMMIT了 8589934593
ZK2 9279089997000往FOLLOWER3发送消息。消息类型是Leader.4
ZK2 9279090025600往FOLLOWER1发送消息。消息类型是Leader.4
ZK2 9279090080900收到了3对于Proposal的ACK,但是之前已经收到了超过半数的ACK了
ZK1 9279090224600收到了来自LEADER的消息,消息类型是4
ZK3 9279090135900收到了来自LEADER的消息,消息类型是4
2-zkCli.cmd连接上ZK1后执行ls /命令
2-zkCli.cmd连接上ZK1后执行create /test命令
这个是1中createSession request一样的步骤,只是生成的proposal的内容变了,不是createSession而是create
总结:
如上,已经阅读了客户端连接上ZK集群中某一个节点,并执行命令,该命令要么需要发给LEADER同步给其他节点的命令,要么只需要当前节点执行。其中核心就是需要同步的命令,而这种命令的执行就是ZAB的主要内容:
客户端将请求(如果creat /test)发给某个节点,
该节点发给LEADER,
LEADER创建个PROPOSAL发给所有FOLLOWER,
FOLLOWER给LEADER返回ACK,
LEADER收到过半数的ACK后,向所有FOLLOWER发送COMMIT命令,
FOLLOWER进行COMMIT,不需要再给LEADER汇报。