单机zookeeper RequestProcessor 处理链路
将请求放入LinkedBlockingQueue队列中,通过一个队列中。启动一个线程去消费这个队列,避免了阻塞。
zookeeper的处理是实现RequestProcessor接口的processRequest(Request request) 方法。
PrepRequestProcessor
PrepRequestProcessor 没有对读写操作做特殊处理
SyncRequestProcessor
-
写入事物日志
-
判断是否进行数据快照,是则进行。数据快照落盘之前都是在内存之中
公式:
(logCount > (snapCount / 2 + randRoll)) || (snapSizeInBytes > 0 && logSize > (snapSizeInBytes / 2 + randSize));
logCount : 当前日志数量
logSize: 当前日志大小
snapCount :快照数量,默认10w
randRoll: 快照生成的随机时间
snapSizeInBytes:内存快照大小,默认4G
randSize:快照生成的随机大小 -
刷新事物日志的输出流(bufferOutputStream),默认的maxBatchSize是1000
每个请求(读/写)都会经过,SyncRequestProcessor 。当是读请求 (hdr = null)时,这时是不会写入事物日志的
SyncRequestProcessor - FileTxnLog.append 添加事物日志
就是将数据按照设计好的二进制格式进行序列化,然后写入事物日志文件中
Util.marshallTxnEntry(hdr, txn, digest); 进行序列化
SyncRequestProcessor - Flush 刷新事物日志的输出流
刷新事物日志的bufferOutputStream流,将数据真正的落盘。
zkDataBase.commit就是刷新bufferOutputStream数据流
ZkDataBase.commit
FinalRequestProcessor 处理真正业务请求的processor,通常作为请求链路最后一层。
- 写请求进行数据存储
- 关闭会话操作,进行会话关闭
- 读请求处理
zookeeperServer.processTxn() 处理事物请求的核心
FinalRequestProcessor.processRequest() - 获取子节点查询示例
- 请求数据序列化
- 从内存数据库DataBase中取出当前节点
- 校验节点的ACL权限
- 获取该节点下的子节点的path列表
- 将数据返回给客户端