Zookeeper 源码分析流程

news2025/1/13 3:14:02

文章目录

  • 前言
  • Zookeeper启动
  • 加载磁盘数据
  • 与客户端的通信交互
  • Leader选举准备
  • 节点状态处理
  • 总结

前言

Zookeeper 作为分布式协调服务为分布式系统提供了一些基础服务,如:命名服务、配置管理、同步等,使得开发者可以更加轻松地处理分布式问题。

在分布式系统中,协调是一项关键任务。例如,如何让一组独立的进程或机器知道它们应该执行哪些任务,如何将它们的状态同步到其他进程或机器上,以及如何处理故障或异常等。这些问题都是 Zookeeper 所解决的问题。

本文将带你深入了解 Zookeeper 的内部实现,从其各个组件和接口开始,分析其工作原理和设计思想。希望你在阅读这个源码分析的过程中,能够深入理解 Zookeeper 的工作原理和设计思想,从而更好地利用它来解决你的分布式问题。

Zookeeper启动

无论看什么代码,我们都应该从程序的入口点入手,这样可以更好地理解整体的结构和运行流程。

在这里插入图片描述

通过 zkServer.sh 脚本可以看到启动类为QuorumPeerMain

在这里插入图片描述

可以看到Zookeeper启动是通过main方法开始的,最终调用了runFromConfig方法设置并启动一个ZooKeeper的集群节点。

在这里插入图片描述

上面的代码设置了QuorumPeer的事务日志和快照目录路径、选举算法选择、指定服务器ID、定义时钟周期和数据保存实例等配置。此外,还创建了服务器和客户端连接的工厂类(NIO/Netty)。最后,调用start方法启动服务。

在这里插入图片描述

start中,主要完成了以下四个任务:

  1. 将磁盘中的数据加载到内存中,为后续的处理和响应提供必要的数据储备。
  2. 建立Socket来处理客户端的请求,实现与客户端的通信交互。
  3. 进行了Leader的选举准备工作,确定选举算法。。
  4. 进行Leader选举并对节点状态进行监听并相应处理,及时发现和处理节点故障或异常状态,确保整个系统的可靠性和稳定性。

加载磁盘数据

ZooKeeper 操作事内存级别的,为了保障可靠性,会将数据以事务日志形式持久化到文件中,所以在启动时先加载数据到内存。

在这里插入图片描述

这段代码的主要目的是从磁盘加载Zookeeper数据库到内存,并检查并处理相关的epoch信息。getDataTree().lastProcessedZxid 这行代码获取在ZooKeeper服务器上已处理的最新的事务的zxidZxidUtils.getEpochFromZxid(lastProcessedZxid)这行代码从zxid中获取epochreadLongFromFile(CURRENT_EPOCH_FILENAME): 这行代码从文件中读取当前的epoch信息。如果zxid所属的epoch小于当前的epoch,会抛出IOException异常。

与客户端的通信交互

cnxnFactory 是建立了Socket 服务端,用来接收客户端的请求并处理,下图中的代码是NIOServerCnxnFactory,还有一个NettyServerCnxnFactory。选用NIO还是Netty可以在配置文件中设置。对NIONetty不熟悉的可以看下网络编程专栏
在这里插入图片描述

最核心的就是对客户端请求的处理,有如下几个处理器:

在这里插入图片描述

  • CommitProcessor是事务提交处理器,它会等待集群内针对Proposal的投票直到该Proposal可以被提交。
  • SyncRequestProcessor负责把事务请求(写request)持久化到本地磁盘。
  • AckRequestProcessor是Leader特有的处理器,其主要职责是在SyncRequestProcessor处理器完成事务日志记录后,向Proposal的投票收集器发送ACK反馈,以通知投票收集器当前服务器已经完成了对该Proposal的事务日志记录。
  • FollowerRequestProcessor这个处理器可能会负责处理来自客户端的读请求和写请求,并将其转发给其他处理器进行处理,比如写请求转发给Leader节点。
  • SendAckRequestProcessor负责向领导者(Leader)节点发送确认收到的消息(ACK),通知领导者节点该请求已经得到处理。

Leader选举准备

startLeaderElection 中主要调用了createElectionAlgorithm 创建了集群间网络连接的管理器 QuorumCnxManager,并选择了一个选举算法,这个通过配置文件配置,默认为FastLeaderElection

在这里插入图片描述

节点状态处理

super.start()执行 QuorumPeer.java 类中的 run()方法,主要是对节点状态的监听及处理。

在这里插入图片描述

当 Zookeeper 启动后,首先都是 Looking 状态,通过选举,让其中一台服务器成为 Leader,其他的服务器成为 Follower。如果代码比较难理解可以看一下ZAB协议。

在这里插入图片描述

总结

通过深入解析源代码,我注意到其简洁性以及对功能实现的巧妙设计。尽管代码所处理的功能相当复杂,但组织结构和代码风格的简洁性使得阅读和理解变得相当容易。特别注意到网络编程的大量应用,对连接安全和优化的细致处理。还有其ZAB协议如何巧妙地解决了分布式一致性问题,这些细腻的设计理念无疑为分布式系统的开发提供了宝贵的借鉴,期待能在未来的工作中将这些思想融入到的代码中。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1016878.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java 基于 SPringBoot 的幼儿园管理系统,附源码、数据库

博主介绍:✌程序员徐师兄、7年大厂程序员经历。全网粉丝30W,Csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 文章目录 一、效果演示二、前言介绍三、主要技术四、系统设计(部分)4.1、主要功能模…

ipv6笔记及总结

1、路由器请求消息Router Solicitation和路由器通告Router Advertisement消息主要用于无状态地址的情况下,有状态的情况使用的是dhcpv6 server分配(例如:IPv6地址以及其他信息(DNS、域名等))。 2、关于IPv…

腾讯mini项目-【指标监控服务重构】2023-08-16

今日已办 v1 验证 StageHandler 在处理消息时是否为单例,【错误尝试】 type StageHandler struct { }func (s StageHandler) Middleware1(h message.HandlerFunc) message.HandlerFunc {return func(msg *message.Message) ([]*message.Message, error) {log.Log…

安全线程的集合

1. CopyOnWriteArrayList package com.kuang.unsafe;import java.util.*; import java.util.concurrent.CopyOnWriteArrayList;//java.util.ConcurrentModificationException 并发修改异常! 因为List集合线程不安全! public class ListTest {public st…

Linux —— 线程

一,线程概念 在一程序内,一个执行路线称为线程thread,即线程是一个进程内部的控制序列; 一切进程至少都有一个执行线程;线程在进程内部运行,本质是在进程地址空间内运行;在Linux系统中&#xf…

许可分析 license分析 第十七章

许可分析是指对软件许可证进行详细的分析和评估,以了解组织内部对软件许可的需求和使用情况。通过许可分析,可以帮助组织更好地管理和优化软件许可证的使用。以下是一些可能的许可分析方法和步骤: 软件许可证的云化管理:将许可证管…

如何删除清理Mac“其他”文件并删除它

当我们通过「关于本机」>「存储空间」查看硬盘的空间占用情况时。系统会将存储空间根据不同文件类别所占的空间大小显示在条状图上,大部分类型看文字都比较好理解,但对于“其他”这一类很多小伙伴都感觉很困惑,会产生一些问题如&#xff1…

Mac FoneLab for Mac:轻松恢复iOS数据,专业工具助力生活

如果你曾经不小心删除了重要的iOS数据,或者因为各种原因丢失了这些数据,那么你一定知道这种痛苦。现在,有一个名为Mac FoneLab的Mac应用程序,它专门设计用于恢复iOS数据,这可能是你的救星。 Mac FoneLab for Mac是一种…

MySQL数据库详解 二:数据库的高级语言和操作

文章目录 1. 克隆表 ---- 将数据表的数据记录生成到新的表中1.1 方式一:先创建新表,再导入数据1.2方式二:创建的时候同时导入 2. 清空表 ---- 删除表内的所有数据2.1 delete删除2.2 truncate删除(重新记录)2.3 创建临时…

基于Java+SpringBoot+Vue的大学生线上心理咨询系统(可随意更改项目主题如医院预约、店铺预约、专家挂号、在线咨询等)

大学生线上心理咨询室系统 一、前言二、我的优势2.1 自己的网站2.2 自己的小程序(小蔡coding)2.3 有保障的售后2.4 福利 三、开发环境与技术3.1 MySQL数据库3.2 Vue前端技术3.3 Spring Boot框架3.4 微信小程序 四、功能设计4.1 主要功能描述 五、系统实现…

确认过眼神,你就是我心中的【理想型】API!

API作为开发者友好的Friend凭借信息直达、灵活便捷、简单高效的特点,成为了商户绝佳的“资源连接利器”,也是跨境支付过程的“基石堡垒”,通过以上全面的释义,你清晰了解API的作用了吗? 但API与全球电子商户的相遇过程…

《ADS2011射频电路设计与仿真实例》第一章—第六章用ads2017跟做的不同操作

我用的是ads2017,可能是因为版本原因,有些操作和书上的不一样 1.P69 Smith chart utility中,若要调节各曲线圆系的线条颜色,书上写的“执行菜单命令【circles】→【colors】”应该是【view】→【colors】 2.P83 要用微带线&…

Pycharm 2023 年下载、安装教程,好用的插件,附详细图文

文章目录 一、pycharm安装教程二、常用插件推荐安装方法插件介绍1、Material Theme UI Lite2、Chinese (Simplified) Language Pack / 中文语言包3、Statistic4、Json Parser5、Tabnine(强烈推荐)6、Rainbow Brackets(推荐)7、Ind…

友善Nona Pi开发板ubuntu22.04系统用Python3.8.17的pip安装PyQt5.15.2时报错“Q_PID”这个宏未定义的一种解决办法

安装命令: pip install PyQt55.15.2 --config-settings --confirm-license --verbose -i https://mirrors.aliyun.com/pypi/simple/ 遇到出错: 如图: 分析具体错误内容: These bindings will be built: Qt, QtCore, QtNetwo…

Draw.io for Mac:强大流程图绘制工具,让你的想法迅速可视化

对于需要经常处理复杂概念和流程的专业人士和爱好者来说,一个优秀的图形设计工具是必不可少的。今天,我们将为您介绍一款流程图绘制神器——Draw.io for Mac。这款应用具备易于使用的界面和强大的功能,可以帮助您快速创建各种精美的流程图。 …

2023CSP游寄

初赛 DAY -2 才刚考开学测就来初赛。 复赛之后就是月测,这就是初三吗。 初中最后一次 CSP,如果 S 没一等就得摆烂了。希望别因为各种原因爆炸。 中午下午借着刷初赛题的名义摆烂,半道题都没写。 CSP2023RP 初赛 DAY -1 看我发现了什么。…

项目实战-day1.0

软件开发整体介绍 软件开发流程 需求分析--需求规格说明书、产品原型 设计--UI设计、数据库设计、接口设计 编码--项目代码、单元测试 测试--测试用例、测试报告 上线运维--软件环境安装、配置 角色分工 软件环境 开发环境:开发人员在开发阶段使用的环境&am…

FactoryTalk View Studio

由于项目需要,学习了FactoryTalk View Studio的一些操作,这里记录一下,方便以后查阅,并且随着项目的学习,随时更新。 FactoryTalk View Studio FactoryTalk View Studio 安装新建一个View Site Edition工程在工程中新建…

Bash脚本自学 - 输入输出重定向

1. 输入输出重定向 首先,我们有一个文件 hello.txt, Hello World! Good day to you 在指令行中输入: wc -w hello.txt输出为: 6 hello.txt wc -w 是用于统计命令行参数中指定文件的字数(单词数)。 如果…

2023年奢侈品行业研究报告

第一章 行业概况 1.1 定义和分类 奢侈品行业是一个专门生产和销售高价值、高品质、具有独特性和稀缺性商品的行业。这些商品往往超出了人们的基本生活需求,更多地与特定的社会地位、身份认同和审美价值有关。奢侈品不仅仅是物质的,它们往往承载着品牌的…