Zookeeper集群搭建，四字命令监控，Leader选举原理以及数据如何同步

news2025/2/4 2:32:52

Java学习+面试指南：https://javaxiaobear.cn

1、集群角色

  • Leader： 领导者。

事务请求（写操作）的唯一调度者和处理者，保证集群事务处理的顺序性；集群内部各个服务器的调度者。对于create、setData、delete等有写操作的请求，则要统一转发给leader处理，leader需要决定编号、执行操作，这个过程称为事务。

  • Follower: 跟随者

处理客户端非事务（读操作）请求（可以直接响应），转发事务请求给Leader；参与集群Leader选举投票。

  • Observer: 观察者

对于非事务请求可以独立处理（读操作），对于事务性请求会转发给leader处理。Observer节点接收来自leader的inform信息，更新自己的本地存储，不参与提交和选举投票。通常在不影响集群事务处理能力的前提下提升集群的非事务处理能力。

Observer应用场景：

  • 提升集群的读性能。因为Observer和不参与提交和选举的投票过程，所以可以通过往集群里面添加observer节点来提高整个集群的读性能。

  • 跨数据中心部署。 比如需要部署一个北京和香港两地都可以使用的zookeeper集群服务，并且要求北京和香港客户的读请求延迟都很低。解决方案就是把香港的节点都设置为observer。

2、集群架构

image-20231215161411987

leader节点可以处理读写请求，follower只可以处理读请求。follower在接到写请求时会把写请求转发给leader来处理。

Zookeeper数据一致性保证：

  • 全局可线性化(Linearizable )写入∶先到达leader的写请求会被先处理，leader决定写请求的执行顺序。

  • 客户端FIFO顺序∶来自给定客户端的请求按照发送顺序执行。

3、三节点Zookeeper集群搭建

环境准备：三台虚拟机

192.168.65.156
192.168.65.190
192.168.65.200

条件有限也可以在一台虚拟机上搭建zookeeper伪集群

1) 修改zoo.cfg配置，添加server节点配置

# 修改数据存储目录
dataDir=/data/zookeeper
 
#三台虚拟机 zoo.cfg 文件末尾添加配置
server.1=192.168.65.156:2888:3888
server.2=192.168.65.190:2888:3888
server.3=192.168.65.200:2888:3888

server.A=B:C:D

A 是一个数字，表示这个是第几号服务器； 集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据 就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个server。

B 是这个服务器的地址；

C 是这个服务器Follower与集群中的Leader服务器交换信息的端口；

D 是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

2）创建 myid 文件，配置服务器编号

在dataDir对应目录下创建 myid 文件，内容为对应ip的zookeeper服务器编号

cd /data/zookeeper
# 在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格）
vim myid

image-20231215162055188

3）启动zookeeper server集群

启动前需要关闭防火墙(生产环境需要打开对应端口)

# 分别启动三个节点的zookeeper server
bin/zkServer.sh start
# 查看集群状态
bin/zkServer.sh status

image-20231215162108403

4、Zookeeper四字命令

用户可以使用Zookeeper四字命令获取 zookeeper 服务的当前状态及相关信息

zookeeper 支持某些特定的四字命令与其交互，用户获取 zookeeper 服务的当前状态及相关信息，用户在客户端可以通过 telenet 或者 nc（netcat） 向 zookeeper 提交相应的命令。

安装 nc 命令：

# centos
yum install nc

四字命令格式：

echo [command] | nc [ip] [port]

ZooKeeper 常用四字命令主要如下：

四字命令功能描述
conf3.3.0版本引入的。打印出服务相关配置的详细信息。
cons3.3.0版本引入的。列出所有连接到这台服务器的客户端全部连接/会话详细信息。包括"接受/发送"的包数量、会话id、操作延迟、最后的操作执行等等信息。
crst3.3.0版本引入的。重置所有连接的连接和会话统计信息。
dump列出那些比较重要的会话和临时节点。这个命令只能在leader节点上有用。
envi打印出服务环境的详细信息。
reqs列出未经处理的请求
ruok测试服务是否处于正确状态。如果确实如此，那么服务返回"imok"，否则不做任何相应。
stat输出关于性能和连接的客户端的列表。
srst重置服务器的统计。
srvr3.3.0版本引入的。列出连接服务器的详细信息
wchs3.3.0版本引入的。列出服务器watch的详细信息。
wchc3.3.0版本引入的。通过session列出服务器watch的详细信息，它的输出是一个与watch相关的会话的列表。
wchp3.3.0版本引入的。通过路径列出服务器watch的详细信息。它输出一个与session相关的路径。
mntr3.4.0版本引入的。输出可用于检测集群健康状态的变量列表

https://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_4lw

开启四字命令

方法1： 在zoo.cfg 文件里加入配置项让这些指令放行

#开启四字命令
4lw.commands.whitelist=*

方法2：在zk的启动脚本zkServer.sh中新增放行指令

#添加ＶＭ环境变量-Dzookeeper.4lw.commands.whitelist=*
ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"

stat 命令

stat 命令用于查看 zk 的状态信息，实例如下：

$ echo stat | nc 192.168.65.156 2181

5、Zookeeper Leader 选举原理

zookeeper 的 leader 选举存在两个阶段，一个是服务器启动时 leader 选举，另一个是运行过程中 leader 服务器宕机。

在分析选举原理前，先介绍几个重要的参数：

  • 服务器 ID(myid)：编号越大在选举算法中权重越大

  • 事务 ID(zxid)：值越大说明数据越新，权重越大

  • 逻辑时钟(epoch-logicalclock)：同一轮投票过程中的逻辑时钟值是相同的，每投完一次值会增加

选举状态：

  • LOOKING: 竞选状态

  • FOLLOWING: 随从状态，同步 leader 状态，参与投票

  • OBSERVING: 观察状态，同步 leader 状态，不参与投票

  • LEADING: 领导者状态

1、服务器启动时的 leader 选举

每个节点启动的时候都 LOOKING 观望状态，接下来就开始进行选举主流程。这里选取三台机器组成的集群为例。第一台服务器 server1启动时，无法进行 leader 选举，当第二台服务器 server2 启动时，两台机器可以相互通信，进入 leader 选举过程。

  1. 每台 server 发出一个投票，由于是初始情况，server1 和 server2 都将自己作为 leader 服务器进行投票，每次投票包含所推举的服务器myid、zxid、epoch，使用（myid，zxid）表示，此时 server1 投票为（1,0），server2 投票为（2,0），然后将各自投票发送给集群中其他机器。

  2. 接收来自各个服务器的投票。集群中的每个服务器收到投票后，首先判断该投票的有效性，如检查是否是本轮投票（epoch）、是否来自 LOOKING 状态的服务器。

  3. 分别处理投票。针对每一次投票，服务器都需要将其他服务器的投票和自己的投票进行对比，对比规则如下：

    1. 优先比较 epoch
    2. 检查 zxid，zxid 比较大的服务器优先作为 leader
    3. 果 zxid 相同，那么就比较 myid，myid 较大的服务器作为 leader 服务器

  4. 统计投票。每次投票后，服务器统计投票信息，判断是都有过半机器接收到相同的投票信息。server1、server2 都统计出集群中有两台机器接受了（2,0）的投票信息，此时已经选出了 server2 为 leader 节点。

  5. 改变服务器状态。一旦确定了 leader，每个服务器响应更新自己的状态，如果是 follower，那么就变更为 FOLLOWING，如果是 Leader，变更为 LEADING。此时 server3继续启动，直接加入变更自己为 FOLLOWING。

image-20231215162331686

2、运行过程中的 leader 选举

当集群中 leader 服务器出现宕机或者不可用情况时，整个集群无法对外提供服务，进入新一轮的 leader 选举。

  1. 变更状态。leader 挂后，其他非 Oberver服务器将自身服务器状态变更为 LOOKING。
  2. 每个 server 发出一个投票。在运行期间，每个服务器上 zxid 可能不同。
  3. 处理投票。规则同启动过程。
  4. 统计投票。与启动过程相同。
  5. 改变服务器状态。与启动过程相同。

6、Zookeeper 数据同步流程

在 Zookeeper 中，主要依赖 ZAB 协议来实现分布式数据一致性。

ZAB 协议分为两部分：

  • 消息广播

  • 崩溃恢复

1、消息广播

Zookeeper 使用单一的主进程 Leader 来接收和处理客户端所有事务请求，并采用 ZAB 协议的原子广播协议，将事务请求以 Proposal 提议广播到所有 Follower 节点，当集群中有过半的Follower 服务器进行正确的 ACK 反馈，那么Leader就会再次向所有的 Follower 服务器发送commit 消息，将此次提案进行提交。这个过程可以简称为 2pc 事务提交，整个流程可以参考下图，注意 Observer 节点只负责同步 Leader 数据，不参与 2PC 数据同步过程。

image-20231215164128483

2、崩溃恢复

在正常情况消息下广播能运行良好，但是一旦 Leader 服务器出现崩溃，或者由于网络原理导致 Leader 服务器失去了与过半 Follower 的通信，那么就会进入崩溃恢复模式，需要选举出一个新的 Leader 服务器。在这个过程中可能会出现两种数据不一致性的隐患，需要 ZAB 协议的特性进行避免。

  • Leader 服务器将消息 commit 发出后，立即崩溃

  • Leader 服务器刚提出 proposal 后，立即崩溃

ZAB 协议的恢复模式使用了以下策略：

  • 选举 zxid 最大的节点作为新的 leader

  • 新 leader 将事务日志中尚未提交的消息进行处理

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1328618.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

集合论：二元关系(1)

集合论：二元关系(1)

集合论这一章内容很多，重点是二元关系中关系矩阵，关系图和关系性质:自反、反自反、对称、反对称、传递以及关系闭包的运算，等价关系，偏序关系，哈斯图，真吓人！ 1.笛卡儿积 由两个元素x和y按照一…
阅读更多...
RTP/RTCP/RTSP/SIP/SDP/RTMP对比

RTP/RTCP/RTSP/SIP/SDP/RTMP对比

RTP（Real-time Transport Protocol）是一种用于实时传输音频和视频数据的协议。它位于传输层和应用层之间，主要负责对媒体数据进行分包、传输和定时。 RTCP（Real-Time Control Protocol）是 RTP 的控制协议，…
阅读更多...
Keepalived 高可用群集

Keepalived 高可用群集

目录 一、Keepalived概述 二、一个台格的集群应该具备的特性 三、Keepalived实现原理剖析 四、LVSKeepalived高可用部署 1、配置负载调度器 2、配置节点服务器 3、浏览器测试 五、keepalived的抢占与非抢占模式 六、keepalived的脑裂故障 七、NginxKeepalived高可用部…
阅读更多...
FCIS 2023网络安全创新大会-核心PPT资料下载

FCIS 2023网络安全创新大会-核心PPT资料下载

一、峰会简介 本次会议的主题是“AI大模型、人工智能与智能制造安全、攻击面管理与供应链安全”。 1、AI大模型 会议首先探讨了AI大模型在网络安全领域的应用。AI大模型是一种基于深度学习的模型，具有强大的特征提取和分类能力，可以用于检测和防御各种…
阅读更多...
米勒平台和米勒斜坡（Miller plateau/ramp）

米勒平台和米勒斜坡（Miller plateau/ramp）

阅读更多...
自媒体人福音，正版实用的视频素材网站～

自媒体人福音，正版实用的视频素材网站～

大家平时在创作视频的时候，有没有苦恼过找不到合适的素材呢？网上能找到的大部分素材都是有版权的，不能随便乱用。今天我就来给大家推荐一些用于视频创作的正版素材网站，快快收藏吧! 1.制片帮素材 链接：stock.zhipianb…
阅读更多...
Kubernetes 学习总结（40）—— Kubernetes 之 自动伸缩 HPA、VPA、CA和CPA详解

Kubernetes 学习总结（40）—— Kubernetes 之 自动伸缩 HPA、VPA、CA和CPA详解

前言 Kubernetes 提供了多种自动伸缩机制，例如 HPA（Horizontal Pod Autoscaling），可以根据不同情况动态调整 Pod 副本数量。此功能使 Pod 能够有效地处理当前流量，而无需管理员不断干预来调整副本数量。除了 HPA 之外…
阅读更多...
esp32-s3训练自己的数据进行目标检测、图像分类

esp32-s3训练自己的数据进行目标检测、图像分类

esp32-s3训练自己的数据进行目标检测、图像分类 一、下载项目二、环境三、训练和导出模型四、部署模型五、存在的问题 esp-idf的安装参考我前面的文章： esp32cam和esp32-s3烧录human_face_detect实现人脸识别 一、下载项目 训练、转换模型：ModelAssist…
阅读更多...
sql-labs服务器结构

sql-labs服务器结构

双层服务器结构 一个是tomcat的jsp服务器，一个是apache的php服务器，提供服务的是php服务器，只是tomcat向php服务器请求数据，php服务器返回数据给tomcat。 此处的29-32关都是这个结构，不是用docker拉取的镜像要搭建一下…
阅读更多...
为什么越来越多公司开始用低代码开发？

为什么越来越多公司开始用低代码开发？

时代洪流的走向，我们无法左右，能够把握的，只有做好自己。如何在寒冬来之不易的机会中，生存并且壮大。 不知道大家有没有发现，今年的低代码赛道异常火热，但火热的背后才值得思考，市场需求持续被挖…
阅读更多...
国图公考：专业选岗指南，哪些专业考公考编有优势?

国图公考：专业选岗指南，哪些专业考公考编有优势?

在公务员考试和编制招聘中，选择合适的专业是非常重要的。以下这些专业的毕业生在考公考编时会具有一些优势： 一、法律类专业 首先，法律专业的知识体系严谨，对法律法规有深入的理解和掌握，这对于公务员工作中处理各类…
阅读更多...
k8s中Helm工具实践

k8s中Helm工具实践

k8s中Helm工具实践 1）安装redis-cluster 先搭建一个NFS的SC（只需要SC，不需要pvc），具体步骤此文档不再提供，请参考前面相关章节。 下载redis-cluster的chart包 helm pull bitnami/redis-cluster --untar…
阅读更多...
虾皮广告怎么做：如何在虾皮平台上进行广告投放

虾皮广告怎么做：如何在虾皮平台上进行广告投放

在虾皮（Shopee）平台上进行广告投放可以帮助您提高产品的曝光度和销量。通过有针对性的广告，您可以在虾皮平台上吸引更多的潜在买家，提高产品的可见度并增加销售机会。本文将为您介绍在虾皮平台上创建和管理广告的一些建议&#xf…
阅读更多...
22 3GPP在SHF频段基于中继的5G高速列车场景中的标准化

22 3GPP在SHF频段基于中继的5G高速列车场景中的标准化

文章目录 信道模型实验μ参考信号初始接入方法波形比较 RRH：remote radio head 远程无线头 HTS：high speed train 高速移动列车 信道模型 考虑搭配RRH和车载中继站之间的LOS路径以及各种环境（开放或峡谷），在本次实验场…
阅读更多...
Peter算法小课堂—贪心与二分

Peter算法小课堂—贪心与二分

太戈编程655题 题目描述： 有n辆车大甩卖，第i辆车售价a[i]元。有m个人带着现金来申请购买，第i个到现场的人带的现金为b[i]元，只能买价格不超过其现金额的车子。你是大卖场总经理，希望将车和买家尽量多地进行一对一配对…
阅读更多...
20 Vue3中使用v-for遍历普通数组

20 Vue3中使用v-for遍历普通数组

概述 使用v-for遍历普通数组在真实开发中还是比较常见的。 基本用法 我们创建src/components/Demo20.vue&#xff0c;代码如下&#xff1a; <script setup> const tags ["JavaScript", "Vue3", "前端"] </script> <template…
阅读更多...
图片转文字怎么做？这三个图片提取文字简单好用

图片转文字怎么做？这三个图片提取文字简单好用

图片转文字怎么做&#xff1f;在数字时代&#xff0c;我们每天都与大量的图片、文本信息打交道。当我们需要从图片中提取文字时&#xff0c;传统的方式可能是手动输入或者借助某些付费工具。但其实&#xff0c;现在有许多免费且高效的方法可以让我们在短短一秒钟内&#xff0c;…
阅读更多...
具有超低功耗性能的R7F102GAC3CSP、R7F102GAC2DSP、R7F102G6C3CSP RL78/G22微控制器 16-bit MCU

具有超低功耗性能的R7F102GAC3CSP、R7F102GAC2DSP、R7F102G6C3CSP RL78/G22微控制器 16-bit MCU

RL78/G22 简介&#xff1a; 除了具有低电流消耗&#xff08;CPU工作时&#xff1a;37.5μA/MHz&#xff1b;STOP时&#xff1a;200nA&#xff09;外&#xff0c;RL78/G22微控制器还配备了丰富的电容触摸通道。完备的16-48引脚封装和32KB-64KB闪存&#xff0c;扩充了新一代RL78…
阅读更多...
自动评估作业，支持订正最终得分、查看关联代码｜ModelWhale 版本更新

自动评估作业，支持订正最终得分、查看关联代码｜ModelWhale 版本更新

冬至时节&#xff0c;2023 已进入尾声&#xff0c;ModelWhale 于今日迎来新一轮的版本更新&#xff0c;与大家一起静候新年的到来。 本次更新中&#xff0c;ModelWhale 主要进行了以下功能迭代&#xff1a; 自动评估作业 新增 提交代码&#xff08;团队版✓ &#xff09;新增…
阅读更多...
3. BlazorSignalRApp 结合使用 ASP.NET Core SignalR 和 Blazor

3. BlazorSignalRApp 结合使用 ASP.NET Core SignalR 和 Blazor

参考&#xff1a;https://learn.microsoft.com/zh-cn/aspnet/core/blazor/tutorials/signalr-blazor?viewaspnetcore-8.0&tabsvisual-studio 1.创建新项目 BlazorSignalRApp 2.添加项目依赖项 依赖项&#xff1a;Microsoft.AspNetCore.SignalR.Client 方式1 管理解决方案…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023