Zookeeper快速入门(Zookeeper概述、安装、集群安装、选举机制、命令行操作、节点类型、监听器原理)

news2025/1/18 8:41:58

1、Zookeeper入门

1.1 概述

Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。
在这里插入图片描述
1、Zookeeper工作机制
Zookeeper从设置模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责储存和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

在这里插入图片描述

1.2 特点

在这里插入图片描述
1、Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。
2、集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
3、全局数据一致,每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。
4、更新请求顺序执行,来着同一个Client的更新请求按其发送顺序依次执行。
5、数据更新原子性,一次数据更新要么成功,要么失败。
6、实时性,在一定时间范围内,Client能读取到最新数据

1.3 数据结构

Zookeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每一个ZNode默认能储存1MB的数据,每个ZNode都可以通过其路径唯一标识。
在这里插入图片描述

1.4 应用场景

提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
1、统一命名服务
在这里插入图片描述

2、统一配置管理
在这里插入图片描述
(1)分布式环境系,配置文件同步非常常见
(a)一般要求一个集群中,所有节点的配置信息是一致的,比如kafka集群。
(b)对配置文件修改后,希望能够快速同步到各个节点上。
(2)配置管理可交由Zookeeper实现
(a)可将配置信息写入Zookeeper上的一个ZNode
(b)各个客户端服务器监听这个ZNode
(c)一旦ZNode中的数据被修改,Zookeeper将通知各个客户端服务器

3、统一集群管理
(1)分布式环境中,实时掌握每个节点的状态是必要的
(a)可根据节点实时状态做出一些调整
(2)Zookeeper可以实现实时监控节点状态变化
(a)可将节点信息写入Zookeeper上的一个ZNode节点
(b)监听这个ZNode可获取它的实时状态变化。

在这里插入图片描述
4、服务器动态上下线

在这里插入图片描述
5、软负载均衡
在这里插入图片描述

2、Zookeeper本地安装

Zookeeper文件获取

链接:https://pan.baidu.com/s/1kVisN2YWXH119vX8mVa_uQ
提取码:zhm6

2.1 本地模式安装

1、安装前准备
(1)安装JDK
(2)拷贝Zookeeper安装包到Linux系统下
(3)解压到指定目录

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

2、配置修改
(1)将/opt/module/zookeeper-3.5.7/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg;

 mv zoo_sample.cfg zoo.cfg

(2)打开 zoo.cfg 文件,修改 dataDir 路径

 vim zoo.cfg

修改以下内容

dataDir=/opt/module/zookeeper-3.5.7/zkData

在这里插入图片描述

(3)在/opt/module/zookeeper-3.5.7/这个目录上创建 zkData 文件夹

 mkdir zkData

3、操作Zookeeper
(1)启动Zookeeper

 bin/zkServer.sh start

在这里插入图片描述

(2)查看进程是否启动

jps

在这里插入图片描述

(3)查看状态

 bin/zkServer.sh status

(4)启动客户端

 bin/zkCli.sh

(5)退出客户端

quit

(6)停止 Zookeeper

 bin/zkServer.sh stop

2.2 配置参数解读

1、tickTime = 2000;通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒
在这里插入图片描述
2、initLimit=10:LF初始通信时限
在这里插入图片描述

Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量)
3、syncLimit=5:LF同步通信时限
在这里插入图片描述
Leader和Follower之间通信时间如果超过syncLimit*tickTime,Leader认为Follower死掉,从服务器列表中删除掉Follower。
4、dataDir:保存Zookeeper中的数据
注意:默认的tmp目录,容易被Linux系统定期删除,所以一般不用默认的tmp目录。
5、clientPort=2181:客户端连接端口,通常不做修改

3、Zookeeper集群操作

3.1 集群操作

3.1.1 集群安装

1、集群规划
在hadoop102、hadoop103、hadoop104三个节点上都部署Zookeeper。
2、解压安装(和上面一样)
3、配置服务器编号
(1)在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData
(2)在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件。在文件中添加与 server 对应的编号(注意:上下不要有空行,左右不要有空格)
(3)拷贝配置好的 zookeeper 到其他机器上。并分别在 hadoop103、hadoop104 上修改 myid 文件中内容为 3、4。

4、配置zoo.cfg文件
(1)重命名/opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg
(2)打开zoo.cfg文件
(a)修改数据储存路径配置
(b)增加如下配置
在这里插入图片描述
(3)配置参数解读
server.A=B:C:D
A是一个数字,表示这个是第几号服务器;
集群模式下配置一个文件myid,这个文件在datadir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个Server。
B是这个服务器的地址。
C是这个服务器Follower与集群中Leader服务器交换信息的端口。
D是万一集群中的Leader的服务挂了,需要一个端口来重新选举,选举出一个新的Leader,而这个端口就是用来执行选举时服务器互相通信的端口。
(4)同步zoo.cfg配置文件。

5、集群操作
zk.sh脚本

#!/bin/bash

case $1 in
"start") {
        for i in hadoop102 hadoop103 hadoop104
        do
                echo ---------------zookeeper $i 启动-----------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
        done
};;
"stop") {
        for i in hadoop102 hadoop103 hadoop104
        do
                echo ---------------zookeeper $i 停止-----------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
        done
};;
"status") {
        for i in hadoop102 hadoop103 hadoop104
        do
                echo ---------------zookeeper $i 状态-----------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
        done
};;
esac

(1)一键启动Zookeeper集群
在这里插入图片描述
(2)查看状态
在这里插入图片描述

3.1.2 选举机制

在这里插入图片描述

Zookeeper选举机制—第一次启动

SID:服务器ID。用来唯一标识一台Zookeeper集群中的机器,每台机器不能重复,和myid一致。
ZXID:事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻,集群中的每台机器的ZXID值不一定完全一致。这和Zookeeper服务器对于客户端“更新请求”的处理逻辑有关。
EPOCH:每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加。

1、服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为
LOOKING;
2、服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING。
3、服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
4、服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
5、服务器5启动,同4一样当小弟。

Zookeeper选举机制—非第一次启动
在这里插入图片描述
(1)当Zookeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:
(a)服务器初始化启动
(b)服务器运行期间无法和Leader保持连接
(2)而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:
(a)集群中本来就已经存在一个Leader
对于这种情况,机器视图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和Leader机器建立连接,并进行状态同步即可。
(b)集群中确实不存在Leader
假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8、8、8、7、7,并且此时SID为3的服务器是Leader。某一时刻,
3和5服务器出现故障,因此开始进行Leader选举。
在这里插入图片描述

3.2 客户端命令行操作

3.2.1 命令行语法
命令基本语法功能描述
help显示所有操作命令
ls path使用 ls 命令来查看当前 znode 的子节点 [可监听] -w 监听子节点变化 -s 附加次级信息
create普通创建 -s 含有序列 -e 临时(重启或者超时消失)
get path获得节点的值 [可监听] -w 监听节点内容变化 -s 附加次级信息
set设置节点的具体值
stat查看节点状态
delete删除节点
deleteall递归删除节点

1、启动客户端

bin/zkCli.sh

2、显示所有操作命令
在这里插入图片描述

3.2.2 ZNode节点数据信息

1、查看当前ZNode所包含的信息

 ls /

在这里插入图片描述
2、查看当前节点详细数据

 ls -s /

在这里插入图片描述
(1)czxid:创建节点的事务zxid
每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之前发生。
(2)ctime:ZNode被创建的毫秒数(从 1970 年开始)
(3)mzxid:znode 最后更新的事务 zxid
(4)mtime:znode 最后修改的毫秒数(从 1970 年开始)
(5)pZxid:znode 最后更新的子节点 zxid
(6)cversion:znode 子节点变化号,znode 子节点修改次数
(7)dataversion:znode 数据变化号
(8)aclVersion:znode 访问控制列表的变化号
(9)ephemeralOwner:如果是临时节点,这个是 znode 拥有者的 session id。如果不是临时节点则是 0。
(10)dataLength:znode 的数据长度
(11)numChildren:znode 子节点数量

3.2.3 节点类型(持久/短暂/有序号/无序号)

持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除
短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除。
在这里插入图片描述

(1)持久化目录节点
客户端与Zookeeper断开连接后,该节点依旧存在
(2)持久化顺序编号目录节点
客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号
(3)临时目录节点
客户端与Zookeeper断开连接后,该节点被删除
(4)临时顺序编号目录节点
客户端与 Zookeeper 断开连接后 , 该 节 点 被 删 除 , 只 是
Zookeeper给该节点名称进行顺序编号。

说明:创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护。
注意:在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序。

1、分别创建2个普通节点(永久节点 + 不带序号)
在这里插入图片描述
注意:在创建节点是要赋值
2、获得节点的值
在这里插入图片描述
3、创建带序号的节点(永久节点 + 带序号)
(1)先创建一个普通的根节点/sanguo/weiguo
在这里插入图片描述
(2)创建带序号的节点
在这里插入图片描述
如果原来没有序号节点,序号从 0 开始依次递增。如果原节点下已有 2 个节点,则再排序时从 2 开始,以此类推。
4、创建短暂节点(短暂节点 + 不带序号 or 带序号)
(1)创建短暂的不带序号的节点
在这里插入图片描述
(2)创建短暂的带序号的节点
在这里插入图片描述

(3)在当前客户端是能查看到的
在这里插入图片描述

(4)退出当前客户端然后再重启客户端,再次查看根目录下短暂节点已经删除
在这里插入图片描述
5、修改节点数据值
在这里插入图片描述

3.2.4 监听器原理

客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、节点删除、子目录节点增加删除)时,Zookeeper会通知客户端。监听机制保证Zookeeper保存的任何的数据的任何变化都能快速的响应到监听了该节点的应用程序。
1、监听器详解
(1)首先要有一个main()线程
(2)在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络通信(connect),一个负责监听(listener)。
(3)通过connect线程将注册的监听事件发送给Zookeeper。
(4)在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。
(5)Zookeeper监听到所以数据或路径发生变化,就会将这个消息发送给listener线程。
(6)listener线程内部调用了process()方法。

2、常见的监听
(1)监听节点数据的变化
get path [watch]
(2)监听子节点增减的变化
ls path [watch]

在这里插入图片描述
1、节点的值变化监听
(1)在 hadoop104 主机上注册监听/sanguo 节点数据变化
在这里插入图片描述
(2)在 hadoop103 主机上修改/sanguo 节点的数据
在这里插入图片描述
(3)观察 hadoop104 主机收到数据变化的监听
在这里插入图片描述
注意:在hadoop103再多次修改/sanguo的值,hadoop104上不会再收到监听。因为注册监听一次,只能监听一次。想再次监听,需要再次注册。

2、节点的子节点变化监听(路径变化)
(1)在 hadoop104 主机上注册监听/sanguo 节点的子节点变化
在这里插入图片描述
(2)在 hadoop103 主机/sanguo 节点上创建子节点
在这里插入图片描述
(3)观察 hadoop104 主机收到子节点变化的监听
在这里插入图片描述
注意:节点的路径变化,也是注册一次,生效一次。想多次生效,就需要多次注册。

3.2.5 节点删除与查看

1、删除节点
在这里插入图片描述
2、递归删除节点
在这里插入图片描述
3、查看节点状态
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/576299.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

spring源码篇(八)事务的原理

文章目录 前言基本操作验证 Spring事务的传播机制特殊的机制说明NOT_SUPPORTEDNESTEDSUPPORTS 源码加载事务自动配置类要不要加注解:EnableTransactionManagement配置类说明 EnableTransactionManagement 做了什么AutoProxyRegistrar做了什么创建的代理类是jdk动态代…

UE DTDataTable 插件说明, 运行中操作CSV文件。

UDataTable的扩展对象,可以在Runtime模式下可以加载和保存CSV文件,并且可以进行数据的添加和删除,也可以使用系统DataTable的所有函数。 1. Create DT Data Table From CSV File 从CSV文件创建 DT Data Table 对象 File Path :文件…

MiniConda、CUDA、CUDnn以及pytorch环境的配置以及坑

文章目录 一、MiniConda安装、介绍1.1 Conda是什么?1.2 MiniConda是什么?1.3 安装方法1.4 Conda常用命令1.5 杂项 二、CUDA 以及 CUDnn三、Pytorch安装总结 首先需要说明一下,我想安装的是Pytorch GPU版,所以需要安装CUDA toolkit…

WPF 页面布局 DockPanel Grid StackPanel UniformGrid WrapPanel WPF布局入门 WPF布局资料

在布局常用的布局属性 HorizontalAlignment: 用于设置元素的水平位置VerticalAlignment: 用于设置元素的垂直位置 Margin: 指定元素与容器的边距 Height: 指定元素的高度 Width: 指定素的宽度 WinHeight/WinWidth: 指定元素的最小高度和宽度MaxHeight/MaxWidth: 指定元素的最大…

Selenium自动化测试(基于Java)

目录 一. 了解Selenium ✅1.1 概念 ✅1.2 作用 ✅1.3 特点 ✅ 工作原理 二. Selenium Java 环境搭建 ✅2.1 下载 Chrome 浏览器 ✅2.2 查看浏览器的版本 ✅2.3 下载浏览器驱动 ✅2.4 验证环境是否搭建成功 三. Selenium 常用 API ✅3.1 定位元素 ✅3.2 操作对象 ✅…

给你的终端(windows 11的命令行 增加一个好看的背景)

1.win R 键入cmd 加回车 2.点击这个符号 进入设置 3. 找到命令提示符 4.往下滚动你的小鼠标 5.看见其他设置 点击外观 6.继续滚动小鼠标 找到背景图像 路径 最后选择 自己的喜欢图片的存放路径就可以啦 啦啦啦

宠物医院小程序开发需具备哪些功能?

想要开发一款专业好用的宠物医院小程序系统,需要具备哪些基本功能呢? 1、在线预约。用户可以在线上预约宠物医院的服务,包括医生、服务的具体内容、预约的时间、具体的宠物医院地址等,不仅可以帮助用户合理安排好时间还能让…

consul命令总结

1. consul members -http-addrxxxxx 查看指定地址consul集群的所有节点 举例:查看地址192.168.5.47上consul集群的所有consul节点 如下图,该集群一共有三个节点 2. consul info -http-addrxxxxx 查看指定地址consul集群的详细信息 举例:查看…

python:根据红光波段和近红外波段的遥感图像计算NDVI

作者:CSDN @ _养乐多_ 本文将介绍使用python中的GDAL库,以及红光波段和近红外波段两个单波段影像计算NDVI影像的方法和代码。并使用matplotlib库将NDVI绘制成图片。 结果如下图所示, 文章目录 一、代码1,主函数2,执行函数二、使用matpoltlib绘图一、代码 1,主函数 im…

自然科学领域期刊分区——什么是核心期刊(核心A、B、C)

目录 前言 1、什么是核心期刊 2、期刊来源数据库的大致排名 3、什么是顶刊、权威期刊、核心A、核心B、核心C 4、JCR分区与中科院分区 5、中科院2023年预警国际期刊 前言 本文只做一个简单的科普,当然每所院校或者科研单位对期刊分区或者认定有一套自己的认定…

搭建stm32电机控制代码框架(一)——Stm32CubeMx入门

也是挑战一下自己吧,看看多久能够把自己的代码框架搭建起来,今天是5月23日,看看最终搭建成功的时候是什么时候,目标其实这个阶段很简单,电机转一个双闭环FOC就行。 这次的任务是基于stm32f405芯片进行展开&#xff0c…

如何看待现在的网络安全行业?

前言 网络安全是一个需要具备专业技术和能力的综合性行业,从业者需要具备扎实的技术功底和批判性思维,不断学习和更新知识,以保证随时能够应对威胁和攻击。 在现在的网络安全行业,从业者面临的挑战较多,如恶意代码、…

K8s环境部署Triton实现云端模型推理

前置条件:K8集群、helm 1、以模型名作为目录名,创建目录 mkdir resnet50_pytorch 2、将模型文件、配置文件(输入、输出等)存到刚创建的目录下,resnet50_pytorch目录下文件层级结构如下 model-respository/ └── …

攫取 RGB图像 和 PCM音频 数据

一、获取源码 1. 下载地址 Github: https://github.com/Gaaagaa/MediaGrabber 2. 编译提醒 这个测试程序,是使用 QtCreator 写的 Qt 界面程序,调用我封装好的 vlc_mgrabber_t 类实现了一个简单的播放器。MFC的我也写过相应的测试程序,这里…

Web安全:Redis 未授权访问漏洞 测试.

Web安全:Redis 未授权访问漏洞 测试. Redis 默认情况下绑定在 6379 端口,然后如果没有进行添加防火墙规则避免其他非信任来源 IP 访问等相关安全策略,直接暴露在公网上。然后再没有设置密码或者设置了弱密码,因此导致此漏洞的产生…

第12届蓝桥杯Scratch省赛真题集锦

编程题 第 1 题 问答题 下雨 题目说明 编程实现: 下雨。 具体要求: 1).点击绿旗,角色与背景如下图所示呈现在对应位置; 2).小猫说:“快下雨了,赶快回家”,小狗说:“我再玩一会”; 3).开始下雨,雨滴持续下落, 4).小猫…

【WinForm】继承窗体

1、VS创建2个界面,分别为Form1、Form2 2、重新生成后,将Form的父类改为Form1 3、观察设计界面,Form2继承了Form1窗体的控件,且处于锁定状态 4、在Form1中创建点击事件,改写标签信息,验证此时的类对象 …

Qt文件系统源码分析—第六篇QSaveFile

深度 本文主要分析Windows平台,Mac、Linux暂不涉及 本文只分析到Win32 API/Windows Com组件/STL库函数层次,再下层代码不做探究 本文QT版本5.15.2 类关系图 QTemporaryFile继承QFile QFile、QSaveFile继承QFileDevice QFileDevice继承QIODevice Q…

Linux:软件管理器yum编辑器vim

软件管理器yum&&编辑器vim 🔆软件管理器yum软件包是什么rzsz网络通畅性验证查看软件包怎么安装软件安装yum扩展源怎么卸载软件 🔆编辑器vim基本概念基本操作正常模式指令集末行模式指令集简单配置vim配置文件的位置常用配置选项使用插件参考资料…

初阶数据结构(6)(队列的概念、常用的队列方法、队列模拟实现【用双向链表实现、用数组实现】、双端队列 (Deque)、OJ练习【用队列实现栈、用栈实现队列】)

接上次博客:初阶数据结构(5)(栈的概念、栈的模拟实现、栈的应用及练习【改变元素的序列 、 将递归转化为循环、括号匹配、逆波兰表达式求值、出栈入栈次序匹配、最小栈】、链栈和顺序栈栈、虚拟机栈、栈帧的区别)_di-D…