Zookeeper实战 集群环境部署

news2024/11/25 14:43:01

1、概述

今天我们来学习一下Zookeeper集群相关的内容，本文主要的内容有集群环境的搭建，集群常见的问题和对应的解决方案。

2、集群环境搭建

2.1、准备工作

首先我们准备好安装包，创建好集群部署的路径。将解压后的安装文件复制三分。这里我在 /usr/local目录下创建了一个zkCluster目录。相关命令如下

root@localhost ~]# cd /usr/local/
[root@localhost local]# mkdir zkCluster
[root@localhost local]# cp zookeeper-3.9.2/ ./zkCluster/ -R
[root@localhost local]# cd zkCluster/
[root@localhost zkCluster]# ll
总用量 0
drwxr-xr-x. 7 root root 145 10月 25 12:58 zookeeper-3.9.2
[root@localhost zkCluster]# mv zookeeper-3.9.2/ zookeeper-9000
[root@localhost zkCluster]# ll
总用量 0
drwxr-xr-x. 7 root root 145 10月 25 12:58 zookeeper-9000
[root@localhost zkCluster]# cp zookeeper-9000/ zookeeper-9001/ -R
[root@localhost zkCluster]# cp zookeeper-9000/ zookeeper-9002/ -R
[root@localhost zkCluster]# ll
总用量 0
drwxr-xr-x. 7 root root 145 10月 25 12:58 zookeeper-9000
drwxr-xr-x. 7 root root 145 10月 25 12:59 zookeeper-9001
drwxr-xr-x. 7 root root 145 10月 25 12:59 zookeeper-9002
[root@localhost zkCluster]#

2.2、修改配置

准备好安装文件后我们需要修改配置文件，首先我们配置9000的节点。进入到conf目录下，修改zoo.cfg文件。文件内容如下图 所示

这里解释一下最后三行配置，每一行 的格式都是：server.服务器ID=服务器IP地址：服务器之间通信端口：服务器之间投票选举端口 

这里我是在一台虚拟机上搭建的集群，所以ip都是一样的，但是 通讯端口和投票选举端口需要单独指定。接着我们9001 和9002 节点的配置内容如下

配置完成后我们 好需要新建一个数据目录。也就是上述配置种的dataDir指定的 

[root@localhost conf]# mkdir -p /opt/zkCluster/zookeeper-9002/data
[root@localhost conf]# mkdir -p /opt/zkCluster/zookeeper-9001/data
[root@localhost conf]# 
[root@localhost conf]# mkdir -p /opt/zkCluster/zookeeper-9000/data
[root@localhost conf]# 
[root@localhost conf]# cd /opt/zkCluster/
[root@localhost zkCluster]# ll
总用量 0
drwxr-xr-x. 3 root root 18 10月 25 13:15 zookeeper-9000
drwxr-xr-x. 3 root root 18 10月 25 13:15 zookeeper-9001
drwxr-xr-x. 3 root root 18 10月 25 13:15 zookeeper-9002
[root@localhost zkCluster]# pwd
/opt/zkCluster
[root@localhost zkCluster]#

最后我们需要为上述三个节点分别创建一个 myid 文件，内容是1，2，3。用来标识每个服务器的ID

[root@localhost zkCluster]# echo 1 > /opt/zkCluster/zookeeper-9000/data/myid
[root@localhost zkCluster]# echo 2 > /opt/zkCluster/zookeeper-9001/data/myid
[root@localhost zkCluster]# echo 3 > /opt/zkCluster/zookeeper-9002/data/myid
[root@localhost zkCluster]#

2.3、启动集群

完成配置后，我们就可以启动集群了，启动集群就是分别启动这3个服务

[root@localhost zkCluster]# ./zookeeper-9000/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9000/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@localhost zkCluster]# ./zookeeper-9001/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9001/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@localhost zkCluster]# ./zookeeper-9002/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9002/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@localhost zkCluster]#

启动成功后我们可以查看状态

[root@localhost zkCluster]# ./zookeeper-9002/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9002/bin/../conf/zoo.cfg
Client port found: 9002. Client address: localhost. Client SSL: false.
Mode: follower
[root@localhost zkCluster]# ./zookeeper-9001/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9001/bin/../conf/zoo.cfg
Client port found: 9001. Client address: localhost. Client SSL: false.
Mode: leader
[root@localhost zkCluster]# ./zookeeper-9000/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9000/bin/../conf/zoo.cfg
Client port found: 9000. Client address: localhost. Client SSL: false.
Mode: follower
[root@localhost zkCluster]#

 上面的状态说明 9000和9002是从节点，9001被选举成了 主节点了。集群环境启动成功；

2.4、验证集群

我们也可以通过端口或者进程来判断集群是否正常

我们登陆这三个节点的任意一个节点的命令行窗口，这里我的登录到9000

JLine support is enabled
2024-10-25 13:26:06,594 [myid:127.0.0.1:9000] - INFO  [main-SendThread(127.0.0.1:9000):o.a.z.ClientCnxn$SendThread@1432] - Session establishment complete on server localhost/127.0.0.1:9000, session id = 0x1000016003f0000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null zxid: -1
[zk: 127.0.0.1:9000(CONNECTED) 0] ls /
[zookeeper]
[zk: 127.0.0.1:9000(CONNECTED) 1] create /tom tom 
Created /tom
[zk: 127.0.0.1:9000(CONNECTED) 2]

这里我创建了一个tom节点，我们再去9001和9002上查看


WatchedEvent state:SyncConnected type:None path:null zxid: -1
[zk: 127.0.0.1:9001(CONNECTED) 0] ls /
[tom, zookeeper]
[zk: 127.0.0.1:9001(CONNECTED) 1] get /tom 
tom
[zk: 127.0.0.1:9001(CONNECTED) 2] set /tom jerry 
[zk: 127.0.0.1:9001(CONNECTED) 3] get /tom 
jerry
[zk: 127.0.0.1:9001(CONNECTED) 4]

 我么在 9001上修改/tom 的值，然后到9000上查看 发现也是正常

WatchedEvent state:SyncConnected type:None path:null zxid: -1
[zk: 127.0.0.1:9000(CONNECTED) 0] ls /
[zookeeper]
[zk: 127.0.0.1:9000(CONNECTED) 1] create /tom tom 
Created /tom
[zk: 127.0.0.1:9000(CONNECTED) 2] get /tom 
jerry
[zk: 127.0.0.1:9000(CONNECTED) 3]

 这里说明集群环境搭建成功了。

3、集群环境的异常情况

3.1、从节点挂掉

现在集群的情况是 9000和9002是从节点，9001被选举成了 主节点 。当集群中有一个从节点挂掉的时候会怎么样呢，我们来停掉9000模拟一下，

[root@localhost zkCluster]# ./zookeeper-9000/bin/zkServer.sh stop 
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9000/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
[root@localhost zkCluster]# 
[root@localhost zkCluster]# 
[root@localhost zkCluster]# 
[root@localhost zkCluster]# ./zookeeper-9000/bin/zkServer.sh status 
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9000/bin/../conf/zoo.cfg
Client port found: 9000. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.
[root@localhost zkCluster]# ./zookeeper-9001/bin/zkServer.sh status 
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9001/bin/../conf/zoo.cfg
Client port found: 9001. Client address: localhost. Client SSL: false.
Mode: leader
[root@localhost zkCluster]# ./zookeeper-9002/bin/zkServer.sh status 
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9002/bin/../conf/zoo.cfg
Client port found: 9002. Client address: localhost. Client SSL: false.
Mode: follower
[root@localhost zkCluster]#

我们发现挂了一个从节点，集群依然是正常的。

3.2、主节点挂掉

我么重启启动9000，然后停掉9001节点

[root@localhost zkCluster]# ./zookeeper-9001/bin/zkServer.sh stop 
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9001/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
[root@localhost zkCluster]# ./zookeeper-9001/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9001/bin/../conf/zoo.cfg
Client port found: 9001. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.
[root@localhost zkCluster]# ./zookeeper-9002/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9002/bin/../conf/zoo.cfg
Client port found: 9002. Client address: localhost. Client SSL: false.
Mode: leader
[root@localhost zkCluster]# ./zookeeper-9000/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9000/bin/../conf/zoo.cfg
Client port found: 9000. Client address: localhost. Client SSL: false.
Mode: follower
[root@localhost zkCluster]#

这里我们发现主节点挂掉之后 9000和9002两个节点之间会进行一个选举，这里9002成了主节点

3.3、从节点都挂掉

现在9002是主节点了，我们停掉两个从节点，看看主节点状态

[root@localhost zkCluster]# 
[root@localhost zkCluster]# ./zookeeper-9001/bin/zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9001/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
[root@localhost zkCluster]# ./zookeeper-9000/bin/zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9000/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
[root@localhost zkCluster]# ./zookeeper-9002/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zkCluster/zookeeper-9002/bin/../conf/zoo.cfg
Client port found: 9002. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.
[root@localhost zkCluster]#

 我们发现两个从节点都挂了，主节点也不能好好的运行了。这是因为集群中超过半数节点挂了，然后集群默认就挂了。

4、Zookeeper的强一致性

在2.4章节里 我们是在从节点写入的数据，但是最终数据也能同步到主节点和另外一个从节点，这是什么原因呢。我们都知道Zookeeper是强一致性的，那么写入事件肯定就必须要主节点完成，再由主节点同步到从节点。

这里我么可以查阅官方文档 

ZooKeeper: Because Coordinating Distributed Systems is a Zoo

大概的意思就是 当我们往从节点写数据的时候 其实会被转发到主节点，当主节点写入完成后再同步给从节点，从而确保了在网络分区的情况下，数据也保持一致。

5、总结

本篇文章主要给家介绍Zookeeper集群环境的搭建以及相关的异常情况产生的效果，大家可以根据本文中提供的命令进行实操。最后还闲聊了一下Zookeeper强一致性的特性，建议大家可以去官方文档上查阅相关的内容，相信一定会有不同 的收获。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2223495.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

水轮发电机油压自动化控制系统解决方案介绍

水轮发电机油压自动化控制系统解决方案介绍

在现代水电工程中，水轮机组油压自动化控制系统，不仅直接关系到水轮发电机组的安全稳定运行，还影响着整个水电站的生产效率和经济效益。 一、系统概述 国科JSF油压自动控制系统，适用于水轮发电机组调速器油压及主阀（蝶…
阅读更多...
【功能安全】 独立于环境的安全要素SEooC

【功能安全】 独立于环境的安全要素SEooC

目录 01 SEooC定义 02 SEooC开发步骤 03 SEooC开发示例 04 SEooC问答 01 SEooC定义 缩写： SEooC：Safety Element out of Context独立于环境的安全要素 SEooC出处：GB/T34590.10—2022，第9章节 SEooC与相关项什么关系？ SEooC可以是系统、系统组合、子系统、软件组件、…
阅读更多...
【Unity】游戏UI中添加粒子特效导致穿层问题的解决

【Unity】游戏UI中添加粒子特效导致穿层问题的解决

这里介绍一下简易的ui系统中，添加粒子特效导致的穿层问题 首先是在ui界面中添加粒子特效预制体，这个时候，控制这个粒子显示层级的有两个方面 上图中，如果你的Sorting Layer ID的值（Layer排序）是大于当前C…
阅读更多...
安康旅游指南：基于SpringBoot的网站开发实践

安康旅游指南：基于SpringBoot的网站开发实践

第一章 绪论 1.1 研究现状 时代的发展，我们迎来了数字化信息时代，它正在渐渐的改变着人们的工作、学习以及娱乐方式。计算机网络，Internet扮演着越来越重要的角色，人们已经离不开网络了，大量的图片、文字、视频冲击着我…
阅读更多...
可视化大屏的C位放啥（04）：园区鸟瞰图，方寸之间显示海量数据

可视化大屏的C位放啥（04）：园区鸟瞰图，方寸之间显示海量数据

在可视化大屏的 C 位放置园区鸟瞰图，可谓独具匠心。 鸟瞰图以宏观视角呈现整个园区风貌，让人一眼便对园区布局有清晰认知。同时，通过巧妙的设计，可在这方寸之间展示海量数据。 如园区内各企业的生产数据、能耗情况、人员流动等信…
阅读更多...
【学习笔记】强化学习

【学习笔记】强化学习

李宏毅深度强化学习 笔记 课程主页：NTU-MLDS18 视频：youtube B站 参考资料： 作业代码参考 纯numpy实现非Deep的RL算法 OpenAI tutorial 文章目录 李宏毅深度强化学习 笔记1. Introduction2. Policy Gradient2.1 Origin Policy Gradient2.2…
阅读更多...
Matlab 车牌识别技术

Matlab 车牌识别技术

1.1设计内容及要求： 课题研究的主要内容是对数码相机拍摄的车牌，进行基于数字图像处理技术的车牌定位技术和车牌字符分割技术的研究与开发，涉及到图像预处理、车牌定位、倾斜校正、字符分割等方面的知识,总流程图如图1-1所示。 图1-1系统总…
阅读更多...
【问题解决】Flink在linux上运行成功但是无法访问webUI界面

【问题解决】Flink在linux上运行成功但是无法访问webUI界面

一，问题 在搭建Flink的时候，已经在linux服务器上运行了./start-cluster.sh， 而且日志显示已经成功了。 服务器上也没有开启防火墙 正常来说应该能通过ip:8081来访问(8081是Flink WebUI的默认端口)，但是访问的时候，显示…
阅读更多...
Redis未授权访问及配合SSRF总结

Redis未授权访问及配合SSRF总结

Redis是一个开源的内存数据库，它用于存储数据，并提供高性能、可扩展性和丰富的数据结构支持。 Redis复现文章较全 Redisssrf漏洞利用探测内网 RedisInsight/RedisDesktopManager可视化连接工具 漏洞原理 （1）redis绑定在 0.0.…
阅读更多...
C++类与对象四

C++类与对象四

C类与对象（四） 上期我们介绍了构造函数和析构函数，这期我们来介绍拷贝函数和运算符重载 拷贝函数 在现实生活中，可能存在另一个你。 那在C中，我们是否能创建一个与已知对象一样的新对象呢？ 拷贝构造函数…
阅读更多...
六.python面向对象

六.python面向对象

学过C或者Java的同学一定了解过面向对象的相关内容，编程语言一般分为两种设计方式：面向对象、面向过程，早期的编程语言多是面向过程的，由多个过程组合在一起，而Python在设计的时候就是一种面向对象的语言，因…
阅读更多...
[学习笔记]线段树(全)

[学习笔记]线段树(全)

线段树是一种可以处理区间问题的优秀数据结构. 线段树是一颗二叉树, 其中的每一个节点都代表了某个区间的信息. 普通线段树 这里默认您已经会了以下操作: 建树(以单点修改的形式)单点修改/查询区间查询 如果不会的话请见OI Wiki 着重讲解区间修改中 tag 的用法 对于区间修…
阅读更多...
InternVL-1.1: Enhance Chinese and OCR Capabilities

InternVL-1.1: Enhance Chinese and OCR Capabilities

Blog：https://internvl.github.io/blog/2024-01-24-InternVL-1.1/ 指南：https://internvl.readthedocs.io/en/latest/internvl1.1/introduction.html InternVL-Chat-V1-1 结构类似于 LLaVA，包括一个 ViT、一个 MLP 投影器和一个 LLM。如上图所示，我们通过一个简单的 MLP …
阅读更多...
ubuntu服务器离线安装pytorch（cpu版本）

ubuntu服务器离线安装pytorch（cpu版本）

一、查看服务器是否有nvidia显卡（无输出则没有nvidia显卡，则不需要安装nvidia驱动、cuda、cudnn） lspci | grep -i nvidia 二、本地下载对应版本的torch（对应python版本和linux系统） 注意：cpu版本&#…
阅读更多...
iOS调试真机出现的 “__llvm_profile_initialize“ 错误

iOS调试真机出现的 “__llvm_profile_initialize“ 错误

一、错误形式&#xff1a; app启动就崩溃&#xff0c;如下&#xff1a; Demo__llvm_profile_initialize:0x1045f7ab0 <0>: stp x20, x19, [sp, #-0x20]!0x1045f7ab4 <4>: stp x29, x30, [sp, #0x10]0x1045f7ab8 <8>: add x29, sp, #0x100x1…
阅读更多...
python最新h5st4.9.1调用源码(2025-10-25)

python最新h5st4.9.1调用源码(2025-10-25)

废话不多说&#xff0c;直接上源码&#xff0c;需要技术支持的私。 一、调用js方法&#xff1a; # -*- coding: utf-8 -*- """ -------------------------------------------------Author: byc6352File: jdh5st.pyTime: 2024/10/25 08:03Technical Support:by…
阅读更多...
Python 20个必学实例盘点

Python 20个必学实例盘点

Python 1. 计算器程序&#xff1a; def add(x, y): return x ydef subtract(x, y): return x - ydef multiply(x, y): return x * ydef divide(x, y): try: return x / y except ZeroDivisionError: print("除数不能…
阅读更多...
基于SpringBoot+Vue+uniapp微信小程序的文玩销售小程序的详细设计和实现

基于SpringBoot+Vue+uniapp微信小程序的文玩销售小程序的详细设计和实现

项目运行截图 技术框架 后端采用SpringBoot框架 Spring Boot 是一个用于快速开发基于 Spring 框架的应用程序的开源框架。它采用约定大于配置的理念&#xff0c;提供了一套默认的配置&#xff0c;让开发者可以更专注于业务逻辑而不是配置文件。Spring Boot 通过自动化配置和约…
阅读更多...
【网路原理】——HTTP状态码和Postman使用

【网路原理】——HTTP状态码和Postman使用

阿华代码&#xff0c;不是逆风&#xff0c;就是我疯 你们的点赞收藏是我前进最大的动力&#xff01;&#xff01; 希望本文内容能够帮助到你&#xff01;&#xff01; 目录 引入&#xff1a; 一&#xff1a;状态码 1&#xff1a;状态码标准 2&#xff1a;常见的状态码 ①2…
阅读更多...
依托微信小程序，畅享校园二手交易

依托微信小程序，畅享校园二手交易

作者介绍&#xff1a;✌️大厂全栈码农|毕设实战开发&#xff0c;专注于大学生项目实战开发、讲解和毕业答疑辅导。 &#x1f345;获取源码联系方式请查看文末&#x1f345; 推荐订阅精彩专栏 &#x1f447;&#x1f3fb; 避免错过下次更新 Springboot项目精选实战案例 更多项目…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023