探索分布式技术--------------注册中心zookeeper

news2024/12/26 21:50:40

目录

一、ZooKeeper是什么

二、ZooKeeper的工作机制

三、ZooKeeper特点

四、ZooKeeper数据结构

五、ZooKeeper应用场景

5.1统一命名服务

5.2统一配置管理

5.3统一集群管理

5.4服务器动态上下线

5.5软负载均衡

六、ZooKeeper的选举机制

6.1第一次启动选举机制

6.2非第一次启动选举机制

七、zookeeper集群部署

7.1环境准备

7.2下载安装包

7.3安装 Zookeeper

7.4修改配置文件

7.5拷贝配置好的 Zookeeper 配置文件到其他机器上

7.6在每个节点上创建数据目录和日志目录

7.7在每个节点的dataDir指定的目录下创建一个 myid 的文件

7.8配置 Zookeeper 启动脚本

7.9设置开机自启

7.10分别启动 Zookeeper

7.11查看当前状态

一、ZooKeeper是什么

Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目

二、ZooKeeper的工作机制

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说

Zookeeper = 注册中心+文件系统 + 通知机制

工作机制

1、每个服务端上线时需要到zookeeper集群注册信息

2、客户端从zookeeper集群获取在线服务端信息列表并监听

3、服务端上线下线时，zookeeper需要更新列表信息并通知客户端

4、客户端接收到通知重新获取zookeeper在线服务器列表

三、ZooKeeper特点

（1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群
（2）Zookeeper集群中只要有半数以上节点存活，Zookeeper集群就能正常服务，所以Zookeeper适合安装奇数台服务器
（3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
（4）更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行，即先进先出。
（5）数据更新原子性，一次数据更新要么成功，要么失败。
（6）实时性，在一定时间范围内，Client能读到最新数据。

四、ZooKeeper数据结构

ZooKeeper数据模型的结构与Linux文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

五、ZooKeeper应用场景

提供的服务包括：

统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等

5.1统一命名服务

在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。例如：IP不容易记住，而域名容易记住。

5.2统一配置管理

（1）分布式环境下，配置文件同步非常常见。一般要求一个集群中，所有节点的配置信息是一致的，比如Kafka集群。对配置文件修改后，希望能够快速同步到各个节点上。
（2）配置管理可交由ZooKeeper实现。可将配置信息写入ZooKeeper上的一个Znode。各个客户端服务器监听这个Znode。一旦Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。

5.3统一集群管理

（1）分布式环境中，实时掌握每个节点的状态是必要的。可根据节点实时状态做出一些调整。
（2）ZooKeeper可以实现实时监控节点状态变化。可将节点信息写入ZooKeeper上的一个ZNode。监听这个ZNode可获取它的实时状态变化。

5.4服务器动态上下线

客户端能实时洞察到服务器上下线的变化

5.5软负载均衡

在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求（这边最小连接调度算法嘛）

六、ZooKeeper的选举机制

6.1第一次启动选举机制

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上

（3票），选举无法完成，服务器1状态保持为LOOKING；

（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1

发现服务器2的myid比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器

1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING

（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3

此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。

此时服务器3的票数已经超过半数，服务器3当选Leader。

服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；

（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。

交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；

（5）服务器5启动，同4一样当小弟

比较服务器的myid大小，谁的myid越大则获取其他节点的选票，当选票数量超过服务器节点数量的半数以后，则当选leader，其他节点为follower。即使有新的更大myid节点加入集群，也不变，此时比票数

1.  
    1）服务器1启动后，发起一次选举。   
    2）服务器1投自己一票，此时服务器1只有一票，不够半数以上，选举无法完成    
    3）此时服务器1状态为Looking
------------------------------------------------
2.    
    1）服务器2启动，再发起一次选举。    
    2）服务器1和2分别投服务器2一票（服务器更改刚刚投自己的一票）    
    3）此时服务器1为0票；服务器2为2票，没有半数，选举不成功    
    4）此时，服务器1和2状态为Looking
------------------------------------

（为什么1会投2？：因为服务器2的id比服务器1大，所以服务器1会投服务器2）
------------------------------------------------------
3.     
    1）服务器3启动，发起选举。    
    2）服务器1和2会更改选票，投给服务器3    
    3）此时，服务器3为3票，以超过半数，服务器3当选为领导者    
    4）此时，服务器1和2状态为跟随者，服务器3为领导者
-------------------------------------------------------
4.     
    1）之后服务器启动，会发起选举    
    2）虽然后面的服务器myid都比服务器3大    
    3）但是此时服务器3已经是领导者了，服务器1，2，3不会更改选票信息了    
    4）之后的服务器都将是服务器3的跟随者

6.2非第一次启动选举机制

  • 当zooKeeper 集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举：

    • 服各装初始化启动
    • 服务器运行期间无法和Leader保持连接。

而当一台机器进入Leader选举流程时，当前集群也可能会处于以下两种状态：

  • 集群中本来就已经存在一个Leader

对于已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接，并进行状态同步即可。

  • 集群中确实不存在Leader。

假设zooKeeper由5台服务器组成，SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时sID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举。

选举leader规则：

1.EPOCH大的直接胜出

2.EPOCH相同，事务id大的胜出

3.事务id相同，服务器id大的胜出

SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。（表示服务器的唯一标志id）

ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑速度有关。（表示处理任务的数量）

Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加（表示参与选举的次数）

七、zookeeper集群部署

准备 3 台服务器做 Zookeeper 集群

主机名ip地址安装软件系统版本
zk_kfk1192.168.246.7apache-zookeeper-3.5.7-bin.tar.gzcentos7
zk_kfk2192.168.246.9apache-zookeeper-3.5.7-bin.tar.gzcentos7
zk_kfk3192.168.246.12apache-zookeeper-3.5.7-bin.tar.gzcentos7

7.1环境准备

三台主机同时操作安装，这边仅展示一台

关闭防火墙、防护

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

安装 JDK

#非最小化安装的机器，一般都默认安装的
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version

修改主机名、添加主机映射

7.2下载安装包

#下载安装包，官方下载地址：https://archive.apache.org/dist/zookeeper/

cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz

7.3安装 Zookeeper

tar xf apache-zookeeper-3.5.7-bin.tar.gz 
mv apache-zookeeper-3.5.7-bin /usr/local/zookeeper-3.5.7

7.4修改配置文件

cd /usr/local/zookeeper-3.5.7/conf/
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg
----------------------------------------------------

tickTime=2000   #通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10    #Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量），这里表示为10*2s
syncLimit=5     #Leader和Follower之间同步通信的超时时间，这里表示如果超过5*2s，Leader认为Follwer死掉，并从服务器列表中删除Follwer
dataDir=/usr/local/zookeeper-3.5.7/data  #修改指定保存Zookeeper中的数据的目录，目录需要单独创建
dataLogDir=/usr/local/zookeeper-3.5.7/logs   #添加，指定存放日志的目录，目录需要单独创建
clientPort=2181   #客户端连接端口

配置文件末尾  
#添加集群信息
server.1=192.168.246.7:3188:3288
server.2=192.168.246.9:3188:3288
server.3=192.168.246.12:3188:3288

-------------------------------------------------------------------------------------
server.A=B:C:D
●A是一个数字，表示这个是第几号服务器。集群模式下需要在zoo.cfg中dataDir指定的目录下创建一个文件myid，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
●B是这个服务器的地址。
●C是这个服务器Follower与集群中的Leader服务器交换信息的端口。
●D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口

cd /usr/local/zookeeper-3.5.7/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

dataDir=/usr/local/zookeeper-3.5.7/data
dataLogDir=/usr/local/zookeeper-3.5.7/logs

server.1=192.168.246.7:3188:3288
server.2=192.168.246.9:3188:3288
server.3=192.168.246.12:3188:3288

7.5拷贝配置好的 Zookeeper 配置文件到其他机器上

scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.246.9:/usr/local/zookeeper-3.5.7/conf/
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.246.12:/usr/local/zookeeper-3.5.7/conf/

7.6在每个节点上创建数据目录和日志目录

mkdir /usr/local/zookeeper-3.5.7/data
mkdir /usr/local/zookeeper-3.5.7/logs

7.7在每个节点的dataDir指定的目录下创建一个 myid 的文件

echo 1 > /usr/local/zookeeper-3.5.7/data/myid
echo 2 > /usr/local/zookeeper-3.5.7/data/myid
echo 3 > /usr/local/zookeeper-3.5.7/data/myid

7.8配置 Zookeeper 启动脚本

vim /etc/init.d/zookeeper

#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)
        echo "---------- zookeeper 启动 ------------"
        $ZK_HOME/bin/zkServer.sh start
;;
stop)
        echo "---------- zookeeper 停止 ------------"
        $ZK_HOME/bin/zkServer.sh stop
;;
restart)
        echo "---------- zookeeper 重启 ------------"
        $ZK_HOME/bin/zkServer.sh restart
;;
status)
        echo "---------- zookeeper 状态 ------------"
        $ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

7.9设置开机自启

chmod +x /etc/init.d/zookeeper 
chkconfig --add zookeeper

7.10分别启动 Zookeeper

service zookeeper start

7.11查看当前状态

service zookeeper status

//拷贝配置好的 Zookeeper 配置文件到其他机器上
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.246.9:/usr/local/zookeeper-3.5.7/conf/
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.10.22:/usr/local/zookeeper-3.5.7/conf/

//在每个节点上创建数据目录和日志目录
mkdir /usr/local/zookeeper-3.5.7/data
mkdir /usr/local/zookeeper-3.5.7/logs

//在每个节点的dataDir指定的目录下创建一个 myid 的文件
echo 1 > /usr/local/zookeeper-3.5.7/data/myid
echo 2 > /usr/local/zookeeper-3.5.7/data/myid
echo 3 > /usr/local/zookeeper-3.5.7/data/myid

//配置 Zookeeper 启动脚本
vim /etc/init.d/zookeeper
#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)
	echo "---------- zookeeper 启动 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重启 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 状态 ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

//	设置开机自启
chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper

//分别启动 Zookeeper
service zookeeper start

//查看当前状态
service zookeeper status

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1596981.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

家居网购项目（Ajax验证用户名+上传图片）

家居网购项目（Ajax验证用户名+上传图片）

文章目录 1.Ajax验证用户名1.程序框架图2.修改MemberServlet3.修改login.jsp4.结果展示 2.Ajax判断验证码是否输入正确1.修改MemberServlet2.修改login.jsp3.结果展示 3.Ajax添加购物车1.程序框架图2.修改CartServlet2.修改index.jsp3.解决问题—未登录直接添加购物车&#xff…
阅读更多...
Excel文件解析

Excel文件解析

在此模块的学习中，我们需要一个新的开源类库---Apahche POI开源类库。这个类库的用途是：解析并生成Excel文件(Word、ppt)。Apahche POI基于DOM方式进行解析，将文件直接加载到内存，所以速度比较快，适合Excel文件数据量不…
阅读更多...
没有算法大佬，都是草台班子

没有算法大佬，都是草台班子

没有算法大佬，都是草台班子。 最近除了工作之外，还有一些时间在和加我微信的小伙伴沟通，聊的内容大部分集中在如何快速有效的学习人工智能、入门人工智能的技巧。 其中，一个知乎过来加我微信的小伙伴的经历更是让我感触很深。 …
阅读更多...
eclipse导入maven项目与配置使用本地仓库

eclipse导入maven项目与配置使用本地仓库

前言 本人润国外了，发现不能用收费软件IDEA了，需要使用eclipse，这个免费。 但是早忘了怎么用了，在此总结下。 一、eclipse导入本地项目 1.选这个：open projects from file system… 2.找到项目文件夹，…
阅读更多...
树莓派点亮双色LED

树莓派点亮双色LED

双色LED灯准确来说叫双基色LED灯，是指模块只能显示2种颜色，一般是红色和绿色，可以有三种状态 ：灭，颜色1亮，颜色2亮，根据颜色组合的不同，分为红蓝双色，黄蓝双色，红绿双色等等。 接线：将引脚S（绿色）和中间引脚（红色）连接到Raspberry Pi的GPIO接口上，对Raspberry…
阅读更多...
《QT实用小工具·二十六》运行时间记录

《QT实用小工具·二十六》运行时间记录

1、概述 源码放在文章末尾 运行时间记录，包含如下功能： 可以启动和停止服务，在需要的时候启动。 可以指定日志文件存放目录。 可以指定时间日志输出间隔。 可以单独追加一条记录到日志文件。 日志为文本格式，清晰明了。 软…
阅读更多...
JavaScript排序大揭秘：手绘图解6大常见排序算法，一网打尽

JavaScript排序大揭秘：手绘图解6大常见排序算法，一网打尽

前言 📫 大家好，我是南木元元，热爱技术和分享，欢迎大家交流，一起学习进步！ 🍅 个人主页：南木元元 本文用图解总结梳理了6种常见的排序算法 ，如下👇&#xff1…
阅读更多...
【热门话题】PyTorch：深度学习领域的强大工具

【热门话题】PyTorch：深度学习领域的强大工具

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要，勿增实体" 文章目录 PyTorch：深度学习领域的强大工具一、PyTorch概述二、PyTorch核心特性…
阅读更多...
WGCNA分析

WGCNA分析

目录 基本概念 基本原理 下游分析 基本概念 WGCNA其译为加权基因共表达网络分析。该分析方法旨在寻找协同表达的基因模块(module)，并探索基因网络与关注的表型之间的关联关系，以及网络中的核心基因。 适用于复杂的数据模式（推荐5组(或者…
阅读更多...
JavaEE企业开发新技术5

JavaEE企业开发新技术5

目录 2.18 综合应用-1 2.19 综合应用-2 2.20 综合应用-3 2.21 综合应用-4 2.22 综合应用-5 Synchronized ： 2.18 综合应用-1 反射的高级应用 DAO开发中，实体类对应DAO的实现类中有很多方法的代码具有高度相似性，为了提供代码的复用性,降低…
阅读更多...
Zookeeper与Kafka消息队列

Zookeeper与Kafka消息队列

目录 一、Zookeeper 1、zookeeper简介 2、zookeeper的特点 3、zookeeper的工作模式跟工作机制 3.1 工作模式： 3.2工作机制：​编辑 4、zookeeper应用场景及选举机制 4.1 应用场景： 4.2 选举机制： 4.2.1第一次启动选举机制…
阅读更多...
＜计算机网络自顶向下＞ CDN

＜计算机网络自顶向下＞ CDN

视频服务挑战 规模性异构性：不同用户有不同的能力（比如有线接入和移动用户；贷款丰富和受限用户）解决方法是：分布式的应用层面的基础设施CDN 多媒体：视频 视频是固定速度显示的一系列图像的序列&#xff…
阅读更多...
MySQL 使用C语言

MySQL 使用C语言

一般使用MySQL很少用命令行，一般都是通过程序内部使用，MySQL也为不同的语言定制了不同的头文件和库函数，可以在自己的程序中通过包含头文件和编译时候链接库函数来使用MySQL。 现在一般安装MySQL的时候就会自动给你安装库函数和头文件。 可…
阅读更多...
python爬虫------- Selenium下篇（二十三天）

python爬虫------- Selenium下篇（二十三天）

🎈🎈作者主页： 喔的嘛呀🎈🎈 🎈🎈所属专栏：python爬虫学习🎈🎈 ✨✨谢谢大家捧场，祝屏幕前的小伙伴们每天都有好运相伴左右，一定要天天…
阅读更多...
11.哀家要长脑子了！

11.哀家要长脑子了！

目录 1.453. 最小操作次数使数组元素相等 - 力扣（LeetCode） 2.665. 非递减数列 - 力扣（LeetCode） 3. 283. 移动零 - 力扣（LeetCode） 4. 3114. 替换字符可以得到的最晚时间 - 力扣（LeetCode…
阅读更多...
构建第一个ArkTS用的资源分类与访问

构建第一个ArkTS用的资源分类与访问

应用开发过程中，经常需要用到颜色、字体、间距、图片等资源，在不同的设备或配置中，这些资源的值可能不同。 应用资源：借助资源文件能力，开发者在应用中自定义资源，自行管理这些资源在不同的设备或配置中的表…
阅读更多...
Redis实现延迟任务的几种方案

Redis实现延迟任务的几种方案

🏷️个人主页：牵着猫散步的鼠鼠 🏷️系列专栏：Java全栈-专栏 🏷️个人学习笔记，若有缺误，欢迎评论区指正 目录 1.前言 2.Redis如何实现延迟任务？ 3.代码实现 3.1. 过期键通知事…
阅读更多...
【Java】maven的生命周期和概念图

【Java】maven的生命周期和概念图

maven的生命周期： 在maven中存在三套"生命周期"，每一套生命周期,相互独立,互不影响的,但是中同一套生命周期里,执行后面的命令会自动先执行前面的命令 CleanLifeCycle：清理的生命周期 clean defaultLifeCycle：默认的…
阅读更多...
智能物联网远传冷水表管理系统

智能物联网远传冷水表管理系统

智能物联网远传冷水表管理系统是一种基于物联网技术的先进系统，旨在实现对冷水表的远程监测、数据传输和智能化管理。本文将从系统特点、构成以及带来的效益三个方面展开介绍。 系统特点 1.远程监测：系统可以实现对冷水表数据的远程监测，无…
阅读更多...
趣话最大割问题：花果山之群猴博弈

趣话最大割问题：花果山之群猴博弈

内容来源：量子前哨（ID：Qforepost） 编辑丨浪味仙 排版丨 沛贤 深度好文：3000字丨15分钟阅读 趋利避害，是所有生物遵循的自然法则，人类也不例外。 举个例子，假如你是某生鲜平台的配…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023