【Zookeeper】学习笔记(一)

news2024/12/27 13:29:15

Zookeeper学习笔记

  • 一、概述
    • 1.1、Zookeeper
    • 1.2、Zookeeper工作机制
    • 1.3、Zookeeper特点
    • 1.4、数据结构
    • 1.6、应用场景
      • 1.6.1、统一命名服务
      • 1.6.2、统一配置管理
      • 1.6.3、统一集群管理
      • 1.6.4、服务器动态上下线
      • 1.6.5、软负载均衡
  • 二、下载安装
    • 2.1、集群规划
    • 2.1、集群规部署
  • 三、zk选举
    • 3.1、第一次启动选举
    • 3.2、非第一次启动的选举

一、概述

1.1、Zookeeper

Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。

1.2、Zookeeper工作机制

Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

1.3、Zookeeper特点

在这里插入图片描述

  1. Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。
  2. 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
  3. 全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。
  4. 更新请求顺序执行,来自同一个Client的更新请求按其发送顺序依次执行。
  5. 数据更新原子性,一次数据更新要么成功,要么失败。
  6. 实时性,在一定时间范围内,Client能读到最新数据。

1.4、数据结构

ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每一个ZNode.,默认能够存储1MB 的数据,每个ZNode都可以通过其路径唯一标识

在这里插入图片描述

1.6、应用场景

1.6.1、统一命名服务

IP不容易记住,而域名容易记住。
在这里插入图片描述

1.6.2、统一配置管理

  1. 分布式环境下,配置文件同步非常常见。
    (1)一般要求一个集群中,所有节点的配置信息是一致的,比如Kafka集群。
    (2)对配置文件修改后,希望能够快速同步到各个节点上。
  2. 配置管理可交由ZooKeeper实现。
    (1)可将配置信息写入ZooKeeper上的一个Znode。
    (2)各个客户端服务器监听这个Znode。
    (3)一旦Znode中的数据被修改,ZooKeeper将通知各个客户端服务器。
    在这里插入图片描述

1.6.3、统一集群管理

  1. 分布式环境中,实时掌握每个节点的状态是必要的。
    (1)可根据节点实时状态做出一些调整。
  2. ZooKeeper可以实现实时监控节点状态变化
    (1)可将节点信息写入ZooKeeper上的一个ZNode。(2)监听这个ZNode可获取它的实时状态变化。

1.6.4、服务器动态上下线

客户端能实时洞察到服务
器上下线的变化

1.6.5、软负载均衡

在Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求

二、下载安装

2.1、集群规划

zk01zk02zk03
ip:端口192.168.3.34:2181192.168.3.35:2181192.168.3.36:2181
myId123

2.1、集群规部署

官网
稳定版本3.5.7

首先需要安装JDK 安装JDK教程

将下载的zk上传到服务器并解压

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz

先在解压后的文件里创建一个datas文件夹并赋权777
在这里插入图片描述

在建立的datas里创建一个文本myid 并输入相关的id保存

然后将conf/zoo_sample.cfg 改名成zoo.cfg

# 通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒
tickTime=2000
# LF初始通信时限
# Leader和Follower初始连接时能容忍的最多心跳数
initLimit=10
# LF同步通信时限
# Leader和Follower之间通信时间如果超过syncLimit * tickTime
# Leader认为Follwer死掉,从服务器列表中删除Follwer。
syncLimit=5
# 保存Zookeeper中的数据
dataDir=/usr/soft/zookeeper/datas
# 客户端连接端口,通常不做修改
clientPort=2181

# 集群配置信息
  # 配置格式:server.A=B:C:D
  # server:固定写法
  # A:是一个数字,表示这个服务器的编号
  # B:是这个服务器的ip地址或主机名
  # C:Zookeeper服务器之间的数据同步等通信端口
  # D:Leader选举的端口
server.1=192.168.3.34:2888:3888
server.2=192.168.3.35:2888:3888
server.3=192.168.3.36:2888:3888

关闭防火墙

systemctl stop firewalld.service
#关闭防火墙开机自启
systemctl disable firewalld.service

Zookeeper启停

# 进入Zookeeper的bin文件夹启动服务器
# 启动zookeeper 每一个都要输入
./zkServer.sh start

# 查看状态
./zkServer.sh status

# 停止
./zkServer.sh stop

# 进入zookeeper的bin文件夹启动客户端
./zkCli.sh
ls /

三、zk选举

3.1、第一次启动选举

  1. 服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
  2. 服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid 比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING
  3. 服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
  4. 服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
  5. 服务器5启动,同4一样

SID服务器ID。用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致。

ZXID:事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻,集群中的每台机器的ZXID值不一定完全一致,这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。

Epoch每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

3.2、非第一次启动的选举

  1. 当ZooKeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:
  • 服务器初始化启动。
  • 服务器运行期间无法和Leader保持连接。
  1. 而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:
  • 集群中本来就已经存在一个Leader。
    对于第一种已经存在Leader的情况,机器试图去选举Leader时,会被告知当前集群的Leader信息,对于该机器来说,仅仅需要和Leader机器建立连接,并进行状态同步即可。
  • 集群中确实不存在Leader。
    假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8、8、8、7、7,并且此时SID为3的服务器是Leader。某一时刻,3和5服务器出现故障,因此开始进行Leader选举。
  • 选举Leader规则:①EPOCH大的直接胜出②EPOCH相同,事务id大的胜出③事务id相同,服务器id大的胜出

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/71602.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

A-Level商务例题解析及练习

今日知识点: Marketing mix Place Price Promotion Product例题 Q: Discuss the best ways a car manufacturer could use the marketing mix to increase its share of the market. (20)解析 Answers could include: Marketing mix as a framework/process for ide…

基于RFID的物流智能仓储系统的研究(基于STM32的智能仓储系统)

提示:记录做的毕设 文章目录前言一、功能要求:二、代码思路三、硬件说明四、部分代码以及框图等资料五、联系我喜欢请点赞哦!前言 随着经济的发展,对企业的生产经营要求提高,企业必须综合利用各种先进技术,在网络与信…

VUE3 响应式 API 之 toRef 与 toRefs

相信各位开发者看到这里时,应该已经对 ref 和 reactive API 都有所了解了,为了方便开发者使用, Vue 3 还推出了两个与之相关的 API : toRef 和 toRefs ,都是用于 reactive 向 ref 转换。 各自的作用 这两个 API 在拼写…

Java安全--CC1的补充和CC6

CC1的补充 上一次讲的是cc链的一种形式,这个补充的cc链子是yso的cc链。 这个链子确实比较麻烦,但是和我们下一步要学习的cc6有比较紧的联系。所以做一下补充,值得一提的是这个链子也确实很巧妙 我们看一下两条链子的分歧在哪里: 从…

[附源码]Python计算机毕业设计Django影评网站系统

项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等。 环境需要 1.运行环境:最好是python3.7.7,…

在地图上基于OpenLayers实现点/线/面静态的绘制显示

在做GIS相关的工作过程中,是离不开矢量的数据的。矢量作为最基础的数据形式,一般通用在各个项目中。在导航软件开发或者应用中,点/线/面的标记,标绘,显示等都是不可缺少的。本文主要是来介绍在地图上基于OpenLayers实现…

Qt-数据库开发-QTableView操作数据库(2)

Qt-数据库开发-QTableView操作数据库、自增Key 文章目录Qt-数据库开发-QTableView操作数据库、自增Key1、概述2、实现效果3、主要代码4、完整源代码更多精彩内容👉个人内容分类汇总 👈👉数据库开发 👈 1、概述 在开发数据库开发时…

40 | Linux安装node.js

1 环境准备 系统为ubuntu系统 2 下载压缩包 2.1 参考地址: https://nodejs.org/zh-cn/download/releases/2.2 创建文件夹 mkdir software wget https://nodejs.org/download/release/v16.18.0/node-v16.18.0-linux-x64.tar.gz2.3 解压 2.3.1 解压二进制文件…

docker——对镜像的操控笔记

一:镜像在哪里 这个问题问到点子上了,就好像说肉好吃,那你告诉我哪里才能买的到? 1. docker官方渠道 docker官方有一个 Docker Hub 网址,你能想到和想不到的镜像这上面都有,比如web开发者熟悉的nginx,redis,mongodb等等,而且还告诉 你怎么去下载,如下图: 接下来你可…

【Zookeeper】学习笔记(二)

Zookeeper学习笔记四、客户端命令4.1、新增节点4.2、查询节点信息4.3、节点类型4.4、更新节点4.5、删除节点4.6、监听器五、SpringBOOT整合Zookeeper六、写数据流程6.1、写流程之写入请求直接发送给Leader节点6.2、写流程之写入请求发送给follower节点七、服务器动态上下线监听…

Matlab 中 global 函数实例解析

目录 global 函数 案例分析 1 案例分析 2 使用golbal的优点 1. 传递大数据的参数 2. 过多的常量需要传递 global 函数 比如在主函数里面,你需要设置 Nc 这个变量是一个全局变量,就需要声明一下: global Nc; 然后在子函数里面你又用到了…

EMQX 多版本发布、新增自定义函数功能

11 月,EMQX 开源版和企业版分别发布了多个迭代版本,在安全性保障和生态集成方面又有了新的提升。 MQTT 消息云服务 EMQX Cloud 推出了新功能——自定义函数,用户可以更方便地将 IoT 数据处理为符合数据流的数据格式。 EMQX 11 月 EMQX 开源…

记一次golang struct字符串值被挤掉(被异常修改)的问题

使用的是gofiber框架,在包内设置了一个全局变量来保存数据,如下: var list make(map[int64]*Task, 10) type Task struct {ID int64Name string }gofiber设置了两个接口,一个是创建: func Create(c *fiber.Ctx) error {task : …

投票评选小程序毕业设计,微信投票小程序系统设计与实现,微信小程序毕业设计论文怎么写毕设源码开题报告需求分析怎么做

项目背景和意义 目的:本课题主要目标是设计并能够实现一个基于微信小程序评选投票系统,前台用户使用小程序,后台管理使用基PHPMySql的B/S架构;通过后台添加资讯、管理上传投票信息、用户管理等;用户通过小程序登录&…

高等数学(第七版)同济大学 总习题十 (前6题)个人解答

高等数学(第七版)同济大学 总习题十(前6题) 函数作图软件:Mathematica 1.填空:\begin{aligned}&1. \ 填空:&\end{aligned}​1. 填空:​​ (1)积分∫02dx∫x2e−y2dy的值是_…

[附源码]Python计算机毕业设计Django作业管理系统

项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等。 环境需要 1.运行环境:最好是python3.7.7,…

Linux keepalived高可用集群+keepaliced+LVS

Linux keepalived高可用集群keepalicedLVS keepalivedlvs集群 环境准备 拓扑: 192.168.0.116 dr1 负载均衡器 192.168.0.117 dr2 负载均衡器 192.168.0.118 rs1 web1 192.168.0.119 rs2 web2 1.在master上安装配置Keepalived: yum install keepalived ipvsadm…

需求响应|动态冰蓄冷系统与需求响应策略的优化研究(Matlab代码实现)

💥💥💥💞💞💞欢迎来到本博客❤️❤️❤️💥💥💥 📝目前更新:🌟🌟🌟电力系统相关知识,期刊论文&…

WEB静态网页作业 我的家乡南宁 家乡旅游网页设计制作 简单静态HTML网页作品

家乡旅游景点网页作业制作 网页代码运用了DIV盒子的使用方法,如盒子的嵌套、浮动、margin、border、background等属性的使用,外部大盒子设定居中,内部左中右布局,下方横向浮动排列,大学学习的前端知识点和布局方式都有…

Spring Boot + Redis 解决重复提交问题,一文带你搞懂,最详细教程

文章目录**前言****搭建 Redis 服务 API****自定义注解 AutoIdempotent****token 创建和检验****拦截器的配置****测试用例****总结**前言 在实际的开发项目中,一个对外暴露的接口往往会面临很多次请求,我们来解释一下幂等的概念:任意多次执行所产生的影…