深入理解Zookeeper系列-1.初识Zoookeeper

news2024/11/19 9:40:07
  • 👏作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家
  • 📕系列专栏:Spring源码、JUC源码、Kafka原理、分布式技术原理
  • 🔥如果感觉博主的文章还不错的话,请👍三连支持👍一下博主哦
  • 🍂博主正在努力完成2023计划中:源码溯源,一探究竟
  • 📝联系方式:nhs19990716,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬👀

文章目录

    • Zookeeper是什么?
    • 怎么去设计
      • leader
      • follower
      • Observer
      • 集群组成
    • 安装部署
    • 数据结构
    • Zookeeper可以解决那些实际问题
      • 有序队列的使用场景
      • 同级节点的唯一性
      • 节点元数据
      • watcher(监听机制)

Zookeeper是什么?

将其定义为分布式协调

简单来说,就是一个分布式系统下,有多个节点,每个节点一个请求,但是所有的节点只能确定一个请求被通过,而这个而通过的是所有节点达成一致的结果。

Google Chubby(不开源产品)其解决了分布式一致性

在这里插入图片描述

我们有多个不同的数据节点,如果我们去发起创建订单和扣减库存这两个动作,它分别落在不同的节点,如果我们要保证数据的一致性,可以考虑使用这种方案。其实就是解决分布式场景下达成一致的方式。

我们如何在不可靠的分布式场景中,基于某一个提议达成一致,这个一致是每一个节点都需要赞同的。

zookeeper是协调分布式下多个节点之间访问顺序的问题,所以也叫顺序一致性的中间件。而这个方式有点像实现锁的方式,所以zookeeper也能实现分布式锁,所以本质上其实就是一种锁的服务。

zookeeper是一种cp模型

在这里插入图片描述

怎么去设计

leader

  • 整个集群中的调度节点
  • 数据同步

follower

  • 高可用特性

  • 参与投票(leader选举的投票,数据达成一致的投票)

  • 处理客户端的请求(提升集群性能)这样设计到扩容,但是并不是节点越多性能越好,因为涉及到了数据同步,这里面有一个思想叫做 过半提交 ,比如当发起一个操作的时候,整个集群中至少要有过半的节点认为这是成功的,才会成功返回给后端,也就会导致follower会参与到这个过程中来。正是因为这样,如果盲目的扩容,最终就会导致因为过多的follower参与而导致性能下降。

Observer

主要是为了解决 增加follower节点而导致的性能问题,其并不需要参与投票,但是会参与数据的同步,只需要跟leader节点保持一致。简单来说,observer服务器只提供非事务请求服务,通常在于不影响集群事物事务处理能力的前提下提升集群非事务处理的能力。

在这里插入图片描述

在这里插入图片描述

如果超过了半数,那么就认为事务是成功的,那么就返回。

在这里插入图片描述

提交事务

如果是过半提交,那么就意思着其不是强一致的。如果是强一致的话,就必然影响到整个集群的吞吐和性能。

而这个方式就是一个典型的2pc协议。

在这里插入图片描述

2pc协议是一个强一致性协议,如果想实现2pc,在这里的情况就是所有的节点都必须要成功,如果有一个失败,那么就不行,协议定义的是一种规范和标准。所以zookeeper也是使用了2pc的方式,只不过它是改进版本的,不需要全部成功,只需要过半就可以了。

集群组成

怎么要满足过半,所以一般是由2n+1台server组成,每个server都知道彼此的存在。每个server都维护的内存状态镜像以及持久化存储的事务日志和快照。对于2n+1台server,只要有n+1台(大多数)server可用,整个系统保持可用。我们已经了解到,一个zookeeper集群如果要对外提供可用的服务,那么集群中必须要有过半的机器正常工作并且彼此之间能够正常通信,基于这个特性,如果向搭建一个能够允许F台机器down掉的集群,那么就要部署2*F+1台服务器构成的zookeeper集群。

因此3台机器构成的zookeeper集群,能够在挂掉一台机器后依然正常工作。一个5台机器集群的服务,能够对2台机器怪调的情况下进行容灾。如果一台由6台服务构成的集群,同样只能挂掉2台机器。因此,5台和6台在容灾能力上并没有明显优势,反而增加了网络通信负担。系统启动时,集群中的server会选举出一台server为Leader,其它的就作为follower(这里先不考虑observer角色)。

之所以要满足这样一个等式,是因为一个节点要成为集群中的leader,需要有超过及群众过半数的节点
支持,这个涉及到leader选举算法。同时也涉及到事务请求的提交投票

安装部署

部署好后,连接发现

在这里插入图片描述

这就意味着zookeeper可以存储一些数据在里面,可以针对性的对数据进行一些操作。

数据结构

在这里插入图片描述

key代表名字,value代表值

当dubbo作为服务中心的时候,会像zookeeper写入一些信息

在这里插入图片描述

它还有临时节点(生命周期) 、持久化节点、以及有序节点(递增的序列号)。

对于其树形结构来说,先有父节点,再有子节点,当然临时节点下不能存在子节点(如果临时节点失效了,那么子节点怎么办呢?)。

同级节点下,节点名字必须是唯一的。

当了解了节点,除了做注册中心,还可以做配置中心

在这里插入图片描述

所以以上就是 服务注册 和 配置中心的简单示意图。

在这里插入图片描述

学到这里,其实技术是存在一个取舍的,但是功能是可以实现的,甚至用数据库来实现其实都可以,无非就是一个统一的存储,然后做个监听数据的变化,那么我们可以监听数据库的变化呀,去触发一些动作也没什么问题,只不过就是会复杂一些,可行性是有的。

剩下的就是针对对应的节点做crud了。

create /nhs
create /nhs/test "test"

create [-s] [-e] [-c] [-t ttl] path [data] [acl]
-s:表示创建的 znode 为顺序节点,即在节点名称后面添加一个自增的数字后缀;
-e:表示创建的 znode 为临时节点,即客户端与 ZooKeeper 断开连接后,该节点会自动删除;
-c:表示创建的 znode 为容器节点,即该节点可以拥有子节点;
-t ttl:表示创建的 znode 有一个 TTL(Time To Live)值,即生存时间,超过该时间后节点将被删除;
path:表示新创建的 znode 的路径;
data:表示新创建的 znode 的数据内容;
acl:表示新创建的 znode 的 ACL(Access Control List),即访问控制列表。

Zookeeper可以解决那些实际问题

有序队列的使用场景

有序节点: 全局ID

分布式锁 (ZooKeeper中的有序节点能够用于实现分布式锁的主要原因在于其顺序临时节点的特性。当多个客户端尝试创建有序临时节点时,ZooKeeper会为每个节点赋予一个唯一的递增顺序号,并且客户端创建的节点将按照顺序号从小到大排列。)

基于这一特性,可以利用ZooKeeper有序节点来实现分布式锁的过程如下:

  1. 每个客户端需要获取锁时,在指定的ZooKeeper节点下创建一个有序临时节点。
  2. 客户端可以通过获取当前指定节点下所有子节点,并且判断自己创建的节点是否为序号最小的节点,如果是,则表示客户端获得了锁;否则,客户端需要监听比自己序号小的节点的变化事件。
  3. 如果前面的节点释放了锁,那么其它客户端对应创建的节点会收到通知,进而继续尝试获取锁。

分布式队列

同级节点的唯一性

分布式锁

节点元数据

stat /nhs 显示节点的元数据

cZxid = 0x6 //节点被创建的事务zxid
ctime = Sat Sep 05 21:26:15 CST 2020 //创建时间
mZxid = 0x6 //修改的事务id
mtime = Sat Sep 05 21:26:15 CST 2020 //修改时间
pZxid = 0x8 //子节点列表中最后一次被修改的zxid
cversion = 1 //子节点版本号 (乐观锁)
dataVersion = 0 //当前节点版本号
aclVersion = 0 //权限版本号
ephemeralOwner = 0x0 //临时节点的所属会话
dataLength = 0 //数据的长度
numChildren = 1 //子节点数量(当前节点)

watcher(监听机制)

比如服务注册,有两个难点

1.服务的管理

2.服务的上下线感知

当我的服务提供者发生上下线变化的时候,那么需要去感知移除那个,最好的设置方式就是临时节点,当服务挂掉的时候,不需要去触发什么东西,zookeeper会去检测其心跳。

在这里插入图片描述

其中service provider是持久化节点。

上图的这个机制就叫做watcher

zookeeper提供了分布式数据的发布/订阅功能,zookeeper允许客户端向服务端注册一个watcher监听,当服务端的一些指定事件触发了watcher,那么服务端就会向客户端发送一个事件通知。

值得注意的是,Watcher通知是一次性的,即一旦触发一次通知后,该Watcher就失效了,因此客户端需要反复注册Watcher,即程序中在process里面又注册了Watcher,否则,将无法获取c3节点的创建而导致子节点变化的事件。

配置中心的变更也是这样

在这里插入图片描述

配置中心能够应用主要是其 key value结构。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1276006.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

LLM算法工程师面试题总结

一、请简述对大模型的基本原理和架构的理解。 大型语言模型如GPT(Generative Pre-trained Transformer)系列是基于自注意力机制的深度学习模型,主要用于处理和生成人类语言。下面简要概述了它们的一些基本原理和架构特点: 基本原…

springBoot3.2 + jdk21 + GraalVM上手体验

springBoot3.2 jdk21 GraalVM上手体验 SpringBoot2.x官方已经停止维护了,jdk8这次真的得换了🤣 可以参考官方文章进行体验:https://spring.io/blog/2023/09/09/all-together-now-spring-boot-3-2-graalvm-native-images-java-21-and-virt…

对el-button封装使用

x改变el-button样式并且多处使用 el-button封装&#xff1a; <template><el-buttonclass"my-btn":style"{ width }":disabled"disabled"click"myClick"mouseenter"person.active true"mouseleave"person.ac…

计算机视觉(OpenCV+TensorFlow)

计算机视觉&#xff08;OpenCVTensorFlow&#xff09; 文章目录 计算机视觉&#xff08;OpenCVTensorFlow&#xff09;前言3.图像金字塔3.1 高斯金字塔3.2 拉普拉斯金字塔 4.图像轮廓图像边缘和图像轮廓的区别检测图像绘制边缘 5.轮廓近似外接矩形外接圆 6. 模板匹配6.1 什么是…

Python实现FA萤火虫优化算法优化BP神经网络分类模型(BP神经网络分类算法)项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 萤火虫算法&#xff08;Fire-fly algorithm&#xff0c;FA&#xff09;由剑桥大学Yang于2009年提出 , …

系列十五、SpringBoot的启动原理分析

一、概述 所谓SpringBoot的启动原理&#xff0c;翻译成大白话就是"当我们在主启动类上运行run方法时&#xff0c;SpringBoot底层到底做了什么事情&#xff0c;能够帮助我们启动一个Spring的web应用"&#xff0c;上边用大白话解释了一下什么是SpringBoot的启动原理&am…

百度文心一言AI大模型,解读徐礼昭提出的“三体零售”模型

徐礼昭提出的“三体零售”模型是一种创新的零售理论模型&#xff0c;该模型将零售基础物质、零售商业能量和零售数字化系统视为一个相互作用的复杂有机体。这一理论模型为零售行业的发展提供了全新的视角和更高维度的认知。 首先&#xff0c;零售基础物质是零售行业的基石&…

cocos 关于多个摄像机,动态添加节点的显示问题,需要动态修改layer。(跟随摄像机滚动)(神坑官网也不说明一下)

参考文章&#xff1a;Cocos 3.x 层级Layer - 简书 2D镜头跟随应该怎么实现呢 - Creator 3.x - Cocos中文社区 关于多个摄像机&#xff0c;动态添加节点的显示问题&#xff0c;需要动态修改layer&#xff1f; 场景&#xff1a;在制作摄像机跟随角色移动功能时&#xff0c;新增…

RPG项目01_场景及人物动画管理器

基于“RPG项目01_UI登录”&#xff0c;新建一个文件夹名为Model&#xff08;模型&#xff09; 将资源场景拖拽至Model中 找到相应场景双击进入 红色报错部分Clear清掉即可&#xff0c;我们可以重做 接下来另存场景 起名为Game 点击保存 场景就保存至Scene中了 在文件夹下新创建…

jsp前端输入中文数据传到controller变成问号?的解决办法

还是写老师布置的实验的时候&#xff0c;解决了xml文件找不到的问题之后又遇到新的问题&#xff1a;前端登录处输入用户名和密码&#xff0c;结果明明输入的用户名是对的密码也是对的&#xff08;输入的用户名是中文&#xff09;&#xff0c;它就是显示用户名或密码错误。然后我…

2012-2021年银行数字化转型程度数据(根据年报词频计算)

2012-2021年银行数字化转型程度&#xff08;根据年报词频计算&#xff09; 1、时间&#xff1a;2012-2021年 2、指标&#xff1a;银行名称、年份、数字化转型程度 3、范围&#xff1a;52家银行&#xff08;上海银行、中信银行、中国银行、交通银行、光大银行、兰州银行、兴业…

电子学会C/C++编程等级考试2021年06月(四级)真题解析

C/C++等级考试(1~8级)全部真题・点这里 第1题:数字三角形问题 (图1) 图1给出了一个数字三角形。从三角形的顶部到底部有很多条不同的路径。对于每条路径,把路径上面的数加起来可以得到一个和,你的任务就是找到最大的和。 注意:路径上的每一步只能从一个数走到下一层上和它…

熬夜会秃头——Beta冲刺总结随笔

这个作业属于哪个课程2301-计算机学院-软件工程社区-CSDN社区云这个作业要求在哪里团队作业—beta冲刺事后诸葛亮-CSDN社区这个作业的目标总结Beta冲刺团队名称熬夜会秃头团队置顶集合随笔链接熬夜会秃头——Beta冲刺置顶随笔-CSDN社区 目录 一、Beta冲刺开始前设立的任务完成…

ios 长传发布审核+safari浏览器,直接安装ipa文件

蒲公英二维码方法 个人开发者账号发布证书AD-hoc 描述文件蒲公英上传链接通过苹果safari 浏览器下载IPA包 浏览器下载方法 前置条件 1.下载 ipa 包的设备的 uuid 已加入 苹果测试设备列表如何添加到测试列表 2.web 服务, 文件服务. 3.需要AD-hoc 描述文件 添加链接描述 1.创…

微软 Power Platform 零基础 Power Pages 网页搭建教程学习实践进阶以及常见问题解答(二)

微软 Power Platform 零基础 Power Pages 网页搭建教程学习实践进阶及常见问题解答&#xff08;二&#xff09; Power Pages 学习实践进阶 微软 Power Platform 零基础 Power Pages 网页搭建教程学习实践进阶及常见问题解答&#xff08;二&#xff09;Power Pages 核心工具和组…

动态规划 | 背包问题总结

参考-代码随想录 在讲解背包问题的时候&#xff0c;我们都是按照如下五部来逐步分析&#xff0c;相信大家也体会到&#xff0c;把这五部都搞透了&#xff0c;算是对动规来理解深入了。 确定dp数组&#xff08;dp table&#xff09;以及下标的含义 确定递推公式 dp数组如何初始…

线性表——(3)线性表的链式存储及其运算的实现

一、前言&#xff1a; 由于顺序表的存储特点是用物理上的相邻关系实现逻辑上的相邻关系&#xff0c;它要求用连续的存储单元顺序存储线性表中各数据元素&#xff0c;因此&#xff0c;在对顺序表进行插入、删除时&#xff0c;需要通过移动数据元素来实现&#xff0c;这影响了运行…

玩转大数据4:大数据的崛起与应用领域探索

图片来源网络 引言 在当今数字化时代&#xff0c;大数据正以前所未有的速度和规模崛起。大数据的出现不仅改变了企业和组织的经营模式&#xff0c;也对我们的社会生活带来了深刻的影响。Java作为一种广泛使用的编程语言&#xff0c;在大数据领域发挥着重要的作用。本文将重点…

UniGui应用自适应PC和Mobile

先按常规方式创建UniGui PC端应用&#xff0c;然后按下图添加Mobile MainForm和Mobile Login Form&#xff08;需要时&#xff09;&#xff0c;添加后打开网址时UNIGUI应用会根据客户端类型自动调用PC或移动端模式。

解决windows蓝牙耳机连接没有声音和声音断断续续的问题

我的蓝牙耳机连接手机一点问题没。然后连接电脑显示连接但是没声音。网上找个各种设置也不不管用。后来找到了一个办法&#xff0c;亲测管用。 如果你的电脑主板有wifi模块&#xff0c;就把WiFi天线插上。并且打开wifi开关&#xff0c; 就算你不用wifi&#xff0c;也请打开WiF…