【zookeeper】ZooKeeper的特点及应用场景

news2025/1/16 13:55:50

ZooKeeper 的特点/设计目标

ZooKeeper(动物园管理员) ,顾名思义,是用来管理Hadoop(大象)、Hive(蜜蜂)、Pig(小猪)的管理员,同时Apache HBase、Apache Solr等众多项目中都采用了ZooKeeper。作为一个集群提供数据一致的分布式协调服务,它最好的方式就是在整个集群中的各服务节点进行数据的复制和同步。

数据复制的好处:

  • 容错:一个节点出错,不至于让整个集群无法提供服务

  • 扩展性:通过增加服务器节点能提高 ZooKeeper 系统的负载能力,把负载分布到多个节点上

  • 高性能:客户端可访问本地 ZooKeeper 节点或者访问就近的节点,依次提高用户的访问速度

设计目的

  • 一致性:client不论连接到哪个Server,展示给它都是同一个视图,这是zookeeper最重要的性能。
  • 可靠性:具有简单、健壮、良好的性能,如果消息被到一台服务器接受,那么它将被所有的服务器接受。
  • 实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。但由于网络延时等原因,Zookeeper不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据之前调用sync()接口。
  • 等待无关(wait-free):慢的或者失效的client不得干预快速的client的请求,使得每个client都能有效的等待。
  • 原子性:更新只能成功或者失败,没有中间状态。
  • 顺序性:包括全局有序和偏序两种:全局有序是指如果在一台服务器上消息a在消息b前发布,则在所有Server上消息a都将在消息b前被发布;偏序是指如果一个消息b在消息a后被同一个发送者发布,a必将排在b前面。

ZooKeeper 典型应用场景

命名服务

命名服务是分布式系统中较为常见的一类场景,分布式系统中,被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等,通过命名服务,客户端可以根据指定名字来获取资源的实体、服务地址和提供者的信息。Zookeeper 可以帮助应用系统通过资源引用的方式来实现对资源的定位和使用,广义上的命名服务的资源定位都不是真正意义上的实体资源, 在分布式环境中,上层应用仅仅需要一个全局唯一的名字。Zookeeper 可以实现一套分布式全局唯一 ID 的分配机制。如下,ZooKeeper节点生产全局唯一ID的示意图:
在这里插入图片描述

说明,对于多个任务列表的主键,使用ZooKeeper生成唯一ID的基本步骤:

  • 所有客户端都会根据自己的任务类型,在指定类型的任务下面通过调用create()接口来创建一个顺序节点,例如创建“job-”节点。
  • 节点创建完毕后,create()接口会返回一个完整的节点名,例如“job-0000000001”。
  • 客户端拿到这个返回值后,拼接上 type 类型,例如“type2-job-0000000001”,这就可以作为一个全局唯一的ID了。

在ZooKeeper中,每一个数据节点都能够维护一份子节点的顺序顺列,当客户端对其创建多个顺序子节点的时候 ZooKeeper 会自动以后缀的形式在其子节点上添加一个序号,在这个场景中就是利用了 ZooKeeper的这个特性。

配置管理

程序总是需要配置的,如果程序分散部署在多台机器上,要逐个改变配置就变得困难。现在把这些配置全部放到 ZooKeeper 上去,保存在 ZooKeeper 的某个目录节点中,然后所有相关应用程序对这个目录节点进行监听,一旦配置信息发生变化,每个应用程序就会收到 ZooKeeper 的通知,然后从 ZooKeeper 获取新的配置信息应用到系统中就可以了,这样就实现了配置信息的集中式管理和数据的动态更新。
在这里插入图片描述

集群管理

所谓集群管理无在乎两点:是否有服务器退出或者加入、选举master。
  前者侧重对集群运行时状态的收集,所有机器约定在父目录 GroupMembers 下创建临时目录节点,然后监听父目录 节点的子节点变化消息。一旦有机器挂掉,该机器与 ZooKeeper 的连接断开,其所创建的临时目录节点被删除,所有其他机器都收到通知:某个服务器目录被删除,于是,所有人都知道:有服务器挂了。新机器加入也是类似,所有机器收到通知:新服务器目录加入,又多了个新服务器。
  后者则是对集群进行操作与控制,我们稍微改变一下,所有机器创建临时顺序编号目录节点,每次选取编号最小的机器作为 master 就好。当然,这只是其中的一种策略而已,选举策略完全可以由管理员自己制定。
在这里插入图片描述

Zookeeper的两大特性:

  • 客户端如果对Zookeeper的数据节点注册Watcher监听,那么当该数据节点的内容或是其子节点列表发生变化时,Zookeeper服务器就会向订阅的客户端发送变更通知。
  • 对在Zookeeper上创建的临时节点,一旦客户端与服务器之间的会话失效,那么临时节点也会被自动删除利用其两大特性,可以实现集群机器存活监控系统,若监控系统在/clusterServers节点上注册一个 Watcher监听,那么如果有进行动态添加机器的操作,就会在/clusterServers节点下创建一个临时节点类似:/clusterServers/[Hostname],这样,监控系统就能够实时监测机器的变动情况。

分布式锁

分布式锁是控制分布式系统之间同步访问共享资源的一种方式。如果不同的系统或是同一个系统的不同主机之间共享了一个或多个资源,那么访问这些资源的时候,往往需要通过一些互斥手动段来防止彼此之间的干扰,以保证一致性,在这种情况下,就需要使用分布式锁了。有了 ZooKeeper 的一致性文件系统,锁的问题变得容易。 锁服务可以分为两三类

  • 一个是写锁(Exclusive Locks,简称 X 锁),对写加锁,保持独占,或者叫做排它锁,独占锁
  • 一个是读锁(Shared Locks,简称S锁),对读加锁,可共享访问,释放锁之后才可进行事务操作,也叫共享锁
  • 一个是控制时序,叫时序锁

对于第一类,我们将 ZooKeeper 上的一个 znode 看作是一把锁,通过 createznode 的方式来 实现。所有客户端都去创建 /distribute_lock 节点,最终成功创建的那个客户端也即拥有了 这把锁。用完删除掉自己创建的 distribute_lock 节点就释放出锁
  对于第二类, /distribute_lock 已经预先存在,所有客户端在它下面创建临时顺序编号目录 节点,和选 master 一样,编号最小的获得锁,用完删除,依次有序。
  在这里插入图片描述

队列管理

两种类型的队列:

  • 同步队列:当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达(Barrier模型)。
  • 先进先出队列:队列按照 FIFO 方式进行入队和出队操作(FIFO先入先出队列模型)。

第一类,在约定目录下创建临时目录节点,监听节点数目是否是我们要求的数目。
第二类,和分布式锁服务中的控制时序场景基本原理一致,入列有编号,出列按编号。 同步队列的流程图:
在这里插入图片描述
更多关于zookeeper的知识分享,请前往博客主页。编写过程中,能力有限难免出现差错,敬请指正

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/980606.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

人工神经网络实验:第一次上机

pratice03: 1.问题描述: 就是通过设置只有一个hidden层的神经网络,对一个平面的灰面和白面进行分类 2.完整代码: # 可提供解题和验证代码,自行产生数据import torch import torch.nn as nn import torch.nn.functi…

【Cisco Packet Tracer】交换机划分Vlan实验

💐 🌸 🌷 🍀 🌹 🌻 🌺 🍁 🍃 🍂 🌿 🍄🍝 🍛 🍤 📃个人主页 :阿然成长日记 …

制作成绩查询平台

成绩查询是学校教学管理中必不可少的一项工作,传统的成绩查询方式通常是将成绩表格发到群里供家长查看。然而,这种方式存在许多不便之处,如成绩表格容易丢失、家长需要翻找自己孩子的成绩等问题。 好消息!博主给大家争取到的易查分…

“谁天生是项目经理?四大特质决定你的机会“

大家好,我是老原。 但其实不少刚开始尝试项目管理的人,包括老原自己也曾经遇到过这样的问题: ▪ 自己没权没势,大家凭什么听我的? ▪ 资源受限,如何向老板争取更多资源? ▪ 怎样才能推进多方…

el-date-picker 禁止选择当前年之前或者之后的年份

<el-date-picker v-model"ruleForm.years" type"year" :disabled-date"pickerOptions"placeholder"请选择获奖年度" class"wih-650p" value-format"YYYY" />之前 const disabledDateFun (time: any) >…

pycharm如何配置 .gitignore 文件

参考&#xff1a;https://zongweizhou1.github.io/2019/06/16/pycharm-gitignore/ .gitignore 文件本身不需要纳入版本控制&#xff0c;在 .gitignore 文件中写入“.gitignore"忽略即可

Python,如何安装cython_bbox

我是windows系统&#xff0c;pip install cython_bbox无法编译。 解决&#xff1a; 安装pip install cpython 安装VS2019企业版&#xff0c;为了windows能编译一些乱七八糟的&#xff0c;我一般都装个这个。 key BF8Y8-GN2QH-T84XB-QVY3B-RC4DF下载源码&#xff1a;https://…

中国电信举办5G RedCap产业对接交流会,加速推进RedCap商用

近日&#xff0c;由中国电信股份有限公司浙江分公司、天翼物联产业联盟、浙江5G产业联盟联合主办的 “5G融合领先&#xff0c;赋能千行百业数字化”中国电信5G RedCap产业对接交流会&#xff08;浙江站&#xff09;在杭州举办&#xff0c;相关产业链同仁齐聚一堂&#xff0c;共…

Vue+NodeJS+MongoDB实现邮箱验证注册、登录

一.主要内容 邮件发送用户注册用户信息存储到数据库用户登录密码加密JWT生成tokenCookie实现快速登录 在用户注册时,先发送邮件得到验证码.后端将验证进行缓存比对,如果验证码到期,比对不正确,拒绝登录;如果比对正确,将用户的信息进行加密存储到数据库. 用户登录时,先通过用…

c高级day1(9.6) 离线软件安装,文件相关指令,文件权限相关指令,

作业: 使用cut截取出Ubuntu用户的家目录&#xff0c;要求&#xff1a;不能使用":"作为分割 不会 Xmind&#xff1a;

r5 7640h和i5 1340p选哪个 锐龙r57640h和酷睿i51340p对比

i5 1340P采用10nm工艺 最高睿频4.6GHz 十核心 十六线程三级缓存 12MB热设计功耗(TDP) 28W 支持最大内存 64GB内存类型 DDR4 3200MHzDDR5 5200MHz集成显卡 Intel Iris Xe Graphics 选i5-1340P还是R5-7640H、这些点很重要 http://www.adiannao.cn/dy R5 7640H搭载Radeon 760M核显…

IDEA创建注释模板

IDEA创建注释模板 一&#xff0c;类注释模板 1.创建类注释模板 **位置&#xff1a;**File—Settings—Editor—File and Code Templates—Files&#xff0c;进入该页面后可选择Class、Interface、Enum等文件&#xff0c;对应右侧内容分别为&#xff1a; 2.模板内容 /*** Desc…

深入学习JavaScript ES8函数式编程:特性与实践指南

&#x1f482; 个人网站:【工具大全】【游戏大全】【神级源码资源网】&#x1f91f; 前端学习课程&#xff1a;&#x1f449;【28个案例趣学前端】【400个JS面试题】&#x1f485; 寻找学习交流、摸鱼划水的小伙伴&#xff0c;请点击【摸鱼学习交流群】 函数式编程已经成为现代…

【SG滤波】三阶滤波、五阶滤波、七阶滤波(Matlab代码实现)

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…

YOLOv8 : 数据组织

1. 数据源 首先YOLOv8是支持目标分类、检测和目标分割。当前以应用最为广泛的目标检测为例&#xff0c;简单说明数据相关的信息。 一般情况下&#xff0c;建议将数据划分成images和labels&#xff0c;其中images存储图像&#xff0c;labels存储标签文件(YOLO格式)。如果是VOC数…

编译CentOS6.10系统的OpenSSHV9.4rpm安装包

目前OpenSSH版本已至9.4&#xff0c;其作为操作系统底层管理平台软件&#xff0c;需要保持更新以免遭受安全攻击&#xff0c;编译生成rpm包是生产环境中批量升级的最佳途径。编译软件包时与当前的运行环境有较大关系&#xff0c;请注意本安装包系在CentOS6.10原生系统纯净系统下…

用对工具,你的全渠道电子商务业务就成功了一半

希望将全渠道电子商务纳入您的业务战略&#xff0c;但不确定从哪里开始&#xff1f;我们为您提供保障。这篇文章将指导您了解全渠道商务的基础知识&#xff0c;以及它与多渠道方法的区别&#xff0c;还将探讨利用全渠道方法的众多好处&#xff0c;并讨论企业如何通过全渠道客户…

c语言 1.0

1.1 C语言概述 C语言是什么 C语言是计算机编程语言的一种&#xff0c;编程语言用于人和机器交流。 编程语言通过一系列的语法和语义规则来描述计算机程序的行为和逻辑&#xff0c;程序员使用编程语言编写程序后&#xff0c;计算机可以将程序转化为二进制指令&#xff08;即机器…

Fiddler抓包工具的使用(高级操作精华)

概述 在软件项目的开发过程中&#xff0c;软件的质量同样在项目起这十分重要的地位&#xff0c;如何保证产品质量一直是业内人员十分重视的问题。全员质量保证、软件研发流程、各种开源工具这都是对产品质量保证有一定的促进作用。那么如何将这种理念和方式落地到实际场景&…

实战教程:如何用微信小程序功能建立一个自己的商城?

微信小程序商城是一种便捷、高效的电商平台&#xff0c;让商家能够快速搭建自己的线上店铺&#xff0c;并与用户进行交互和交易。在本文中&#xff0c;我们将逐步介绍如何创建自己的微信小程序商城&#xff0c;并分享一些实战技巧。 首先&#xff0c;登录乔拓云网后台&#xff…