zookeeper第一课-Zookeeper特性与节点数据类型详解

news2024/11/26 20:36:29

1、Zookeeper特性与节点数据类型详解

ZooKeeper 是一个开源的分布式协调框架，是Apache Hadoop 的一个子项目，主要用来解决分布式集群中应用系统的一致性问题。
Zookeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。
在这里插入图片描述
ZooKeeper本质上是一个分布式的小文件存储系统（Zookeeper=文件系统+监听机制）。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理，从而用来维护和监控存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能。

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

2、. Zookeeper快速开始

在这里插入图片描述
1）修改配置文件
解压安装包后进入conf目录，复制zoo_sample.cfg，修改为zoo.cfg
zoo.cfg中参数含义：
在这里插入图片描述
2）启动zookeeper server

可以通过 bin/zkServer.sh 来查看都支持哪些参数 默认加载配置路径conf/zoo.cfg bin/zkServer.sh
start bin/zkServer.sh start conf/my_zoo.cfg
查看zookeeper状态 bin/zkServer.sh status

3）启动zookeeper client连接Zookeeper server

bin/zkCli.sh
连接远程的zookeeper server
bin/zkCli.sh -server ip:port

2.2 客户端命令行操作

Zookeeper图形化工具：开源的prettyZoo
https://github.com/vran-dev/PrettyZoo/releases

3. ZooKeeper数据结构

ZooKeeper 数据模型的结构与 Unix 文件系统很类似，整体上可以看作是一棵树，每个节点称做一个 ZNode。
在这里插入图片描述
ZooKeeper的数据模型是层次模型，层次模型常见于文件系统。层次模型和key-value模型是两种主流的数据模型。ZooKeeper使用文件系统模型主要基于以下两点考虑:
文件系统的树形结构便于表达数据之间的层次关系
文件系统的树形结构便于为不同的应用分配独立的命名空间(namespace )
ZooKeeper的层次模型称作Data Tree，Data Tree的每个节点叫作Znode。不同于文件系统，每个节点都可以保存数据，每一个 ZNode 默认能够存储 1MB 的数据，每个 ZNode 都可以通过其路径唯一标识，每个节点都有一个版本(version)，版本从0开始计数。

3.1 节点分类

zookeeper存在几种不同的节点类型，他们具有不同的生命周期：

类型	生命周期	创建示例
持久节点 （persistent node)	
一直存在，一直存储在ZooKeeper 服务器上，即使创建该节点的客户端与服务端的会话关闭了，该节点依然不会被删除	
create /locks

临时节点 (ephemeral node)	
当创建该临时节点的客户端会话因超时或发生异常而关闭时，该节点也相应在 ZooKeeper 服务器上被删除。
create -e /locks/DBLock

有序节点 (sequential node)	
并不算是一种单独种类的节点，而是在之前提到的持久节点和临时节点特性的基础上，增加了一个节点有序的性质。在我们创建有序节点的时候会自动使用一个单调递增的数字作为后缀	
create -e -s /jobs/job (临时有序节点)

容器节点 (container node)	
当一个容器节点的最后一个子节点被删除后，容器节点也会被删除	
create -c /work

TTL节点 (ttl node)	
当一个TTL节点在 TTL 内没有被修改并且没有子节点，会被删除。注意：默认此功能不开启，需要修改配置文件extendedTypesEnabled=true	
create -t 3000 /ttl_node

一个znode可以使持久性的，也可以是临时性的:

  1. 持久节点(PERSISTENT): 这样的znode在创建之后即使发生ZooKeeper集群宕机或者client宕机也不会丢失。
  2. 临时节点(EPHEMERAL ): client宕机或者client在指定的timeout时间内没有给ZooKeeper集群发消息，这样的znode就会消失。
    如果上面两种znode具备顺序性，又有以下两种znode :
  3. 持久顺序节点(PERSISTENT_SEQUENTIAL): znode除了具备持久性znode的特点之外，znode的名字具备顺序性。
  4. 临时顺序节点(EPHEMERAL_SEQUENTIAL): znode除了具备临时性znode的特点之外，zorde的名字具备顺序性。
  5. Container节点 (3.5.3版本新增)：Container容器节点，当容器中没有任何子节点，该容器节点会被zk定期删除（定时任务默认60s 检查一次)。 和持久节点的区别是 ZK 服务端启动后，会有一个单独的线程去扫描，所有的容器节点，当发现容器节点的子节点数量为 0 时，会自动删除该节点。可以用于 leader 或者锁的场景中。
  6. TTL节点: 带过期时间节点，默认禁用，需要在zoo.cfg中添加 extendedTypesEnabled=true 开启。 注意：TTL不能用于临时节点

示例：实现分布式锁
分布式锁要求如果锁的持有者宕了，锁可以被释放。ZooKeeper 的 ephemeral 节点恰好具备这样的特性。
在这里插入图片描述
节点状态信息
在这里插入图片描述

  • cZxid ：Znode创建的事务id。

  • ctime：节点创建时的时间戳。

  • mZxid: Znode被修改的事务id，即每次对znode的修改都会更新mZxid。
    对于zk来说，每次的变化都会产生一个唯一的事务id，zxid（ZooKeeper Transaction Id），通过zxid，可以确定更新操作的先后顺序。例如，如果zxid1小于zxid2，说明zxid1操作先于zxid2发生，zxid对于整个zk都是唯一的，即使操作的是不同的znode。

  • pZxid:
    表示该节点的子节点列表最后一次修改的事务ID，添加子节点或删除子节点就会影响子节点列表，但是修改子节点的数据内容则不影响该ID（注意:
    只有子节点列表变更了才会变更pzxid，子节点内容变更不会影响pzxid

  • mtime：节点最新一次更新发生时的时间戳.

  • cversion ：子节点的版本号。当znode的子节点有变化时，cversion 的值就会增加1。

  • dataVersion：数据版本号，每次对节点进行set操作，dataVersion的值都会增加1（即使设置的是相同的数据），可有效避免了数据更新时出现的先后顺序问题。

  • ephemeralOwner:如果该节点为临时节点, ephemeralOwner值表示与该节点绑定的session id。如果不是, ephemeralOwner值为0(持久节点)。
    在client和server通信之前,首先需要建立连接,该连接称为session。连接建立后,如果发生连接超时、授权失败,或者显式关闭连接,连接便处于closed状态, 此时session结束。

3.2 监听机制详解

watch机制，顾名思义是一个监听机制。Zookeeper中的watch机制，必须客户端先去服务端注册监听，这样事件发送才会触发监听，通知给客户端。
监听的对象是事件，支持的事件类型如下：
None: 连接建立事件
NodeCreated： 节点创建
NodeDeleted： 节点删除
NodeDataChanged：节点数据变化
NodeChildrenChanged：子节点列表变化
DataWatchRemoved：节点监听被移除
ChildWatchRemoved：子节点监听被移除

在这里插入图片描述
永久性Watch
在被触发之后，仍然保留，可以继续监听ZNode上的变更，是Zookeeper 3.6.0版本新增的功能

addWatch [-m mode] path

addWatch的作用是针对指定节点添加事件监听，支持两种模式

PERSISTENT，持久化订阅，针对当前节点的修改和删除事件，以及当前节点的子节点的删除和新增事件。

PERSISTENT_RECURSIVE，持久化递归订阅(默认)，在PERSISTENT的基础上，增加了子节点修改的事件触发，以及子节点的子节点的数据变化都会触发相关事件（满足递归订阅特性）

3.3 节点特性总结

  1. 同一级节点 key 名称是唯一的 已存在/lock节点，再次创建会提示已经存在
  2. 创建节点时，必须要带上全路径
  3. session 关闭，临时节点清除
  4. 自动创建顺序节点
  5. watch 机制，监听节点变化
    事件监听机制类似于观察者模式，watch 流程是客户端向服务端某个节点路径上注册一个 watcher，同时客户端也会存储特定的 watcher，当节点数据或子节点发生变化时，服务端通知客户端，客户端进行回调处理。特别注意：监听事件被单次触发后，事件就失效了。
  6. delete 命令只能一层一层删除。提示：新版本可以通过 deleteall 命令递归删除。

3.4 应用场景详解

ZooKeeper适用于存储和协同相关的关键数据，不适合用于大数据量存储。
有了上述众多节点特性，使得 zookeeper 能开发不出不同的经典应用场景，比如：
注册中心
数据发布/订阅（常用于实现配置中心）
负载均衡
命名服务
分布式协调/通知
集群管理
Master选举
分布式锁
分布式队列

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/722384.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

在Linux中部署ELK架构

在Linux中部署ELK架构

ELK（ElasticSearch分布式搜索引擎、Logstash数据收集处理引擎和Kibana可视化化平台）是在大型后端架构中，一个标准的数据采集方案。 在公网IP为x.x.x.x的服务器上部署Elasticsearch LogstashfilebeatredisKibana架构。这种架构先通过Logstash…
阅读更多...
高并发场景：redis+lua防重校验

高并发场景：redis+lua防重校验

大家平时在做有并发量下单的项目时，代码层面基本上就分为这么几个步骤：参数校验--->防重校验--->库存校验扣减--->下单成功--->支付。 最近公司有个商城项目说要30分钟达到1亿的并发量。当时听到突然猛了一下。真是牛逼克拉斯呀。 不过该说…
阅读更多...
apache php mysql python 环境部署与离线安装deb包

apache php mysql python 环境部署与离线安装deb包

文章目录 1.背景介绍2. 主要涉及操作2.1 安装系统：2.2 apache mysql php安装2.3 配置2.4 python相关库安装 3. 操作记录3.1 软件安装3.2 读取文件内容后进行文件内容抽取3.3 执行以上的sh脚本3.4 所学3.5 打包发送 4. 参考文献 1.背景介绍 使用的系统为ubuntu18.04…
阅读更多...
密码学学习笔记(四)：Authenticated Encryption - 认证加密

密码学学习笔记(四)：Authenticated Encryption - 认证加密

加密数据的最新方法是使用一种称为一体式结构的认证加密算法，该算法也称为有附加数据的认证加密。从之前的博客中，我们看到在特定的操作模式中使用的分组密码，如CBC、OFB、CFB、CTR，提供了IND-CPA安全性。 但是IND-CCA安全性呢&a…
阅读更多...
电脑卡顿甚至崩溃？那重置系统吧

电脑卡顿甚至崩溃？那重置系统吧

我们平时用电脑，最怕遇到蓝屏、死机、报错，等等问题。有时还会碰到些奇奇怪怪的系统问题 文章目录 问题场景：解决方案：一、重启电脑二、移除外接设备三、系统还原1、设置系统还原2、如何进行系统还原3、系统还原失败怎么办 四、卸…
阅读更多...
有源差分探头的电压限定和检查步骤

有源差分探头的电压限定和检查步骤

为了使传统示波器能够显示和测试高共模电压的电路波形，有源差分探头对示波器测量性能延伸到了电子功率变换器、 逆变器、 电机的速度控制、 开关电源和许多应用程序的测试。 差分探头外观构成： A-输出线：连接示波器的 BNC 输出连接头和辅助性…
阅读更多...
【操作系统】c语言--进程调度算法(FCFS和SPN)

【操作系统】c语言--进程调度算法(FCFS和SPN)

创作不易&#xff0c;本篇文章如果帮助到了你&#xff0c;还请点赞 关注支持一下♡>&#x16966;<)!! 主页专栏有更多知识&#xff0c;如有疑问欢迎大家指正讨论&#xff0c;共同进步&#xff01; &#x1f525;c系列专栏&#xff1a;C/C零基础到精通 &#x1f525; 给大…
阅读更多...
Docker轻量级可视化工具Portainer

Docker轻量级可视化工具Portainer

掌握Portainer的部署和使用。 Portainer 是一款轻量级的应用&#xff0c;它提供了图形化界面&#xff0c;用于方便地管理Docker环境&#xff0c;包括单机环境和集群环境。 Portainer&#xff08;https://www.portainer.io/&#xff09;是一个流行的开源Docker管理工具&#xff…
阅读更多...
【设计模式】第八章：桥接模式详解及应用案例

【设计模式】第八章：桥接模式详解及应用案例

系列文章 【设计模式】七大设计原则 【设计模式】第一章&#xff1a;单例模式 【设计模式】第二章&#xff1a;工厂模式 【设计模式】第三章&#xff1a;建造者模式 【设计模式】第四章&#xff1a;原型模式 【设计模式】第五章&#xff1a;适配器模式 【设计模式】第六章&…
阅读更多...
前端为什么使用svg图片

前端为什么使用svg图片

参考链接&#xff1a; 1.http://www.youngzi.cn/5392.html 2.https://baijiahao.baidu.com/s?id1728784571128338709&wfrspider&forpc SVG是什么&#xff1f;SVG有什么用&#xff1f;为什么要使用SVG&#xff1f;本篇文章就给大家介绍一下SVG的相关知识&#xff0c;让…
阅读更多...
【Unity】HyBridCLR初探

【Unity】HyBridCLR初探

完成目标： 创建热更新程序集加载热更新程序集，并执行其中热更新代码，打印 Hello, HybridCLR修改热更新代码，打印 Hello, World准备环境​ 安装Unity HybridCLR也支持2019.4.x，但新手请先按照下面要求跑通流程后，再根据安装HybridCLR文档尝试2019.4.x。 安装 2020.3.26+…
阅读更多...
如何部署LVS负载均衡集群（DR模式）

如何部署LVS负载均衡集群（DR模式）

目录 一、集群概念与NAT模式LVS集群 二、部署LVS集群&#xff08;DR模式&#xff09; 第一步 关闭防火墙和安全机制 第二步 手动配置ip_vs 第三步 安装ipvsadm工具 第四步 创建虚拟网卡 第五步 修改虚拟网卡配置内容 第六步 开启虚拟网卡并加入路由 第七步 调整proc相…
阅读更多...
linux学习（韩顺平 一周学会linux）

linux学习（韩顺平 一周学会linux）

b站链接&#xff1a;b站 共27个小时 P3-P85 linux基础篇 P86-P90 java定制篇 P91-P107 大数据shell篇 P108-P115 python定制篇 P117-P141 linux高级篇 P142-P153 面试题 四个阶段&#xff1a; 一、基本操作 二、配置 三、搭建开发环境 四、写一些基本的shell脚本 五、安全设置…
阅读更多...
list容器语法

list容器语法

文章目录 listlist基本概念list的优点&#xff1a;list的缺点&#xff1a;重要性质 list 的使用方法list构造函数list 赋值和交换list 长度/大小操作list 插入元素和删除元素访问list 反转和排序sort链表排序案例forward_list&#xff08;C11&#xff09;forward_list 的使用方…
阅读更多...
Openlayers实战：绘制点、线、圆、多边形

Openlayers实战：绘制点、线、圆、多边形

Openlayers地图中，绘制图形是非常重要的一个功能。Openlayers主要使用draw类来绘制图形，在实际项目中经常会绘制点、线、多边形、矩形等。 下面的示例是绘制点、线、圆形、多边形。 效果图 源代码 /* * @Author: 大剑师兰特（xiaozhuanlan），还是大剑师兰特（CSDN） * @此…
阅读更多...
抖音关键词排名怎么做

抖音关键词排名怎么做

抖音seo关键词搜索排名推广 产品及合作流程 了解抖音seo关键词搜索流量——用工具选择需要优化的关键词确认——预存套餐及服务——付款签约——开通关键词管理后台——建运营群流程化推进 如何选择优化的关键词? 先选3-5个主词 在工具分别输入主词 列出来的词&#xff0c…
阅读更多...
【AJAX】跨域问题笔记

【AJAX】跨域问题笔记

跨域 一、同源策略&#xff08;Same-Origin Policy&#xff09; 是浏览器的安全机制。 同源&#xff1a;协议、域名、端口号必须完全相同 客户端 服务端 违背同源策略就是跨域 二、如何解决跨域 1、JSOPN &#xff08;1&#xff09;JSONP是什么 JSONP(JSON with Padding…
阅读更多...
Unity XR Interaction Toolkit（二）手柄交互

Unity XR Interaction Toolkit（二）手柄交互

目录 一、结构配置 二、交互事件 1、事件设置 2、绑定设置 3、组合按键输入 4、事件挂载 三、代码响应 1、事件回调 2、数值获取 注意&#xff0c;本文的Toolkit版本在2.2以上&#xff0c;低版本没有样例和部分api&#xff0c;更新方法在第一张环境配置内 打开Packag…
阅读更多...
力扣 46. 全排列

力扣 46. 全排列

题目来源&#xff1a;https://leetcode.cn/problems/permutations/description/ C题解&#xff1a; 全排列每一次都需要从第一个元素开始遍历&#xff0c;所以不用ind标记开始元素&#xff0c;都从0开始&#xff0c;但需要一个数组used不断更新哪些元素已经被使用&#xff0c;遍…
阅读更多...
基于SpringBoot+vue的家具销售电商平台设计与实现

基于SpringBoot+vue的家具销售电商平台设计与实现

博主介绍&#xff1a; 大家好&#xff0c;我是一名在Java圈混迹十余年的程序员&#xff0c;精通Java编程语言&#xff0c;同时也熟练掌握微信小程序、Python和Android等技术&#xff0c;能够为大家提供全方位的技术支持和交流。 我擅长在JavaWeb、SSH、SSM、SpringBoot等框架…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023