ELK日志分析系统之Zookeeper

news2024/11/24 17:18:54

一、Zookeeper简介

ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务，它提供了一项基本服务：分布式锁服务。分布式应用可以基于它实现更高级的服务，实现诸如同步服务、配置维护和集群管理或者命名的服务。

Zookeeper服务自身组成一个集群，2n+1个（奇数）服务允许n个失效，集群内一半以上机器可用，Zookeeper就可用。

假设 3台机器组成的集群，可以有允许一台失效，如果有2台失效，这个集群就不可用，1<1.5，一般的搭建zookeeper集群时，以奇数台机器来搭建。目的：是为了提高容错能允许多损失一台。

二、zookeeper工作机制

Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

也就是说 Zookeeper =文件系统＋通知机制。

三、zookeeper的特点

  1. Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
  2. Zookeepe集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
  3. 全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
  4. 更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行，即先进先出。
  5. 数据更新原子性，一次数据更新要么成功，要么失败。
  6. 实时性，在一定时间范围内，Client能读到最新数据。

四、zookeeper数据结构

ZooKeeper数据模型的结构与Linux文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

五、zookeeper应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

  • 统一命名服务
    • 在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。例如：IP不容易记住，而域名容易记住。
  • 统一配置管理
    • 分布式环境下，配置文件同步非常常见。一般要求一个集群中，所有节点的配置信息是一致的，比如Kafka集群。对配置文件修改后，希望能够快速同步到各个节点上。
    • 配置管理可交由ZooKeeper实现。可将配置信息写入ZooKeeper上的一个Znode。各个客户端服务器监听这个Znode。一旦 Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。
  • 统一集群管理
    • 分布式环境中，实时掌握每个节点的状态是必要的。可根据节点实时状态做出一些调整。
    • ZooKeeper可以实现实时监控节点状态变化。可将节点信息写入ZooKeeper上的一个ZNode。监听这个ZNode可获取它的实时状态变化。
  • 服务器动态上下线
    • 客户端能实时洞察到服务器上下线的变化。
  • 软负载均衡
    • 在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

六、zookeeper选举机制

1、第一次启动选举机制

  1. 服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；
  2. 服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的myid比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING
  3. 服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；
  4. 服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；
  5. 服务器5启动，同4一样当小弟。

2、非第一次启动选举机制

1、当ZooKeeper 集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举

  1. 服务器初始化启动。
  2. 服务器运行期间无法和Leader保持连接。

2、而当一台机器进入Leader选举流程时，当前集群也可能会处于以下两种状态：

     1.集群中本来就已经存在一个Leader。

         对于已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和 Leader机器建立连接，并进行状态同步即可。

     2.集群中确实不存在Leader。

           假设ZooKeeper由5台服务器组成，SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举。

选举Leader规则：

  1. EPOCH大的直接胜出
  2. EPOCH相同，事务id大的胜出
  3. 事务id相同，服务器id大的胜出
SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。
ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑速度有关。
Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

七、部署zookeeper集群

官方下载地址：https://archive.apache.org/dist/zookeeper/

1、实验环境准备

IP地址安装组件服务器类型
192.168.10.100zookeeperzookeeper服务器1
192.168.10.101zookeeperzookeeper服务器2
192.168.10.102zookeeperzookeeper服务器3
systemctl stop firewalld
setenforce 0
##修改主机名
[root@localhost ~]#hostnamectl set-hostname zk-kfk01
[root@localhost ~]#bash

[root@localhost ~]#hostnamectl set-hostname zk-kfk02
[root@localhost ~]#bash

[root@localhost ~]#hostnamectl set-hostname zk-kfk03
[root@localhost ~]#bash


##修改域名
echo "192.168.10.100 zk-kfk01" >> /etc/hosts
echo "192.168.10.101 zk-kfk02" >> /etc/hosts
echo "192.168.10.102 zk-kfk03" >> /etc/hosts
cat /etc/hosts

2、安装JDK

##三台虚拟机同时安装jdk
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version

3、安装zookeeper

[root@zk-kfk01 ~]#cd /opt/
ls
apache-zookeeper-3.5.7-bin.tar.gz  rh
scp apache-zookeeper-3.5.7-bin.tar.gz zk-kfk02:/opt/
scp apache-zookeeper-3.5.7-bin.tar.gz zk-kfk03:/opt/

##三台同时操作
[root@zk-kfk01 opt]#ls
apache-zookeeper-3.5.7-bin.tar.gz  rh
[root@zk-kfk01 opt]#tar xf apache-zookeeper-3.5.7-bin.tar.gz 
[root@zk-kfk01 opt]#mv apache-zookeeper-3.5.7-bin /usr/local/zookeeper-3.5.7

4、修改zookeeper配置问价

[root@zk-kfk01 opt]#cd /usr/local/zookeeper-3.5.7/
[root@zk-kfk01 zookeeper-3.5.7]#ls
bin  conf  docs  lib  LICENSE.txt  NOTICE.txt  README.md  README_packaging.txt
[root@zk-kfk01 zookeeper-3.5.7]#cd conf/
[root@zk-kfk01 conf]#ls
configuration.xsl  log4j.properties  zoo_sample.cfg
[root@zk-kfk01 conf]#cp zoo_sample.cfg zoo.cfg 
[root@zk-kfk01 conf]#ls
configuration.xsl  log4j.properties  zoo.cfg  zoo_sample.cfg

[root@zk-kfk01 conf]#vim zoo.cfg 

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-3.5.7/data
dataLogDir=/usr/local/zookeeper-3.5.7/logs
clientPort=2181
server.1=192.168.10.100:3188:3288
server.2=192.168.10.101:3188:3288
server.3=192.168.10.102:3188:3288

5、创建数据目录和日志目录（三台机子都需要创建）

mkdir /usr/local/zookeeper-3.5.7/data
mkdir /usr/local/zookeeper-3.5.7/logs

7、DataDir指定的目录下创建一个 myid 的文件（三台都需要创建）

[root@zk-kfk01 conf]#echo 1 > /usr/local/zookeeper-3.5.7/data/myid
[root@zk-kfk02 conf]#echo 2 > /usr/local/zookeeper-3.5.7/data/myid
[root@zk-kfk03 conf]#echo 3 > /usr/local/zookeeper-3.5.7/data/myid

8、配置Zookeeper启动脚本

[root@zk-kfk01 conf]#vim /etc/init.d/zookeeper

#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)
	echo "---------- zookeeper 启动 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重启 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 状态 ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

[root@node1 opt]#chmod  +x /etc/init.d/zookeeper
[root@node1 opt]#chkconfig --add zookeeper
[root@node1 opt]#service zookeeper start  #切记三台机子都配置完脚本再启动

给脚本添加权限

启动zookeeper服务脚本

[root@zk-kfk01 conf]#service zookeeper start 
---------- zookeeper 启动 ------------
/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@zk-kfk01 conf]#service zookeeper status 
---------- zookeeper 状态 ------------
/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower


[root@zk-kfk02 conf]#service zookeeper start 
---------- zookeeper 启动 ------------
/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@zk-kfk02 conf]#service zookeeper status 
---------- zookeeper 状态 ------------
/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower


[root@zk-kfk03 conf]#service zookeeper start 
---------- zookeeper 启动 ------------
/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@zk-kfk03 conf]#service zookeeper status 
---------- zookeeper 状态 ------------
/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1588866.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SQL注入---HTTP报头注入

SQL注入---HTTP报头注入

文章目录 目录 文章目录 一.uagent注入 二.refeer注入 三.Cookie注入 前文中提到万能密钥的工作原理&#xff0c;然而万能密钥仅在源代码中没有代码审计&#xff0c;此时才被称之为万能密钥&#xff0c;而代码中有代码审计时需要分以下几种情况讨论 一.uagent注入 先看代码&a…
阅读更多...
【攻防世界】题目名称-文件包含

【攻防世界】题目名称-文件包含

看到 include()&#xff0c;想到文件包含&#xff0c;用php伪协议。 知识点 看到 include()&#xff0c;require()&#xff0c;include_once()&#xff0c;require_once() &#xff0c;想到文件包含&#xff0c;用php伪协议 ?filenamephp://filter/readconvert.base64-encode/…
阅读更多...
TinyEMU源码分析之中断处理

TinyEMU源码分析之中断处理

TinyEMU源码分析之中断处理 1 触发中断2 查询中断2.1 查询中断使能与pending状态&#xff08;mie和mip&#xff09;2.2 查询中断总开关与委托&#xff08;mstatus和mideleg&#xff09;2.2.1 M模式2.2.2 S模式2.2.3 U模式 3 处理中断3.1 获取中断编号3.2 检查委托3.3 进入中断3…
阅读更多...
【图像处理】-小议YUV色彩空间-YUV和RGB格式的来由，相互关系以及转换方式，并对编程实现的YUV转为RGB程序进行介绍

【图像处理】-小议YUV色彩空间-YUV和RGB格式的来由，相互关系以及转换方式，并对编程实现的YUV转为RGB程序进行介绍

小议YUV色彩空间 摘要: 在视频图像处理等相关相关领域&#xff0c;YUV是一个经常出现的格式。本文主要以图解的资料形式详细描述YUV和RGB格式的来由&#xff0c;相互关系以及转换方式&#xff0c;并对编程实现的YUV转为RGB程序进行介绍。 1 引言 自然界的颜色千变万化&#xff…
阅读更多...
AI算力报告：算力大时代，AI算力产业链全景梳理

AI算力报告：算力大时代，AI算力产业链全景梳理

今天分享的是AI算力专题系列深度研究报告&#xff1a;《算力大时代&#xff0c;AI算力产业链全景梳理》。 &#xff08;报告出品方&#xff1a;中信建投证券&#xff09; 报告共计&#xff1a;98页 核心观点 生成式 AI取得突破&#xff0c;我们对生成式 A 带来的算力需求做…
阅读更多...
AI预测体彩排3第1弹【2024年4月12日预测--第1套算法开始计算第1次测试】

AI预测体彩排3第1弹【2024年4月12日预测--第1套算法开始计算第1次测试】

前面经过多个模型几十次对福彩3D的预测&#xff0c;积累了一定的经验&#xff0c;摸索了一些稳定的规律&#xff0c;有很多彩友让我也出一下排列3的预测结果&#xff0c;我认为目前时机已成熟&#xff0c;且由于福彩3D和体彩排列3的玩法完全一样&#xff0c;我认为3D的规律和模…
阅读更多...
6.基础乐理-升降号、黑键的音名

6.基础乐理-升降号、黑键的音名

首先需要先了解音乐中的两个符号&#xff0c;升号和降号&#xff0c;升号的符号像#&#xff0c;降号的符号像b&#xff0c;如下图&#xff1a; 升号表示升高到相邻的音&#xff0c;降号表示降低到相邻的音&#xff0c;现在首先要知道音是有高低的&#xff0c;在钢琴键盘上从左到…
阅读更多...
ZGC的介绍

ZGC的介绍

背景 在jdk17中已经将ZGC从实验性产品升级到正式产品功能&#xff0c;达到亚毫秒级停顿&#xff0c;毫不留情地将parallel和G1拉开了数量级的差别&#xff0c;无论是平均停顿还是最大停顿时间都能毫不费劲地控制在10ms内。 《深入理解Java虚拟机》在书中这样定义&#xff1a;Z…
阅读更多...
String类（2）

String类（2）

❤️❤️前言~&#x1f973;&#x1f389;&#x1f389;&#x1f389; hellohello~&#xff0c;大家好&#x1f495;&#x1f495;&#xff0c;这里是E绵绵呀✋✋ &#xff0c;如果觉得这篇文章还不错的话还请点赞❤️❤️收藏&#x1f49e; &#x1f49e; 关注&#x1f4a5;&…
阅读更多...
【日常记录】【JS】使用Number.prototype.toLocaleString 对 数字做 格式化

【日常记录】【JS】使用Number.prototype.toLocaleString 对 数字做 格式化

文章目录 1、引言2、语法参数3、常见案例4、参考链接 1、引言 在目前的项目中&#xff0c;经常需要给数字做格式化处理&#xff0c;特别是财务方面&#xff0c;比如分割成千分位&#xff0c;保留小数&#xff0c;增加符号等 &#xff0c;这些都需要我们手写一些函数来处理。 但…
阅读更多...
Vue.js组件精讲 第2章 基础：Vue.js组件的三个API：prop、event、slot

Vue.js组件精讲 第2章 基础：Vue.js组件的三个API：prop、event、slot

如果您已经对 Vue.js 组件的基础用法了如指掌&#xff0c;可以跳过本小节&#xff0c;不过当做复习稍读一下也无妨。 组件的构成 一个再复杂的组件&#xff0c;都是由三部分组成的&#xff1a;prop、event、slot&#xff0c;它们构成了 Vue.js 组件的 API。如果你开发的是一个…
阅读更多...
TechTool Pro for Mac v19.0.3中文激活版 硬件监测和系统维护工具

TechTool Pro for Mac v19.0.3中文激活版 硬件监测和系统维护工具

TechTool Pro for Mac是一款专为Mac用户设计的强大系统维护和故障排除工具。它凭借全面的功能、高效的性能以及友好的操作界面&#xff0c;赢得了广大用户的信赖和好评。 软件下载&#xff1a;TechTool Pro for Mac v19.0.3中文激活版 作为一款专业的磁盘和系统维护工具&#x…
阅读更多...
大数据入门之如何利用Phoenix访问Hbase

大数据入门之如何利用Phoenix访问Hbase

在大数据的世界里&#xff0c;HBase和Phoenix可谓是一对黄金搭档。HBase以其高效的列式存储和强大的数据扩展能力&#xff0c;成为大数据存储领域的佼佼者&#xff1b;而Phoenix则以其SQL化的操作方式&#xff0c;简化了对HBase的访问过程。今天&#xff0c;就让我们一起看看如…
阅读更多...
哲学家带你实现单链表

哲学家带你实现单链表

最近本哲♂学家学习了链表这一新的数据结构&#xff0c;接下来由我带领大家实现链表&#xff1a; 一 、头文件 注&#xff1a;本写法是无头的单链表&#xff0c;所以传参为二级指针。 我们事先写好所要完成的函数&#xff0c;在 .c文件中进一步去完成。 typedef int SLTData…
阅读更多...
19(20)-1(3)-CSS3 平面 2D 变换+CSS3 过渡

19(20)-1(3)-CSS3 平面 2D 变换+CSS3 过渡

个人主页&#xff1a;学习前端的小z 个人专栏&#xff1a;HTML5和CSS3悦读 本专栏旨在分享记录每日学习的前端知识和学习笔记的归纳总结&#xff0c;欢迎大家在评论区交流讨论&#xff01; 文章目录 ✍一、CSS3 平面 2D 变换&#x1f48e;1 坐标轴&#x1f48e;2 transform 语法…
阅读更多...
云原生数据库海山（He3DB）PostgreSQL版核心设计理念

云原生数据库海山（He3DB）PostgreSQL版核心设计理念

本期深入解析云原生数据库海山PostgreSQL版&#xff08;以下简称“He3DB”&#xff09;的设计理念&#xff0c;探讨在设计云原生数据库过程中遇到的工程挑战&#xff0c;并展示He3DB如何有效地解决这些问题。 He3DB是移动云受到 Amazon Aurora 论文启发而独立自主设计的云原生数…
阅读更多...
【学习】Spring IoCDI

【学习】Spring IoCDI

&#x1f3a5; 个人主页&#xff1a;Dikz12&#x1f4d5;格言&#xff1a;吾愚多不敏&#xff0c;而愿加学欢迎大家&#x1f44d;点赞✍评论⭐收藏 目录 Spring 是什么&#xff1f; 什么是 IoC容器&#xff1f; 传统开发模式 loC开发模式 IoC的优势 IoC 的使用 Bean的…
阅读更多...
策略为王股票软件源代码-----如何修改为自己软件04

策略为王股票软件源代码-----如何修改为自己软件04

上面是如何打开-------类---------函数 1. 数据结构 1) 股票数据结构的定义在头文件Src\StkLib\Include\Stock.h中，主要的几个结构定义为： KDATA K线数据结构 DRDATA 除权数据结构 REPORT 交易所在交易时间内不断发送的报价信息 MINUTE 分钟成交…
阅读更多...
最大连续1的个数 III

最大连续1的个数 III

题目链接 最大连续1的个数 III 题目描述 注意点 nums[i] 不是 0 就是 10 < k < nums.length 解答思路 创建一个滑动窗口&#xff0c;保证窗口内翻转0的个数始终不大于k&#xff0c;不断移动窗口的右边界&#xff0c;有以下三种情况&#xff1a; 当右边界的值为1&…
阅读更多...
Java基础第十课——类与对象（1）

Java基础第十课——类与对象（1）

前面二白的九讲属于Java基础方面的内容&#xff0c;总体来说偏基础和简单&#xff0c;能完成的操作也有限&#xff0c;有兴趣的同学可以写一写相关的管理系统&#xff0c;后面二白也会上传一些自己敲的小系统&#xff0c;下面就要开始Java面对对象的知识内容了&#xff0c;从这…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023