ZK高可用架构涉及常用功能整理

news2024/11/16 12:06:08

ZK高可用架构涉及常用功能整理

  • 1. zk的高可用系统架构和相关组件
    • 1.1 Quorum机制
    • 1.2 ZAB协议
  • 2. zk的核心参数
    • 2.1 常规配置
    • 2.2 特殊优化配置
  • 3. zk常用命令
    • 3.1 常用基础命令
    • 3.2 常用运维命令
  • 4. 事务性
    • 4.1 数据写流程
    • 4.2 数据读流程
  • 5. 疑问和思考
    • 5.1 zk不擅长处理哪些场景？
  • 6. 参考文档

探讨zk的系统架构以及以及整体常用的命令和系统分析，本文主要探讨高可用版本的zk集群，并基于日常工作中的沉淀进行思考和整理。更多关于分布式系统的架构思考请参考文档关于常见分布式组件高可用设计原理的理解和思考

1. zk的高可用系统架构和相关组件

zk在产品设计上，面对的存储数据量比较小，一台zk机器就能够满足数据的存储需求，因此在集群的架构设计上，使用镜像模式进行数据高可用，通过ZAB 协议进行选举leader，从而满足集群的高可用和数据一致性要求。

zk的系统架构如下

在这里插入图片描述

zk的数据模型，呈现树形，类似linux的文件目录系统。在这里插入图片描述

相关核心的组件和角色作用如下

角色数量角色作用备注
Leader有且必须只有1个它会发起并维护与各Follwer及Observer间的心跳，所有的写操作必须要通过Leader完成再由Leader将写操作广播给其它服务器通过内部选举选择出leader
Follower多个会响应Leader的心跳，可直接处理并返回客户端的读请求，同时会将写请求转发给Leader处理，并且负责在Leader处理写请求时对请求进行投票和Observer统称为Learner
Observer多个作用跟Follow相同，但是没有投票权和Follower统称为Learner

在这里插入图片描述

1.1 Quorum机制

Quorum机制（有效个数）模式：指分布式系统的每一次修改都要在大多数（超过半数）实例上通过来确定修改通过。

产生Quorum机制（有效个数）的背景如下：

分布式系统的LC矛盾
在一个分布式存储系统中，用户请求会发到一个实例上。通常在一个实例上面执行的修改，需要复制到其他的实例上，这样可以保证在原实例挂了的情况下，用户依然可以看到这个修改。这就涉及到一个问题，究竟复制到多少个其他实例上之后，用户请求才会返回成功呢？如果复制的实例个数过多，那么请求响应时间就会更长；如果复制的实例过少，则这个修改可能会丢失。取得这个平衡性很重要，这也是分布式 PACELC 中的 L（Latency） 与 C（Consistency） 的取舍。

解决方案
当一个修改，被集群中的大部分节点（假设个数为N）通过之后，这个修改也就被这个集群所接受。这个 N 就是有效个数。假设集群数量为 n，那么 N = n/2 + 1.例如 n = 5，则 N = 3，从而应运而生Quorum机制（有效个数）

1.2 ZAB协议

ZooKeeper为了保证集群中各个节点读写数据的一致性和可用性，设计并实现了ZAB协议，ZAB全称是ZooKeeper Atomic Broadcast，也就是ZooKeeper原子广播协议。这种协议支持崩溃恢复，并基于主从模式，同一时刻只有一个Leader，所有的写操作都由Leader节点主导完成，而读操作可通过任意节点完成，因此ZooKeeper读性能远好于写性能，更适合读多写少的场景。一旦Leader节点宕机，ZAB协议的崩溃恢复机制能自动从Follower节点中重新选出一个合适的替代者，即新的Leader，该过程即为领导选举。领导选举过程，是ZAB协议中最为重要和复杂的过程

2. zk的核心参数

2.1 常规配置

zoo.cfg配置

cat /data/zookeeper-3.4.14/conf/zoo.cfg 
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=16
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=8
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/data/zookeeper-3.4.14/data
dataLogDir=/data/zookeeper-3.4.14/log
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
maxClientCnxns=10000
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=50
# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=1
# 配置允许删除临时数据
extendedTypesEnabled=true

# https://issues.apache.org/jira/plugins/servlet/mobile#issue/ZOOKEEPER-2164。
cnxTimeout=20000
# Add default super user to zookeeper for administration.
# if you want the passwd. please contact to administration.
DigestAuthenticationProvider.superDigest=super:2bS8Usm0IRIIwal5O1c6meW8uxI=

server.1=xx.xx.xx.xx:2888:3888
server.2=xx.xx.xx.xx:2888:3888
server.3=xx.xx.xx.xx:2888:3888

myid配置

# cat /data/zookeeper-3.4.14/data/myid
1

不同的zk节点，配置对应的myid，配置依据来自zoo.cfg中的server.x配置

2.2 特殊优化配置

根据经验，可以增加zoo.cfg的管理账号

# fix the bug that 3888 listener will lost when network down and check_zk.sh restart the server
quorumListenOnAllIPs=true

# Add default super user to zookeeper for administration.
# if you want the passwd. please contact to administration.
DigestAuthenticationProvider.superDigest=super:2bS8Usm0IRIIwal5O1c6meW8uxI=

3. zk常用命令

利用zk安装包中自带的zkCli.sh命令，能够链接到zk中，并进行相关的操作

# 连接本地zk
./zkCli.sh

# 远程连接zk
./zkCli.sh -server xx.xx.xx.xx:2181

3.1 常用基础命令

整理日常操作zk常用的命令，便于针对zk的文件操作

1， ls 列出当前节点下的子节点

[zk: 127.0.0.1:2181(CONNECTED) 28] ls -R /
/
/node1
/zk
/zookeeper
/node1/node1.1
/node1/node1.2
/zookeeper/config
/zookeeper/quota
[zk: 127.0.0.1:2181(CONNECTED) 29]

2， stat 列出节点状态

[zk: 127.0.0.1:2181(CONNECTED) 29] stat /
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0xc
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 3

3，get 获取节点内容和节点状态

[zk: 127.0.0.1:2181(CONNECTED) 35] get /zk
jiang1234

4，create 创建永久节点

[zk: 127.0.0.1:2181(CONNECTED) 39] create /node_1 node-data
Created /node_1

5, 创建临时节点 &session过期临时节点删除

# 创建临时节点
[zk: 127.0.0.1:2181(CONNECTED) 40] create -e /czk/tmp temp-data
Created /czk/tmp

# 要求先配置 extendedTypesEnabled=true
# 创建带ttl的临时节点
create -t 10 /zkttl

# 10s后再ls就看不到创建的目录
ls /zkttl

在这里插入图片描述

6, 创建顺序节点

[zk: 127.0.0.1:2181(CONNECTED) 46] ls /czk
[tmp]
[zk: 127.0.0.1:2181(CONNECTED) 47] create -s /czk/sec seq
Created /czk/sec0000000001
[zk: 127.0.0.1:2181(CONNECTED) 48] create -s /czk/sec seq
Created /czk/sec0000000002
[zk: 127.0.0.1:2181(CONNECTED) 49] ls /czk
[sec0000000001, sec0000000002, tmp]
[zk: 127.0.0.1:2181(CONNECTED) 50]

7，set 设置数据:

[zk: 127.0.0.1:2181(CONNECTED) 50] get /czk
czk-data
[zk: 127.0.0.1:2181(CONNECTED) 51] set /czk czk-data2
[zk: 127.0.0.1:2181(CONNECTED) 52] get /czk
czk-data2

8，delete 删除目录

[zk: 127.0.0.1:2181(CONNECTED) 57] ls /czk
[sec0000000001, sec0000000002, tmp]
[zk: 127.0.0.1:2181(CONNECTED) 58] delete /czk/sec000000001
Node does not exist: /czk/sec000000001
[zk: 127.0.0.1:2181(CONNECTED) 59] ls /czk
[sec0000000001, sec0000000002, tmp]
[zk: 127.0.0.1:2181(CONNECTED) 60] delete /czk/sec0000000001
[zk: 127.0.0.1:2181(CONNECTED) 61] ls /czk
[sec0000000002, tmp]

3.2 常用运维命令

用于日常运维命令，便于进行服务运维，提升系统稳定性。

1, 服务启停

# 启动ZK服务
sh bin/zkServer.sh start
# 查看ZK服务状态
sh bin/zkServer.sh status
# 停止ZK服务
sh bin/zkServer.sh stop
# 重启ZK服务
sh bin/zkServer.sh restart

2, 检查zk集群的状态

#!/usr/bin/python
# -*- coding: utf-8 -*-

import json
import logging
import os
import random
import subprocess
import sys
import time
import datetime

if sys.getdefaultencoding() != 'utf-8':
    reload(sys)
    sys.setdefaultencoding('utf-8')

logfile = "log_" + os.path.basename(sys.argv[0]).split(".")[0].split(".")[0] + ".log"
working_path = sys.path[0] + os.path.sep
log_path = "./"

log_level = logging.DEBUG

# 检查zk集群状态
zk_ips = []
zk_port = 2181
zoo_conf = "/data/zookeeper-3.4.14/conf/zoo.cfg"

def getlogger(name, path_file_name):
    logger = logging.getLogger(name)
    if len(logger.handlers) == 0:
        logger.setLevel(log_level)
        fh = logging.FileHandler(path_file_name, encoding='utf-8')
        formatter = logging.Formatter('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')
        fh.setFormatter(formatter)
        logger.addHandler(fh)
        if name != "file":
            console = logging.StreamHandler()
            console.setLevel(log_level)
            formatter = logging.Formatter('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')
            console.setFormatter(formatter)
            logger.addHandler(console)
    return logger


if not os.path.exists(log_path):
    os.makedirs(log_path)

logger = getlogger("default", log_path + logfile)
file_logger = getlogger("file", log_path + logfile)


def run_shell(cmd, stderr2out=True):
    p = None
    if stderr2out:
        p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True, stderr=subprocess.STDOUT)
    else:
        p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True)
    out, err = p.communicate()
    if logger:
        logger.debug('running:%s,output:\n%s' % (cmd, out))
    return p.returncode, out


def get_zoo_server_list(conf_path):
    server_list = []
    (status, output) = run_shell("cat " + zoo_conf)
    if status != 0:
        return server_list
    lines = output.split("\n")
    for line in lines:
        if "server." in line and "#" not in line:
            tmp = line.split("=")
            if len(tmp) != 2:
                continue
            host = tmp[1].split(":")[0]
            server_list.append(host)
    return server_list


def main():
    result = []
    all_ips = []
    all_ips = get_zoo_server_list(zoo_conf)
    all_ips = all_ips + zk_ips
    for ip in all_ips:
        (status, output) = run_shell("echo mntr|nc -w 3 " + ip + " " + str(zk_port))
        ip_result = {"conn": ip + ":" + str(zk_port), "result": None, "server_state": None}
        if status != 0:
            ip_result["result"] = "dead:conn " + ip + ":" + str(zk_port) + " failed."
        else:
            server_info = output.split("\n")
            for info in server_info:
                if "zk_server_state" in info:
                    ip_result["server_state"] = info.split("\t")[-1]

            if ip_result["server_state"] is None:
                ip_result["result"] = "dead:zk role failed."
            else:
                ip_result["result"] = "alive"
        result.append(ip_result)

    # 输出结果
    print("=================result=================")
    for ip_result in result:
        print(json.dumps(ip_result))

    if len(all_ips) == 0:
        print("get server empty from " + zoo_conf + ",and zk_ips empty.")


if __name__ == '__main__':
    main()

4. 事务性

4.1 数据写流程

zk的数据写流程，整体流程如下。
在这里插入图片描述

  1. Client向Zookeeper的server1发送一个写请求，客户端写数据到服务器1上；
  2. 如果server1不是Leader，那么server1会把接收到的写请求转发给Leader；然后Leader会将写请求转发给每个server；
  3. server1和server2负责写数据，并且两个Follower的写入数据是一致的，保存相同的数据副本；
  4. server1和server2写数据成功后，通知Leader；
  5. 当Leader收到集群半数以上的节点写成功的消息后，说明该写操作执行成功；
  6. 因为client访问的是server1，所以Leader会告知server1集群中数据写成功；
  7. 被访问的server1进一步通知client数据写成功，这时，客户端就知道整个写操作成功了。

4.2 数据读流程

相比写数据流程，读数据流程就简单得多；因为每台server中数据一致性都一样，所以随便访问哪台server读数据就行；没有写数据流程中请求转发、数据同步、成功通知这些步骤。

5. 疑问和思考

5.1 zk不擅长处理哪些场景？

zk擅长处理kv小量数据（v一般不能超过1M），基于zk进行分布式锁、选主、服务发现等均有比较好的应用和实践。但是zk不擅长处理大量数据的存储，通常需要注意不能在zk路径下写入过多数据，通常znode的目录数量应当控制在20M以内，单个zk节点的数据存储不应该超过10G，否则可能会由于zk存储了过多的数据而导致服务异常。

6. 参考文档

  • ZooKeeper 的总体架构图
  • 从0到1详解ZooKeeper的应用场景及架构原理

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1408395.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

springboot家乡特色推荐系统源码和论文

springboot家乡特色推荐系统源码和论文

在Internet高速发展的今天，我们生活的各个领域都涉及到计算机的应用，其中包括家乡特色推荐的网络应用，在外国家乡特色推荐系统已经是很普遍的方式，不过国内的管理网站可能还处于起步阶段。家乡特色推荐系统采用java技术&#xff0…
阅读更多...
橘子学Mybatis08之Mybatis关于一级缓存的使用和适配器设计模式

橘子学Mybatis08之Mybatis关于一级缓存的使用和适配器设计模式

前面我们说了mybatis的缓存设计体系，这里我们来正式看一下这玩意到底是咋个用法。 首先我们是知道的，Mybatis中存在两级缓存。分别是一级缓存(会话级)，和二级缓存(全局级)。 下面我们就来看看这两级缓存。 一、准备工作 1、准备数据库 在此之…
阅读更多...
HCIP：不同VLAN下实现网络互相通信

HCIP：不同VLAN下实现网络互相通信

配置pc1 配置pc2 配置pc3 将sw1划分到vlan3 将sw3划分到vlan3 在sw1上进行缺省 将sw1上（g0/0/1）的untagged改成 1 3 则在pc1上ping pc2可通 在sw1上进行缺省 在sw3上（e0/0/1）打标记 则在pc1上ping pc3可通（实现互通&am…
阅读更多...
阿里云Serverless 容器使用，以及常见问题处理

阿里云Serverless 容器使用，以及常见问题处理

阿里云Serverless Kubernetes容器服务（ASK）是基于Kubernetes的Serverless容器产品，能够自动完成资源管理、弹性伸缩和按需计费。以下是一些基本使用步骤以及常见问题处理： 阿里云Serverless Kubernetes（ASK&#xff0…
阅读更多...
17.鸿蒙HarmonyOS App(JAVA)滑动选择器

17.鸿蒙HarmonyOS App(JAVA)滑动选择器

每天进步一点点,成功在久不在速 滑动选择器 //设置文本样式 picker.setNormalTextFont(Font.DEFAULT_BOLD); picker.setNormalTextSize(40); picker.setNormalTextColor(new Color(Color.getIntColor("#FFA500"))); picker.setSelectedTextFont(Font.DEFAULT_BOLD)…
阅读更多...
socket通信客户端收到16进制转换出现efbfbd乱码解决办法

socket通信客户端收到16进制转换出现efbfbd乱码解决办法

socket客户端接收服务端发来的数据时，发现老有efbfbd乱码，如下图，服务端发送的是02040200013CF0，但是客户端接收到解析后却不一样 客户端接收解析并打印 在网上查原因后，原因是将接收的byte数组转换为String后&#…
阅读更多...
C++：第十三讲BFS广度优先搜索

C++：第十三讲BFS广度优先搜索

前言 今天带领大家学一下BFS。 DFS可以看——C:第十二讲DFS深搜（二）_c匿名函数dfs-CSDN博客 BFS简介 广度优先搜索（breadth-first search，缩写为bfs）又名宽度优先搜索，是最简便的图的搜索算法之一&…
阅读更多...
Conda python运行的包和环境管理 入门

Conda python运行的包和环境管理 入门

Conda系列： 翻译: Anaconda 与 miniconda的区别Miniconda介绍以及安装 Conda 是一个功能强大的命令行工具，用于在 Windows、macOS 和 Linux 上运行的包和环境管理。 本 conda 入门指南介绍了启动和使用 conda 创建环境和安装包的基础知识。 1. 准备…
阅读更多...
优先级队列(堆) PriorityQueue

优先级队列(堆) PriorityQueue

🎥 个人主页：Dikz12📕格言：那些在暗处执拗生长的花，终有一日会馥郁传香欢迎大家👍点赞✍评论⭐收藏 目录 1.优先级队列 2.优先级队列的模拟实现 2.1 堆的概念 2.2 堆的创建 2.3 堆的插入和删除 2.…
阅读更多...
基于openssl v3搭建ssl安全加固的c++ tcpserver

基于openssl v3搭建ssl安全加固的c++ tcpserver

1 概述 tcp server和tcp client同时使用openssl库，可对通信双方流通的字节序列进行加解密，保障通信的安全。本文以c编写的tcp server和tcp client为例子，openssl的版本为v3。 2 安装openssl v3 2.1 安装 perl-IPC-Cmd openssl项目中的co…
阅读更多...
【软考】位示图

【软考】位示图

目录 一、基本概念二、位示图 一、基本概念 1.要将文件保存到外部存储器（外存或辅存），首先得知道存储空间的使用情况 2.要清楚哪个物理块已经被占用，哪个物理块是空闲的 3.当对大容量的磁盘存储空间被多用户共享时，用户…
阅读更多...
套接字通信(附带单线程TCP套接字通信代码)

套接字通信(附带单线程TCP套接字通信代码)

套接字-Socket 1. 概念 1.1 局域网和广域网 局域网（LAN）和广域网（WAN）是两种不同范围的计算机网络，它们用于连接多台计算机以实现数据共享和通信。 局域网（LAN）： 定义&#xff1…
阅读更多...
JUC-CAS

JUC-CAS

1. CAS概述 CAS(Compare ans swap/set) 比较并交换，实现并发的一种底层技术。它将预期的值和内存中的值比较，如果相同，就更新内存中的值。如果不匹配，一直重试（自旋）。Java.util.concurrent.atomic包下的原…
阅读更多...
AMIS的组件学习使用

AMIS的组件学习使用

部分代码片段 {"id": "filterForm","className": " xysd-zbkb-pubquery","labelWidth": 130,"body": [{"type": "grid","className": "xysd-grid-query-input","c…
阅读更多...
鲲鹏微认证——openEuler开源操作系统迁移实践

鲲鹏微认证——openEuler开源操作系统迁移实践

文章目录 为什么要系统搬迁为什么选择欧拉欧拉系统迁移概述实施路径工具实战 为什么要系统搬迁 2020年12月，CentOs作为由开源社区免费提供的操作系统，宣布将对CentO58于2021年底停止服务，CentO57则于2024年6月底停止服务。 这将直接导致操作…
阅读更多...
MyBatis详解（1）-- ORM模型

MyBatis详解（1）-- ORM模型

MyBatis详解（1） JDBC的弊端： ORM 模型常见的ORM模型：mybatis和Hibernate的区别 ***优势：mybatis解决问题：优点： MyBatisMyBatis环境搭建项目架构mybatis生命周期 JDBC的弊端： 1.硬编…
阅读更多...
dataGrip连接数据库mysql和intersystems的iris

dataGrip连接数据库mysql和intersystems的iris

intersystems公司的产品iris是cache的升级版本，目前绝大多数数据库工具都没法连接这个数据库 datagrip下载地址 https://download-cdn.jetbrains.com.cn/datagrip/datagrip-2023.3.3.exe 选择对应的数据库产品类型 新建数据库资源连接 填上对应的数据库连接和账…
阅读更多...
12.前端--CSS-背景属性

12.前端--CSS-背景属性

1.背景颜色 样式名称： background-color 定义元素的背景颜色 使用方式: background-color:颜色值; 其他说明： 元素背景颜色默认值是 transparent（透明）      background-color:transparent; 代码演示： 背景色…
阅读更多...
将AWS iot消息数据发送Kinesis Firehose Stream存向S3

将AWS iot消息数据发送Kinesis Firehose Stream存向S3

观看此文章之前，请先学习AWS iot的数据收集： 使用Linux SDK客户端向AWS Iot发送数据-CSDN博客 1、工作原理： 1.1 规则 规则可让您的设备与 AWS 服务进行交互。分析规则并根据物品发送的消息执行操作。您可以使用规则来支持任务&#xff0…
阅读更多...
Lucene 源码分析——BKD-Tree

Lucene 源码分析——BKD-Tree

Lucene 源码分析——BKD-Tree - AIQ Bkd-Tree Bkd-Tree作为一种基于K-D-B-tree的索引结构，用来对多维度的点数据(multi-dimensional point data)集进行索引。Bkd-Tree跟K-D-B-tree的理论部分在本篇文章中不详细介绍，对应的两篇论文在附件中&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023