kafka 集群是如何选择 leader，你知道吗？

news2024/11/22 23:41:59

前言

kafka集群是由多个broker节点组成，这里面包含了许多的知识点，以下的这些问题你都知道吗?

  • 你知道topic的分区leader是怎么选举的吗？

  • 你知道zookeeper中存储了kafka的什么信息吗？起到什么做呢？

  • 你知道kafka消息文件是怎么存储的吗？

  • 如果kafka中leader节点或者follower节点发生故障，消息会丢失吗？如何保证消息的一致性和可靠性呢？

如果你对这些问题比较模糊的话，那么很有必要看看本文，去了解以下kafka的核心设计，本文主要基于kafka3.x 版本讲解。

kafka broker 核心机制

kafka 集群整体架构

kafka 集群是由多个kafka broker通过连同一个zookeeper组成，那么他们是如何协同工作对外提供服务的呢？zookeeper中又存储了什么信息呢？

  1. kafka broker启动后，会在zookeeper的/brokers/ids路径下注册。

  2. 同时，其中一个broker会被选举为控制器（Kafka Controller）。选举规则也很简单，谁先注册到zookeeper中的/controller节点，谁就是控制器。Controller主要负责管理整个集群中所有分区和副本的状态。

  3. Kafka Controller会进行Leader选择，比如上图中针对TopicA中的 0 号分区，选择broker0作为Leader, 然后会将选择的节点信息注册到zookeeper的/brokers/topics路径下，记录谁是Leader，有哪些服务器可用。

  4. 被选举为Leader的topic分区提供对外的读写服务。为什么只有Leader节点提供读写服务，而不是设计成主从方式，Follower提供读服务呢？

  • 为了保证数据的一致性，因为消息同步延迟，可能导致消费者从不同节点读取导致不一致。

  • kafka 设计目的是分布式日志系统，不是一个读多写少的场景，kafka 的读写基本是对等的。

  • 主从方式的话带来设计上的复杂度。

kafka leader 选举机制

那么问题来了，kafka中topic分区是如何选择leader的呢？为了更好的阐述，我们先来理解下面 3 个概念。

  • ISR：表示和 Leader 保持同步的 Follower 集合。如果 Follower 长时间未向 Leader 发送通信请求或同步数据，则该 Follower 将被踢出 ISR。该时间阈值由replica.lag.time.max.ms参数设定，默认 30s。Leader 发生故障之后，就会从 ISR 中选举新的Leader。

  • OSR：表示 Follower 与 Leader 副本同步时，延迟过多的副本。

  • AR: 指的是分区中的所有副本，所以AR = ISR + OSR。

Kafka Controller选举Leader的规则：在isr队列中存活为前提，按照AR中排在前面的优先。例如ar[1,0,2], isr [1，0，2]，那么leader就会按照 1，0，2 的顺序轮询。而 AR 中的这个顺序kafka会进行打散，分摊kafka broker的压力。

当运行中的控制器突然宕机或意外终止时，Kafka 通过监听zookeeper能够快速地感知到，并立即启用备用控制器来代替之前失败的控制器。这个过程就被称为 Failover，该过程是自动完成的，无需你手动干预。

开始的时候，Broker 0 是控制器。当 Broker 0 宕机后，ZooKeeper 通过 Watch 机制感知到并删除了 /controller 临时节点。之后，所有存活的 Broker 开始竞选新的控制器身份。Broker 3最终赢得了选举，成功地在 ZooKeeper 上重建了 /controller 节点。之后，Broker 3 会从 ZooKeeper 中读取集群元数据信息，并初始化到自己的缓存中，后面就有Broker 3来接管选择Leader的功能了。

Leader 和 Follower 故障处理机制

如果topic分区的leader和follower发生了故障，那么对于数据的一致性和可靠性会有什么样的影响呢？

  • LEO（Log End Offset）：每个副本的最后一个offset，LEO就是最新的offset + 1。

  • HW（High Watermark）：水位线，所有副本中最小的LEO ，消费者只能看到这个水位线左边的消息，从而保证数据的一致性。

上图所示，如果follower发生故障怎么办？

  • Follower发生故障后会被临时踢出ISR队列。

  • 这个期间Leader和Follower继续接收数据。

  • 待该Follower恢复后，Follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向Leader进行同步。

  • 等该Follower的LEO大于等于该Partition的HW，即Follower追上Leader之后，就可以重新加入 ISR 了。

如果leader发生故障怎么办？

  • Leader发生故障之后，会从ISR中选出一个新的Leader

  • 为保证多个副本之间的数据一致性，其余的Follower会先将各自的log文件高于HW的部分截掉，然后从新的Leader同步数据。

所以为了让kafka broker保证消息的可靠性和一致性，我们要做如下的配置：

  • 设置 生产者producer 的配置acks=all或者-1。leader 在返回确认或错误响应之前，会等待所有副本收到悄息，需要配合min.insync.replicas配置使用。这样就意味着leader和follower的LEO对齐。

  • 设置topic 的配置replication.factor>=3副本大于 3 个，并且 min.insync.replicas>=2表示至少两个副本应答。

  • 设置broker配置unclean.leader.election.enable=false，默认也是 false，表示不对落后leader很多的follower也就是非ISR队列中的副本选择为Leader, 这样可以避免数据丢失和数据 不一致，但是可用性会降低。

Leader Partition 负载平衡

正常情况下，Kafka本身会自动把Leader Partition均匀分散在各个机器上，来保证每台机器的读写吞吐量都是均匀的。但是如果某些broker宕机，会导致 Leader Partition 过于集中在其他少部分几台broker上，这会导致少数几台broker的读写请求压力过高，其他宕机的 broker 重启之后都是follower partition，读写请求很低，造成集群负载不均衡。那么该如何负载平衡呢？

  1. 自动负载均衡

通过broker配置设置自动负载均衡。

  • auto.leader.rebalance.enable：默认是 true。 自动 Leader Partition 平衡。生产环境中，leader 重选举的代价比较大，可能会带来性能影响，建议设置为 false 关闭。

  • leader.imbalance.per.broker.percentage：默认是 10%。每个 broker 允许的不平衡的 leader的比率。如果每个 broker 超过了这个值，控制器会触发 leader 的平衡。

  • leader.imbalance.check.interval.seconds：默认值 300 秒。检查 leader 负载是否平衡的间隔时间。

  1. 手动负载均衡

  • 对所有topic进行负载均衡

./bin/kafka-preferred-replica-election.sh --zookeeper hadoop16:2181,hadoop17:2181,hadoop18:2181/kafka08

复制代码

  • 对指定topic负载均衡

cat topicPartitionList.json
{
 "partitions":
  [
    {"topic":"test.example","partition": "0"}
  ]
}

复制代码

./bin/kafka-preferred-replica-election.sh --zookeeper hadoop16:2181,hadoop17:2181,hadoop18:2181/kafka08 --path-to-json-file topicPartitionList.json

复制代码

kafka 的存储机制

kafka 消息最终会存储到磁盘文件中，那么是如何存储的呢？清理策略是什么呢？

一个topic分为多个partition，每个 partition 对应于一个log文件，为防止 log 文件过大导致数据定位效率低下，Kafka 采取了分片和索引机制，每个partition分为多个segment。每个segment包括：“.index”文件、“.log”文件和.timeindex等文件，Producer生产的数据会被不断追加到该 log 文件末端。

上图中 t1 即为一个topic的名称，而“t1-0/t1-1”则表明这个目录是 t1 这个topic的哪个partition。

kafka 中的索引文件以稀疏索引（sparseindex）的方式构造消息的索引，如下图所示：

1.根据目标offset定位segment文件

2.找到小于等于目标offset的最大offset对应的索引项

3.定位到log文件

4.向下遍历找到目标Record

注意：index 为稀疏索引，大约每往log文件写入4kb数据，会往index文件写入一条索引。通过参数log.index.interval.bytes控制，默认4kb。

那 kafka 中磁盘文件保存多久呢？

kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。

  • log.retention.hours，最低优先级小时，默认 7 天。

  • log.retention.minutes，分钟。

  • log.retention.ms，最高优先级毫秒。

  • log.retention.check.interval.ms，负责设置检查周期，默认 5 分钟。

kafka broker 重要参数

前面讲解了kafka broker中的核心机制，我们再来看下重要的配置参数。

首先来说下 kafka 服务端配置属性Update Mode的作用：

  • read-only。被标记为read-only 的参数和原来的参数行为一样，只有重启 Broker，才能令修改生效。

  • per-broker。被标记为 per-broker 的参数属于动态参数，修改它之后，无需重启就会在对应的 broker 上生效。

  • cluster-wide。被标记为 cluster-wide 的参数也属于动态参数，修改它之后，会在整个集群范围内生效，也就是说，对所有 broker 都生效。也可以为具体的 broker 修改cluster-wide 参数。

Broker 重要参数

总结

Kafka集群的分区多副本架构是 Kafka 可靠性保证的核心，把消息写入多个副本可以使 Kafka 在发生崩溃时仍能保证消息的持久性。本文围绕这样的核心架构讲解了其中的一些核心机制，包括 Leader 的选举、消息的存储机制等等。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/610662.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

基于matlab地形可视化仿真

基于matlab地形可视化仿真

一、前言 此示例说明了将常规可用的数字高程模型转换为 X3D 格式以用于虚拟现实场景的可能性。 作为地形数据源，已使用南旧金山 DEM 模型。场景中包含一个简单的预制波音 747 模型，以展示从多个来源即时创建虚拟场景的技术。 此示例需要映射工具箱。 二、…
阅读更多...
高通全面进攻智能汽车「路径」

高通全面进攻智能汽车「路径」

“统一技术路线图”，被高通技术公司高级副总裁兼汽车业务总经理Nakul Duggal着重提及。 5月26日，高通在苏州举办汽车技术与合作峰会，Nakul Duggal在峰会上坦言，“我们在所有业务领域、所有产品开发中都遵循‘统一技术路线图’&am…
阅读更多...
【owt】WebrtcNode, publish-sdp offer 流程(2)

【owt】WebrtcNode, publish-sdp offer 流程(2)

流程图 创建MediaStream， MediaStream一方面作为从客户端接收到媒体数据，另外一方面做为视频源；创建VideoFrameConstructor，VideoFrameConstructor 把sink 注册到MediaStream，这样MediaStream（继承了MediaS…
阅读更多...
运维小白必学篇之基础篇第七集：磁盘管理实验

运维小白必学篇之基础篇第七集：磁盘管理实验

磁盘管理实验 实验作业： 1、添加1块磁盘，并查看（lsblk） 2、使用MBR分区表的格式对添加的磁盘划分分区，完成以下操作： 1、创建3个主分区，每个分区大小为2个GB 2、创建扩展分区，将剩…
阅读更多...
前端技术搭建俄罗斯方块（内含源码）

前端技术搭建俄罗斯方块（内含源码）

The sand accumulates to form a pagoda ✨ 写在前面✨ 功能介绍✨ 页面搭建✨ 样式设置✨ 逻辑部分 ✨ 写在前面 上周我们实通过前端基础实现了扫雷游戏，今天还是继续按照我们原定的节奏来带领大家完成俄罗斯方块游戏，功能也比较简单简单，也…
阅读更多...
【源码篇】基于SSM的办公管理系统

【源码篇】基于SSM的办公管理系统

1、项目介绍 基于SSM的办公管理系统主要是对于办公用品的申领进行管理，系统分为三种角色，超级管理员、企业职工、审核员，每种角色拥有不同的权限菜单 主要功能模块有： 系统管理(用户管理、角色管理、菜单管理、个人信息管理、修…
阅读更多...
ArrayList源码

ArrayList源码

介绍 ArrayList非线程安全。ArrayList基于动态数组，是一种线性表。随机访问友好，插入和删除效率低。 ​ 增删慢：每次删除元素，都需要改变数组长度、拷贝以及移动数组长度 ​ 查询快：由于数组在内存中是一块连续空间…
阅读更多...
Python实战基础20-解密文件及目录操作

Python实战基础20-解密文件及目录操作

任务1 为泸州驰援湖北的89名白衣勇士点赞 【任务描述】 设计python程序，实现用户可以为泸州驰援湖北的89名白衣勇士点赞留言。用户点赞留言内容保存到本地txt文件中。 import os # 导入os模块 import random # 导入随机模块 import string # 导入string模块# 定义…
阅读更多...
序列化与反序列化深入理解

序列化与反序列化深入理解

序列化与反序列化深入理解 1 介绍1.1 概述1.2 序列化实现的需求 2 常用序列化实现函数序列化语言内置开源序列化实现 3 各序列化实现比较4 各序列化实现概述XMLJSONProtobufJava 内置TLVVLE（Variable Length Encoding） 5 flex & bison5.1 介绍应用解…
阅读更多...
MyBatis-4

MyBatis-4

MyBatis 工作原理 形式上的应用为&#xff1a; UserMapper userMapper MyBatisSessionFactory.getMapper(UserMapper.class); List<User> userList userMapper.selectByExample(example)真正执行的操作为: SqlSession session MyBatisSessionFactory.getSession();…
阅读更多...
聊天更有趣ChatGPT【再次更新】第三方插件

聊天更有趣ChatGPT【再次更新】第三方插件

ChatGPT再次更新&#xff0c;第三方插件让你的聊天更有趣 你是否曾经想过&#xff0c;如果你能够和你最喜欢的明星、作家或者历史人物聊天&#xff0c;会是什么样的体验&#xff1f;你是否曾经想过&#xff0c;如果你能够和你的朋友一起玩一些有趣的游戏、挑战或者测试&#x…
阅读更多...
spring注解驱动开发（BEAN注册方式与生命周期）

spring注解驱动开发（BEAN注册方式与生命周期）

目录 容器中注册BEAN的方式 BEAN生命周期 容器中注册BEAN的方式 包扫描组件标注注解 ComponentScan(basePackages {"com.an.spring.condition"}) Service Component Controller RepositoryBEan方式【导入第三方包里面的组件】 ComponentScan(basePackages {&quo…
阅读更多...
chatgpt赋能python：Python处理雷达数据

chatgpt赋能python：Python处理雷达数据

Python处理雷达数据 雷达技术是一种主要用于测量目标距离、速度和方位的技术。在雷达系统中&#xff0c;雷达接收器接收到的信号经过一系列的处理才能得到有效的数据。在这一过程中&#xff0c;Python语言得到了广泛应用。本文将介绍Python如何处理雷达数据。 雷达数据的格式…
阅读更多...
linuxOPS基础_ssh概念详解

linuxOPS基础_ssh概念详解

ssh 什么是SSH SSH&#xff08;Secure Shell&#xff0c;安全外壳&#xff09;是一种网络安全协议&#xff0c;通过加密和认证机制实现安全的访问和文件传输等业务。传统远程登录和文件传输方式&#xff0c;例如Telnet、FTP&#xff0c;使用明文传输数据&#xff0c;存在很多…
阅读更多...
Openlayers 教程 - 基于 Openlayers api 实现空间查询（客户端）：点选、范围查询

Openlayers 教程 - 基于 Openlayers api 实现空间查询（客户端）：点选、范围查询

Openlayers 教程 - 基于 Openlayers api 实现空间查询&#xff08;客户端&#xff09;&#xff1a;点选、范围查询 客户端空间查询核心代码在线示例 客户端空间查询 在地理信息系统中&#xff0c;空间查询有的非常重要的作用&#xff0c;几乎所有地图相关的业务系统都需要空间…
阅读更多...
青少年C++编程等考有这么多？？机构到底该带孩子考哪个？

青少年C++编程等考有这么多？？机构到底该带孩子考哪个？

随着信息学的普及与发展&#xff0c;越来越多的孩子开始学习C&#xff0c;参加编程等考来检验C的学习成果、作为也逐渐成为了一个共识&#xff0c;跟C有关的等考究竟有哪些&#xff0c;哪个等考含金量够高&#xff0c;能够客观、有效地检验学习成果呢&#xff1f; 在这里整理了…
阅读更多...
解决Fortify漏洞：Access Specifier Manipulation

解决Fortify漏洞：Access Specifier Manipulation

目录 1. 什么是Fortify漏洞 2. 漏洞描述 示例&#xff1a; 3. 漏洞原因 4. 解决方法 示例&#xff1a; 1. 什么是Fortify漏洞 Fortify 是一种静态代码分析工具&#xff0c;可用于识别源代码中的安全漏洞和错误。Fortify 检查程序是否存在潜在的安全漏洞&#xff0c;例如 …
阅读更多...
Vue-springboot大学生心理健康测试咨询与诊断平台设计与实现

Vue-springboot大学生心理健康测试咨询与诊断平台设计与实现

心理健康咨询与诊断平台一直以来就是困扰医院提高服务水平的重要环节&#xff0c;特别是医疗水平高、门诊访问量高的综合型医院&#xff0c;门诊拥挤就成了普遍现象。因此&#xff0c;本文提出了心理健康咨询与诊断平台。在线预约挂号、医疗诊断、医生评价、排班信息、心理测试…
阅读更多...
WWW 2023 | 量化交易相关论文（附论文链接）

WWW 2023 | 量化交易相关论文（附论文链接）

写在前面 国际万维网会议&#xff08;Proceedings of the ACM Web Conference&#xff0c;简称 WWW&#xff09;是互联网技术领域最重要的国际会议之一。今年的 WWW 将在美国德克萨斯州举行。本届会议共收到了1900篇论文&#xff0c;接收365篇&#xff0c;录用率为19.2%。本文介…
阅读更多...
单片机的系统移植

单片机的系统移植

目录 一、uboot概述 Bootloader Bootloader基本功能&#xff1a; 二、SD卡启动盘制作 三、uboot的使用 3.1uboot模式 自启动模式 交互模式 3.2uboot帮助命令 3.3uboot环境变量命令 3.4常用环境变量 3.5网络传输命令 3.6u-boot访问存储器命令 3.7 u-boot自启动环境变量&#xff…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023