【Kafka】服务器Broker与Controller详解

news2024/11/15 23:49:03

这里写自定义目录标题

  • Broker
    • 概述
    • Broker总体工作流程
    • Broker重要参数
  • Controller
    • 为什么需要Controller
    • 具体作用
    • 数据服务
    • Leader选举
      • 选举流程
      • 脑裂问题
      • 羊群效应
      • 触发leader选举

Broker

概述

Kafka服务实例，负责消息的持久化、中转等功能。一个独立的Kafka 服务器被就是一个broker。

broker 是集群的组成部分。每个集群都有一个broker 同时充当了集群控制器Controller的角色。

kafka使用Zookeeper（ZK）进行元数据管理，保存broker注册信息，包括主题（Topic）、分区（Partition）信息等，选择分区leader，在低版本kafka消费者的offset信息也会保存在ZK中。

在每一个Broker在启动时都会像向ZK注册信息，ZK会选取一个最早注册的Broker作为Controller，后面Controller会与ZK进行数据交互获取元数据（即整个Kafka集群的信息，例如有那些Broker,每个Broker中有那些Partition等信息），并负责管理工作，包括将分区分配给broker 和监控broker，其他Broker是与Controller进行交互进而感知到整个集群的所有信息。

Broker总体工作流程

在这里插入图片描述

流程如下：

  1. broker 启动后，向 ZK 集群进行注册
  2. 各个 broker 的 controller 抢占 ZNode
  3. 抢占到的 Controller 监听 brokers 节点的变化
  4. Controller 决定 Leader 的选举：规则：在 isr 中存活的 broker，按照 AR 中排在前面的优先
  5. Controller 将节点信息上传到 ZK
  6. 其他 controller 从 ZK 同步相关信息
  7. 假设此时 broker1 中的 Leader 挂了
  8. Controller 监听到了节点变化
  9. 从 ZK 中获取 ISR
  10. 选举出新的 Leader
  11. 向 ZK 更新 Leader 和 ISR

Broker重要参数

介绍完 Broker 的工作流程，给大家总结一下，Broker 在工作过程中涉及到的一些参数：

参数描述
replica.lag.time.max.msISR 中，如果 Follower 长时间未向 Leader 发送通信请求或同步数据，则该 Follower 将被踢出 ISR，默认 30s
auto.leader.rebalance.enable默认是 true。自动 Leader Partition 平衡
leader.imbalance.per.broker.percentage默认是 10%。每个 broker 允许的不平衡的 leader 的比率。如果每个 broker 超过了这个值，会触发 leader 的平衡
leader.imbalance.check.interval.seconds默认值 300 秒。检查 leader 负载是否平衡的间隔时间
log.segment.bytesKafka 中 log 日志是分成一块块存储的，此配置是指 log 日志划分成块的大小，默认值 1G
log.index.interval.bytes默认 4kb，每当写入了 4kb 大小的日志 (.log)，然后就往 index 文件里面记录一个索引
log.retention.hoursKafka 中数据保存的时间，默认 7 天
log.retention.minutesKafka 中数据保存的时间，分钟级别，默认关闭
log.retention.msKafka 中数据保存的时间，毫秒级别，默认关闭
log.retention.check.interval.ms检查数据是否保存超时的间隔，默认是 5 分钟
log.retention.bytes默认等于 -1，表示无穷大。超过设置的所有日志总大小，删除最早的 segment
log.cleanup.policy默认是 delete，表示所有数据启用删除策略; 如果设置值为 compact，表示所有数据启用压缩策略
num.io.threads默认是 8。负责写磁盘的线程数。整个参数值要占总核数的 50%
num.replica.fetchers副本拉取线程数，这个参数占总核数的 50%的 1/3
num.network.threads默认是 3。数据传输线程数，这个参数占总核数的 50%的 2/3
log.flush.interval.messages强制页缓存刷写到磁盘的条数，默认是 long 的最大值。不建议修改
log.flush.interval.ms每隔多久刷数据到磁盘，默认是 null。不建议修改

Controller

为什么需要Controller

在Kafka早期版本，对于分区和副本的状态的管理依赖于zookeeper的Watcher和队列：每一个broker都会在zookeeper注册Watcher，所以zookeeper就会出现大量的Watcher, 如果宕机的broker上的partition很多比较多，会造成多个Watcher触发，造成集群内大规模调整；每一个replica都要去再次zookeeper上注册监视器，当集群规模很大的时候，zookeeper负担很重。这种设计很容易出现脑裂和羊群效应以及zookeeper集群过载。

新的版本中该变了这种设计，使用KafkaController，只有KafkaController，Leader会向zookeeper上注册Watcher，其他broker几乎不用监听zookeeper的状态变化。

Kafka集群中多个broker，有一个会被选举为controller leader，负责管理整个集群中分区和副本的状态，比如partition的leader 副本故障，由controller 负责为该partition重新选举新的leader 副本；当检测到ISR列表发生变化，有controller通知集群中所有broker更新其MetadataCache信息；或者增加某个topic分区的时候也会由controller管理分区的重新分配工作。

具体作用

控制器在 Kafka 中是起协调作用的组件，那么控制器的作用大致可以分为 5 种：

1.Topic管理

这里说的To这里说的Topic管理，是指控制器帮助我们完成对 Kafka 主题的创建、删除以及分区增加的操作, 大部分的后台工作都是控制器来完成的。

2.分区重分配

当一个新的 broker 刚加入集群时，不会自动地分担己有 topic 的负载，它只会对后续新增的 topic 生效。

如果要让新增 broker 为己有的 topic 服务，用户必须手动地调整现有的 topic 的分区分布，将一部分分区搬移到新增 broker 上。这就是所谓的分区重分配reassignment操作。

除了处理 broker 扩容导致的不均衡之外，再均衡还能用于处理 broker 存储负载不均衡的情况，在单个或多个 broker 之间的日志目录之间重新分配分区。用于解决多个代理之间的存储负载不平衡。

3.Leader选
触发分区 leader 选举的几种场景：

  • Offline：创建新分区或分区失去现有 leader
  • Reassign：用户执行重分配操作
  • PreferredReplica：将 leader 迁移回首选副本
  • ControlledShutdown：分区的现有 leader 即将下线

当上述几种情况发生时，Controller 会遍历所有相关的主题分区并为其指定新的 Leader。然后向所有包含相关主题分区的 Broker 发送更新请求，其中包含了最新的 Leader 与 Follower 副本分配信息。待更新完毕后，新 Leader 会开始处理来自生产者和消费者的请求，而 Follower 开始从新 Leader 那里复制消息。

4.集群成员管理

这是控制器提供的集群成员管理功能, 主要包括自动检测新增 Broker、Broker 主动关闭及被动宕机, 而这种自动检测主要是依赖于 Watch 通知功能和 ZooKeeper 临时节点组合实现的。

比如，控制器组件会利用 Watch 机制 检查 ZooKeeper 的 /brokers/ids 节点下的子节点数量变更。目前，当有新 Broker 启动后，它会在 /brokers 下创建 临时的 znode 节点。一旦创建完毕，ZooKeeper 会通过 Watch 机制将消息通知推送给控制器，这样，控制器就能自动地感知到这个变化。

5.提供数据服务

控制器会向其他 Broker 提供数据服务。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。

数据服务

上面说了Controller会提供Broker节点及Topic等数据的信息，下面具体能提供哪些：

在这里插入图片描述

从上面表格可以看出,存储的大概有3大类:

  • 所有topic信息：包括具体的分区信息，比如 Leader 副本是谁，ISR 集合中有哪些副本等。
  • 所有 Broker 信息：包括当前都有哪些运行中的 Broker，哪些正在关闭中的 Broker 等。
  • 涉及运维任务的副本分区：包括当前正在进行 Preferred Leader选举以及分区重分配的分区列表等。

数据实际存储在ZK之中。

其中/brokers/ids/[0...n]：是使用临时节点存储在线的是各个服务节点的信息，当下线后自动删除；

/brokers/seqid：辅助生成的brokerId，当用户没有配置broker.id时，ZK会自动生成一个全局唯一的id。

/brokers/topics/{topicName}：持久化数据节点存储topic的分区副本分配信息；

在/brokers/topics/{topicName}//partitions/0/state中记录了leader和isr队列的内容；

Leader选举

选举流程

这里需要先明确一个概念leader选举，因为kafka中涉及多处选举机制，容易搞混，kafka由三个方面会涉及到选举：

  • broker（控制器）选leader
  • 分区多副本选leader
  • 消费者选leader

这里我们说的是 leader选举是controller的选举。

Broker 在启动时，会尝试去 ZooKeeper 中创建 /controller 节点。Kafka 当前选举控制器的规则是：第一个成功创建 /controller 节点的 Broker 会被指定为控制器。

但是当Controller节点挂了之后需要选举出新的controller。

Broker的leader选举过程与故障处理：

  • 集群中第一个启动的broker会在zookeeper中创建临时节点/controller来让自己成为控制器，当其他的broker启动也会在zookeeper中创建临时节点/controller，但是会发现节点已经存在，此时会受到一个异常，此时就会在zookeeper中创建一个watch对象，方便这些broker接受leader的变更消息；
  • 如果主leader因为网络问题与zookeeper断开连接或者发生异常退出了，其他的broker就可以通watch接收到控制器的变更通知，开始尝试去创建临时节点/controller，如果有一个broker创建成功了，就和上面说的一样，其他的broker也会收到异常通知，此时就说明集群中broker的leader已经确定，其他的broker只能创建watch对象了
  • 集群中broker的leader发生异常退出，在选举出新的leader之后，会检测这个异常的broker上面是否有分区副本的leader，如果有就是发起分区的leader选举，选出新的分区leader，然后更新ISR队列数据

示例：

在这里插入图片描述
图片来源：https://mp.weixin.qq.com/s/tTKXb6On5bfJGjcvn9IpbA

如上图所示: 最开始时候，Broker 0 是控制器。当 Broker 0 被检测宕机后，ZooKeeper 通过 Watch 机制感知到并删除了 /controller 临时节点。之后，所有还存活的 Broker 开始竞选新的控制器。这时 Broker 3 最终赢得了选举，成功地在 ZooKeeper 上重建了 /controller 临时节点。Broker 3 会从 ZooKeeper 中读取集群元数据信息，并初始化到自己的缓存中。控制器的 Failover 完成，这时候就可以正常工作了。

脑裂问题

所谓的脑裂问题也就是出现了多个大脑，就是leader。比如因为网络或者其他的原因导致leader出现假死状态，此时会触发leader选举，这样就会出现两个leader。

broker的leader主要是用于管理主题的，那些发生脑裂之后创建主题、增加分区的操作都会报错；但是现有的主题的读写是不影响的，这是因为读写是获取分区的元数据在任意一个broker中有可以拿到。

脑裂如何产生？

broker是通过抢占的方式在zookeeper中注册临时节点/controller来时实现的，先到先得。

由于zookeeper的临时节点的有效性是通过session来判断的，若在session timeout时间内：

  • controller所在broker网络故障
  • controller 进行full gc，STW时间过长，超过zookeeper session timeout 出现假死

则会出现脑裂问题。

kafka的解决方案

为了解决Controller脑裂问题，zookeeper中有一个持久节点/controller_epoch，存放的是一个整形值的epoch number（纪元编号，也称为隔离令牌），集群中每选举一次控制器，就会通过Zookeeper创建一个数值更大的epoch number，如果有broker收到比这个epoch数值小的数据，就会忽略消息。

羊群效应

在早期的kafka版本中，如果宕机的那个Broker上的Partition比较多， 会造成多个Watch被触发，造成集群内大量的调整，导致大量网络阻塞，这种羊群效应会导致zookeeper过载的隐患。

之后kafka引入controller的概念（也就是broker的leader）来对分区副本的状态进行管理，当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化时，由控制器负责通知所有broker更新其元数据信息。

在使用zookeeper的分布式中，这种脑裂和羊群效应都是不可避免的。

触发leader选举

现阶段的kakfa集群中，只需要broker的leader在zookeeper去注册相应的监听器，其他的broker很少去监听zookeeper的数据变化，但是每个broker还是需要对/controller进行监听；当/controller节点发生数据变化的时候，每个broker都会更新自身内存中保存的activeControllerId。

当/controller节点被删除时，集群中的broker会进行选举，如果broker在节点被删除前是控制器的话，在选举前还需要有一个下线的操作（关闭相应的资源，比如关闭状态机、注销相应的监听器等）。如果有特殊需要，可以手动删除/controller节点来触发新一轮的选举。当然关闭控制器所对应的broker以及手动向/controller节点写入新的brokerid的所对应的数据同样可以触发新一轮的选举。

参考：https://mp.weixin.qq.com/s/uI2zkf74KXsWaCOplX1Ing

https://mp.weixin.qq.com/s/oxb2Ezn4K2jMPzubqFULuw

https://mp.weixin.qq.com/s/tTKXb6On5bfJGjcvn9IpbA

https://mp.weixin.qq.com/s/CCAP8n0mTCrUT-NzOAacCg

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1420274.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[N-135]基于springboot,vue高校图书馆管理系统

[N-135]基于springboot,vue高校图书馆管理系统

开发工具：IDEA 服务器：Tomcat9.0， jdk1.8 项目构建：gradle-5.6.4 数据库：mysql5.7 系统分前后台，项目采用前后端分离 前端技术：vueelementUI 服务端技术：springbootmybatisred…
阅读更多...
【HarmonyOS应用开发】ArkUI 开发框架-基础篇-第一部分（七）

【HarmonyOS应用开发】ArkUI 开发框架-基础篇-第一部分（七）

常用基础组件 一、组件介绍 组件（Component）是界面搭建与显示的最小单位，HarmonyOS ArkUI声明式开发范式为开发者提供了丰富多样的UI组件，我们可以使用这些组件轻松的编写出更加丰富、漂亮的界面。组件根据功能可以分为以下五大类…
阅读更多...
Web 开发 9：Django 框架基础

Web 开发 9：Django 框架基础

在本篇文章中，我们将深入探讨 Django 框架的基础知识。Django 是一个功能强大且流行的 Python Web 框架，它提供了一套完整的工具和功能，用于开发高效、可扩展的 Web 应用程序。 什么是 Django？ Django 是一个基于 Python 的免费…
阅读更多...
STM32——中断系统和外部中断EXTI

STM32——中断系统和外部中断EXTI

一、中断 1.1中断系统 中断系统是管理和执行中断的逻辑结构； 1.2中断 系统在执行主程序过程中，出现了特定的触发条件（触发源），系统停止执行当前程序，转而去执行中断程序，执行完毕后&#xf…
阅读更多...
Java基础数据结构之Lambda表达式

Java基础数据结构之Lambda表达式

一.语法 基本语法：(parameters)->expression或者(parameters)->{statements;} parameters：类似方法中的形参列表，这里的参数是函数式接口里面的参数。这里的参数可以明确说明，也可以不声明而由JVM隐含的推断。当只有一个推…
阅读更多...
C++大学教程（第九版）7.30 打印array对象 7.31 逆序打印字符串（递归练习题）

C++大学教程（第九版）7.30 打印array对象 7.31 逆序打印字符串（递归练习题）

文章目录 题目代码运行截图题目代码运行截图 题目 (打印array对象)编写一个递归函数printArray它以一个array对象一个开始下标和一个结束下标作为实参，不返回任何值并打印这个array对象。当开始下标和结束下标相等时，这个函数应该停止处理并返回。 代码…
阅读更多...
关于paddleocr的predict_system按高度顺序画图

关于paddleocr的predict_system按高度顺序画图

关于paddleocr的predict_system按高度顺序画图，（coco格式） 增加adjust_res函数： 实现代码： def adjust_res(res):res_cp deepcopy(res)res_cp sorted(res_cp, keylambda x: x[bbox][1], reverseFalse)return res …
阅读更多...
西瓜书学习笔记——层次聚类（公式推导+举例应用）

西瓜书学习笔记——层次聚类（公式推导+举例应用）

文章目录 算法介绍实验分析 算法介绍 层次聚类是一种将数据集划分为层次结构的聚类方法。它主要有两种策略：自底向上和自顶向下。 其中AGNES算法是一种自底向上聚类算法，用于将数据集划分为层次结构的聚类。算法的基本思想是从每个数据点开始&#xff0…
阅读更多...
mysql之基本查询

mysql之基本查询

基本查询 一、SELECT 查询语句 一、SELECT 查询语句 查询所有列 1 SELECT *FORM emp;查询指定字段 SELECT empno,ename,job FROM emp;给字段取别名 SELECT empno 员工编号 FROM emp; SELECT empno 员工编号,ename 姓名,job 岗位 FROM emp; SELECT empno AS 员工编号,ename …
阅读更多...
BUUCTFSQL注入（部分）

BUUCTFSQL注入（部分）

原来靶场不是最折磨的，新手做ctf才是 1.[极客大挑战 2019]LoveSQL 我一共做了三题，先来讲里面最简单的题吧 看见一个登录框，先尝试注入，发现会报错，而且不过滤# ，于是就开始常规操作 1 union select 1,d…
阅读更多...
亚信电子推出新一代PCIe转多I/O (4S, 2S+1P, 2S+SPI, LB) 控制器

亚信电子推出新一代PCIe转多I/O (4S, 2S+1P, 2S+SPI, LB) 控制器

[台湾新竹讯, 2024年1月30日] 亚信电子（ASIX Electronics Corporation）持续深耕工业以太网芯片和I/O接口桥接器市场，在推出全新的EtherCAT从站转IO-Link主站网关和IO-Link设备软体协议栈解决方案之后，亚信今天再度推出最新一代的…
阅读更多...
85.网游逆向分析与插件开发-物品使用-物品使用的逆向分析与C++代码的封装

85.网游逆向分析与插件开发-物品使用-物品使用的逆向分析与C++代码的封装

内容参考于：易道云信息技术研究院VIP课 上一个内容：项目需求与需求拆解-CSDN博客 码云地址（ui显示角色数据 分支）：https://gitee.com/dye_your_fingers/sro_-ex.git 码云版本号：453dd83d54140d2e1ee65c9…
阅读更多...
wpf 数据转换（Bytes 转 KB MB GB）

wpf 数据转换（Bytes 转 KB MB GB）

效果 后端 using ProCleanTool.Model; using System; using System.Collections.Generic; using System.Collections.ObjectModel; using System.Globalization; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Windows.Data;namespace P…
阅读更多...
RabbitMQ基本使用,docker安装RabbitMQ,SpringBoot整合RabbitMQ

RabbitMQ基本使用,docker安装RabbitMQ,SpringBoot整合RabbitMQ

1.拉取镜像 docker pull rabbitmq:3.9.15-management2.运行容器 docker run -d --hostname rabbit1 --name myrabbit1 -p 15672:15672 -p 5672:5672 -e RABBITMQ_ERLANG_COOKIErabbitcookie rabbitmq:3.9.15-management3.访问地址 安装ip加端口号 http://192.168.123.3:156…
阅读更多...
ToF传感器在移动机器人中的作用

ToF传感器在移动机器人中的作用

原创 | 文 BFT机器人 在日新月异的机器人技术领域，技术的无缝整合正引领着人类与机器交互方式的革新潮流。ToF传感器作为变革性创新的一个例子，对移动机器人更好地感知周围环境起到了决定性的作用。 ToF传感器与激光雷达技术在创建深度图方面有着异曲同…
阅读更多...
关于虚拟机ubuntu系统无法上网问题

关于虚拟机ubuntu系统无法上网问题

一、虚拟机的连接方式 1、查看自己虚拟机的网络连接方式 选择虚拟机->右键设置->网络适配器 2、拓展——虚拟机的三种网络模式 2.1 首先安装虚拟机后，可以看到主机网络适配器多2张网卡 2.2 在VMware虚拟机中查看网络设置 点击菜单栏编辑 -> 虚拟网络…
阅读更多...
C#，数据检索算法之三元搜索（Ternary Search）的源代码

C#，数据检索算法之三元搜索（Ternary Search）的源代码

数据检索算法是指从数据集合（数组、表、哈希表等）中检索指定的数据项。 数据检索算法是所有算法的基础算法之一。 本文发布 三元搜索（Ternary Search）的源代码。 1 文本格式 using System; namespace Legalsoft.Truffer.Algo…
阅读更多...
Linux下安装edge

Linux下安装edge

edge具有及其强大的功能，受到很多人的喜爱，它也开发Linux版本，下面是安装方法： 1.去edge官网下载Linux(.deb)文件。 https://www.microsoft.com/zh-cn/edge/download?formMA13FJ 2.下载之后输入以下指令（后面是安装…
阅读更多...
华为radius认证

华为radius认证

组网需求 如图1所示，用户同处于huawei域，Router作为目的网络接入服务器。用户需要通过服务器的远端认证才能通过Router访问目的网络。在Router上的远端认证方式如下： Router对接入用户先用RADIUS服务器进行认证，如果认证没有响应…
阅读更多...
c#窗体捕捉方向键

c#窗体捕捉方向键

方法1 实现方法参考代码： private void Form1_Load(object sender, EventArgs e){this.KeyPreview true;}protected override bool ProcessDialogKey(Keys keyData){if (keyData Keys.Left || keyData Keys.Right || keyData Keys.Up || keyData Keys.Down){s…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023