Kafka-服务端-GroupCoordinator

news2024/11/25 20:16:30

在每一个Broker上都会实例化一个GroupCoordinator对象,Kafka按照Consumer Group的名称将其分配给对应的GroupCoordinator进行管理;

每个GroupCoordinator只负责管理Consumer Group的一个子集,而非集群中全部的Consumer Group。

请注意与KafkaController以及副本机制中的主从模式的区别。

在这里插入图片描述
GroupCoordinator有几项比较重要的功能:

一是负责处理JoinGroupRequest和SyncGroupRequest完成Consumer Group中分区的分配工作;

二是通过GroupMetadataManager和内部Topic“Offsets Topic”维护offset信息,即使出现消费者宕机也可以找回之前提交的offset;

三是记录Consumer Group的相关信息,即使Broker宕机导致Consumer Group由新的GroupCoordinator进行管理,新GroupCoordinator也可以知道Consumer Group中每个消费者负责处理哪个分区等信息;

四是通过心跳消息检测消费者的状态。

GroupCoordinator中使用MemberMetadata记录消费者的元数据,MemberMetadata中各字段的含义和功能如下所述。

  • memberld:对应消费者的id,此值是由服务端的GroupCoordinator分配的。
  • groupld:记录消费者所在的Consumer Group的id。
  • assignment:Array[Byte]类型,记录了分配给当前Member的分区信息。
  • supportedProtocols:对应消费者支持的PartitionAssignor。
  • awaitingJoinCallback:与JoinGroupRequest相关的回调函数,后面详述。
  • awaitingSyncCallback:与SyncGroupRequest相关的回调函数,后面详述。
  • sessionTimeoutMs:心跳超时时间。
  • latestHeartbeat:最后一次收到心跳消息的时间戳。
  • isLeaving:标识对应消费者是否已经离开了Consumer Group。

MemberMetadata.vote方法提供了从给定候选PartitionAssignor中选择消费者支持的PartitionAssignor的功能。

GroupMetadata记录了Consumer Group的元数据信息,其字段的含义如下所述。

  • groupld:对应Consumer Group的id。
  • members:HashMap[String,MemberMetadata]类型,key是memberld,value是对应的MemberMetadata对象。
  • state:GroupState类型,标识当前Consumer Group所处的状态。
  • generationld:标识当前Consumer Group的年代信息,避免受到过期请求的影响。
  • leaderld:记录Consumer Group中的Leader消费者的memberld。
  • protocol:记录了当前Consumer Group选择的ParitionAssignor。
    在GroupMetadata中提供了对上述字段的操作,例如对members集合的增删、对state的切换。GroupMetadata在进行Member的增删操作时,还会顺便选择Group Leader:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1426419.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

华媒舍:10个与汽车媒体国外传播有关的方向

随着近年来汽车销售市场的不断增加与发展,汽车媒体国外传播已经成为汽车行业里至关重要的一环。下面我们就详细介绍10个与汽车媒体国外传播有关的发展方向,并讨论这些趋势对全世界汽车行业的影响。 1.智能化媒体的兴起伴随着互联网的发展与发展&#xff…

2024年第4届IEEE软件工程与人工智能国际会议(SEAI 2024)

2024年第4届IEEE软件工程与人工智能国际会议(SEAI 2024)将于2024年6月21-23日在中国厦门举办。 SEAI旨在为软件工程与人工智能领域搭建高端前沿的交流平台,推动产业发展。本次会议将汇聚海内外的知名专家、学者和产业界优秀人才,共同围绕国际热点话题、核…

地理坐标系、空间坐标系、epsg查询网站

坐标系可用范围和详细信息的查询网站 简介 epsg.ruiduobao.com是一个可以查询gdal中所有坐标系信息的网站,可查询到坐标系的基准面、椭球体、中央子午线等相关信息,并对每个坐标系的可用范围在地图中进行了显示。详细信息可以看操作视频: e…

bank conflict

前置知识: shared memory 被分成 32 个 bank一个 warp 32 个线程每个 bank 4 byte如果同一 warp 中不同线程访问同一 bank 的不同地址则发生 bank conflict 请注意需要是一个 warp 中的不同线程!如果一个线程访问 shared memory 的两个元素,…

【ArcGIS Pro】从0开始

1.导入excel,需要安装驱动程序 安装用于 Microsoft Excel 文件的驱动程序 https://pro.arcgis.com/zh-cn/pro-app/latest/help/data/excel/prepare-to-work-with-excel-in-arcgis-pro.htm 2.修改投影坐标系 点到地图图标上,右键才能设置坐标系。 3.…

MSVC++远程调试

1. 介绍 MSVC的调试功能非常强大,可以下断点,单步调试,查看堆栈变量信息等。实际用于生产的电脑环境复杂,更容易发生Bug。生产电脑,由于各种原因有些可能无法安装MSVC用来现场调试。基于打印日志,查看日志…

Elasticsearch:将文档级安全性 (DLS) 添加到你的内部知识搜索

作者:来自 Elastic Sean Story 你的企业很可能淹没在内部数据中。 你拥有问题跟踪、笔记记录、会议记录、维基页面、视频录制、聊天以及即时消息和私信。 并且不要忘记电子邮件! 难怪如此多的企业都在尝试创造工作场所搜索体验 - 为员工提供集中、一站…

如何部署Docker Registry并实现无公网ip远程连接本地镜像仓库

文章目录 1. 部署Docker Registry2. 本地测试推送镜像3. Linux 安装cpolar4. 配置Docker Registry公网访问地址5. 公网远程推送Docker Registry6. 固定Docker Registry公网地址 Docker Registry 本地镜像仓库,简单几步结合cpolar内网穿透工具实现远程pull or push (拉取和推送)…

java程序读取并控制串口设备

监听串口,接收它们发过来的数据,进行处理。 一、概况 前不久做的一个项目,需要读取水下传感器的数据。这些传感器通过串口与外界交互。我们写了一个java程序,接收传感器传送的数据,同时也下发命令,控制部…

车载电子电器架构 —— IP地址获取策略

车载电子电器架构 —— IP地址获取策略 我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 屏蔽力是信息过载时代一个人的特殊竞争力,任何消耗你的人和事,多看一眼都是你的不对。非必要不费力证明自…

DHCP简介

定义 动态主机配置协议DHCP(Dynamic Host Configuration Protocol)是一种用于集中对用户IP地址进行动态管理和配置的技术。即使规模较小的网络,通过DHCP也可以使后续增加网络设备变得简单快捷。 DHCP是在BOOTP(BOOTstrap Protoc…

WiFi 7 的核心要点

目录 WiFi 7 是什么? WiFi 7 的主要feature功能: 320Mhz channel 4K QAM Multi-Link Operation (MLO),多链路操作 512 block ACK OFDMA:multiple RUs to single STA. 总结:性能是第一优先级,WiFi 7&#xf…

Java的JVM学习一

一、java中的内存结构如何划分 栈和堆的区别: 栈负责处理运行,堆负债处理存储。 区域名称作用虚拟机栈用于存储正在执行的每个Java方法,以及其方法的局部变量表等。局部变量表存放了便器可知长度的各种基本数据类型,对象引用&am…

Vue3_基础使用

vue2的选项式与vue3的组合式区别: 选项式:vue2中数据与方法计算属性等等,针对一个数据的处理在不同的配置中,当业务复杂时很难维护,修改起来也不好查找。 vue3的组合式:将针对数据的方法计算属性等等放在一…

开源编辑器:ONLYOFFICE文档又更新了!

办公软件 ONLYOFFICE文档最新版本 8.0 现已发布:PDF 表单、RTL、单变量求解、图表向导、插件界面设计等更新。 什么是 ONLYOFFICE 文档 ONLYOFFICE 文档是一套功能强大的文档编辑器,支持编辑处理文本文档、电子表格、演示文稿、可填写的表单、PDF&#…

2024数学建模美赛赛题翻译速览来了!

美赛6点已经开赛了。 先带来美赛翻译速览吧,图片形式的,如果想要文档形式的可以直接点击领取: 免费资料​pan.baidu.com/s/1IjAMTI7V3i_GWexVUp9DrQ?pwdsmpp A: B: C: D: E: F&a…

鸿蒙开发-UI-页面路由

鸿蒙开发-UI-组件 鸿蒙开发-UI-组件2 鸿蒙开发-UI-组件3 鸿蒙开发-UI-气泡/菜单 文章目录 一、基本概念 二、页面跳转 1.router基本概念 2.使用场景 3.页面跳转参数传递 三、页面返回 1.普通页面返回 2.页面返回前增加一个询问框 1.系统默认询问框 2.自定义询问框 总…

在Windows系统中执行DOS命令

目录 一、用菜单的形式进入DOS窗口 二、通过IE浏览器访问DOS窗口 三、复制、粘贴命令行 四、设置窗口风格 1.颜色 2.字体 3.布局 4.选项 五、Windows系统命令行 由于Windows系统彻底脱离了DOS操作系统,所以无法直接进入DOS环境,只能通过第三方软…

UE4学习笔记 FPS游戏制作3 添加武器

文章目录 章节目标为骨骼添加武器挂载点添加武器 章节目标 本章节为手部添加一个武器挂载点,并挂载一个武器 为骨骼添加武器挂载点 添加挂载点需要以一个动画片段为基础,为骨骼添加挂载点。 首先找到我们需要的动画片段,通常是idle 双击打…

8、应急响应-战前溯源反制主机蜜罐系统HFishHIDSElkeidWazuh

用途:个人学习笔记,欢迎指正 目录 背景: 一、潮源反制-平台部署-蜜罐-Hfish 二、溯源反制-平台部署-HIDS-Wazuh 三、溯源反制-平台部署-HlDS-Elkeid-hub 背景: 攻击者对服务器存在着各种威胁行为,作为安全人员&am…