Kafka-服务端-GroupMetadataManager

news2024/11/18 1:45:24

GroupMetadataManager是GroupCoordinator中负责管理Consumer Group元数据以及其对应offset信息的组件。

GroupMetadataManager底层使用Offsets Topic,以消息的形式存储Consumer Group的GroupMetadata信息以及其消费的每个分区的offset,如图所示。

在这里插入图片描述

consumer_offsets的某Partition记录某consumerGroup的GroupMotadata消息记录某ConsumerGroup对Partition的offset消息记录某ConsumerGroup对Partition1的offset消费记录某ConsumerGroup的Partition2的offset消费。

为了提高查询的效率,GroupMetadataManager同时还会将Consumer Group的GroupMetadata信息和offset信息在内存中维护一份相同的副本,并进行同步修改。

GroupMetadataManager依赖的组件如图所示。

在这里插入图片描述
GroupMetadataManager中各个字段的含义和功能如下所述。

  • offsetsCache:Pool[GroupTopicPartition,OffsetAndMetadata]类型,记录了每个Consumer Group消费的分区的offset位置。

  • groupsCache:Pool[String,GroupMetadata]类型,记录每个Consumer Group在服务端对应的GroupMetadata对象。

  • loadingPartitions Set[Int]类型,记录了正在加载的Offsets Topic分区的id,后续详述。

  • ownedPartitions:Set[Int]类型,记录了已经加载的Offsets Topic分区的id,后续详述。

  • groupMetadataTopicPartitionCount:记录Offsets Topic的分区数量。该字段会调用getOffsetsTopicPartitionCount方法进行初始化。

  • replicaManager:ReplicaManager对象,Offsets Topic与普通的Topic一样,在ZooKeeper中也记录相关的配置信息;Offsets Topic分区与普通的Topic的分区一样,也有Leader副本、ISR集合、AR集合等概念,也会出现Leader副本的迁移等情况,所以也是由ReplicaManager进行管理的。

  • scheduler:KafkaScheduler对象,用于执行delete-expired-consumer-offsets、GroupCoordinator迁移等任务。

groupsCache管理与offsetsCache管理
记录GroupMetadata信息的消息和记录消费offset位置的消息都是通过partitionForO方法在Offsets Topic中选择合适的分区。

所以同一Consumer Group对应的这两类消息会被分配到同一个Offsets Topic分区中,但是这两类消息的key有所不同。

GroupMetadataManager提供了对groupsCache集合的管理方法,getGroup、addGroup方法实现比较简单,这里需要注意的是removeGroup方法。

removeGroup不仅会将groupCache集合中的GroupMetadata对象删除,还会向OffsetsTopic中写入一个value为空的消息作为“删除标记”。将value为空的消息看作对前面相同key的消息的“删除标记”。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1417904.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

LLM之Agent(九)| 通过API集成赋能Autogen Multi-Agent系统

随着大型语言模型的快速发展,构建基于LLM驱动的自治代理(autonomous agents)已经成为一个备受关注的话题。仅在过去一年中,就出现了许多基于这一理念的新技术和框架。 ​ 本文将探索微软开源的Agent框架:Autogen…

259:vue+openlayers: 显示海量多边形数据,10ms加载完成

第259个 点击查看专栏目录 本示例的目的是介绍演示如何在vue+openlayers项目中通过WebGLVectorLayerRenderer方式加载海量多边形数据。这里相当于将海量的数据放在同一个层的source中,然后通过webglTile的方式渲染出这一层。 本示例数据为5000个多边形,加载速度超级快。 直接…

D35XB80-ASEMI整流桥D35XB80参数、封装、尺寸

编辑:ll D35XB80-ASEMI整流桥D35XB80参数、封装、尺寸 型号:D35XB80 品牌:ASEMI 封装:GBJ-5 最大重复峰值反向电压:800V 最大正向平均整流电流(Vdss):35A 功率(Pd): 芯片个数&#xff1…

Web 开发 6:Redis 缓存(Flask项目使用Redis并同时部署到Docker详细流程 附项目源码)

大家好!欢迎来到第六篇 Web 开发教程,今天我们将探讨一个非常重要的话题:Redis 缓存。作为一个互联网开发者,你一定知道在处理大量请求时,性能优化是至关重要的。而 Redis 缓存正是帮助我们提升系统性能的利器。Redis …

tcpdump 抓包无法落盘

文章目录 问题背景解决办法 问题背景 在嵌入式设备中(Linux系统),为了分析两个网络节点的通讯问题,往往需要用到tcpdump,抓一个.pcap的包在PC端进行分析。博主在实际操作中发现,抓包无法实时落盘。 解决办法 # 下面的命令是写在…

MATLAB环境下一种贝叶斯稀疏盲反卷积算法

稀疏盲反卷积贝叶斯估计方法通常使用伯努利-高斯分布(BG)先验的稀疏序列建模,并利用马尔可夫链蒙特卡罗(MCMC)方法进行未知估计。然而,BG模型的离散性会有计算瓶颈。为了解决这个问题,提出一个替代方案,采用MCMC方法对稀疏序列进行…

Mac下查看、配置和使用环境变量

Mac下查看、配置和使用环境变量 一:Mac怎么查看环境变量命令 printenv一:这个命令会一次性列出所有环境变量的键值对,输出格式为: VAR1value1 VAR2value2 ...二: 也可以通过给这个命令加上环境变量名参数&#xff0…

Linux CPU 负载说明

一、背景 工作中我们经常遇到CPU 负载高,CPU负载高意味着什么? CPU的负载是怎么计算的? top指令中的各个指标代表什么含义? 二、CPU 负载计算方法 在系统出现负载问题,通常会使用uptime和top确认负载,这两…

云微呼云呼叫中心:颠覆传统客户服务模式的数字化创新

1. 引言 随着云计算技术的不断成熟和普及,云呼叫中心作为一种全新的客户服务解决方案,正在以其高效、灵活和智能的特点,逐渐颠覆传统的客户服务模式。本文将深入探讨云呼叫中心的定义、特点、优势以及对企业的重要意义。 2. 云呼叫中心的定…

龙行龘龘•前程朤朤 | 联诚发2023年度述职大会与年会圆满举行

1月27日上午,以“不忘初心・砥砺前行”为主题的2023年度述职大会在联诚发深圳总部隆重举行,本次大会总结了过去一年的成就与不足,展望了未来一年的方向和目标。联诚发创始人兼总裁龙平芳、董秘毛强军、各部门负责人以及深圳总部全体职工出席了…

JSP概述和基本使用

1,JSP 概述 JSP(全称:Java Server Pages):Java 服务端页面。是一种动态的网页技术,其中既可以定义 HTML、JS、CSS等静态内容,还可以定义 Java代码的动态内容,也就是 JSP HTML Jav…

LabVIEW探测器CAN总线系统

介绍了一个基于FPGA和LabVIEW的CAN总线通信系统,该系统专为与各单机进行系统联调测试而设计。通过设计FPGA的CAN总线功能模块和USB功能模块,以及利用LabVIEW开发的上位机程序,系统成功实现了CAN总线信息的收发、存储、解析及显示功能。测试结…

【更新】省级产业结构合理化+高度化+高级化数据(2000-2022年)

数据指标测算: (1)参考袁航等人(2018)的测算方法,采用泰尔指数来衡量产业结构合理化指标,用产业结构层次系数来表示产业结构高度化指标: (2)参考张欣艳等人&…

免费分享一套微信小程序外卖跑腿点餐(订餐)系统(uni-app+SpringBoot后端+Vue管理端技术实现) ,帅呆了~~

大家好,我是java1234_小锋老师,看到一个不错的微信小程序外卖跑腿点餐(订餐)系统(uni-appSpringBoot后端Vue管理端技术实现) ,分享下哈。 项目视频演示 【免费】微信小程序外卖跑腿点餐(订餐)系统(uni-appSpringBoot后端Vue管理端技术实现)…

解锁亚马逊鲲鹏系统奥秘:自动生成AI角色,随心定制养号计划

亚马逊鲲鹏系统是一款强大的软件,是一款可以批量注册亚马逊买家账号并能自动化养号的软件。其独特的功能和操作流程使得用户能够轻松管理多个账号,实现高效的运营和管理。 首先,该软件提供了AI智能养号功能,用户可以自动生成具有真…

TensorFlow2实战-系列教程4:数据增强:keras工具包/Data Augmentation

🧡💛💚TensorFlow2实战-系列教程 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Jupyter Notebook中进行 本篇文章配套的代码资源已经上传 对于图像数据,将其进行翻转、放缩、平移、旋转操作就可以得到一组新的数据…

【JavaScript基础入门】05 JavaScript基础语法(三)

JavaScript基础语法(三) 目录 JavaScript基础语法(三)数组概述数组语法多维数组 操作数组修改数组获取数组长度数组和字符串之间的转换添加和删除数组项 Null 和 Undefined字符串连接字符串字符串转换获取字符串的长度在字符串中查…

Python之代码覆盖率框架coverage使用介绍

Python代码覆盖率工具coverage.py其实是一个第三方的包,同时支持Python2和Python3版本。 安装也非常简单,直接运行: pip install coverage 安装完成后,会在Python环境下的\Scripts下看到coverage.exe; 首先我们编写…

Linux(4)——Linux用户和用户组管理

Linux用户和用户组管理 插播!插播!插播!亲爱的朋友们,我们的Cmake/Makefile/Shell这三个课程上线啦!感兴趣的小伙伴可以去下面的链接学习哦~ 构建工具大师-CSDN程序员研修院 Linux用户和用户组管理是系统管理中非常重…

SharedPreferences卡顿分析

SP的使用及存在的问题 SharedPreferences(以下简称SP)是Android本地存储的一种方式,是以key-value的形式存储在/data/data/项目包名/shared_prefs/sp_name.xml里,SP的使用示例及源码解析参见:Android本地存储之SharedPreferences源码解析。以…