Kafka【十二】消费者拉取主题分区的分配策略

news2024/11/22 20:40:45

【1】消费者组、leader和follower

消费者想要拉取主题分区的数据，首先必须要加入到一个组中。
在这里插入图片描述
但是一个组中有多个消费者的话，那么每一个消费者该如何消费呢，是不是像图中一样的消费策略呢？如果是的话，那假设消费者组中只有2个消费者或有4个消费者，和分区的数量不匹配，怎么办？

所以这里，我们需要学习Kafka中基本的消费者组中的消费者和分区之间的分配规则：

  • 同一个消费者组的消费者都订阅同一个主题，所以消费者组中的多个消费者可以共同消费一个主题中的所有数据。
  • 为了避免数据被重复消费，所以主题一个分区的数据只能被组中的一个消费者消费，也就是说不能两个消费者同时消费一个分区的数据。但是反过来，一个消费者是可以消费多个分区数据的。
    在这里插入图片描述
  • 消费者组中的消费者数量最好不要超出主题分区的数据，就会导致多出的消费者是无法消费数据的，造成了资源的浪费。
    在这里插入图片描述
    消费者中的每个消费者到底消费哪一个主题分区，这个分配策略其实是由消费者的Leader决定的，这个Leader我们称之为群主。群主是多个消费者中，第一个加入组中的消费者，其他消费者我们称之为Follower，称呼上有点类似与分区的Leader和Follower。
    在这里插入图片描述

当消费者加入群组的时候，会发送一个JoinGroup请求。群主负责给每一个消费者分配分区。每个消费者只知道自己的分配信息，只有群主知道群组内所有消费者的分配信息。

【2】leader指定分配策略的基本流程

(1) 假设第一个消费者设定group.id为test，向当前负载最小的节点发送请求查找消费调度器
在这里插入图片描述
(2) 找到消费调度器后，消费者向调度器节点发出JOIN_GROUP请求，加入消费者组
在这里插入图片描述
(3) 当前消费者当选为群主后，根据消费者配置中分配策略设计分区分配方案，并将分配好的方案告知调度器
在这里插入图片描述
(4) 此时第二个消费者设定group.id为test，申请加入消费者组
在这里插入图片描述
(5) 加入成功后，kafka将消费者组状态切换到准备rebalance，关闭和消费者的所有链接，等待它们重新加入。客户端重新申请加入，kafka从消费者组中挑选一个作为leader，其它的作为follower。（步骤和之前相同，我们假设还是之前的消费者为Leader）

在这里插入图片描述
(6) Leader会按照分配策略对分区进行重分配，并将方案发送给调度器，由调度器通知所有的成员新的分配方案。组成员会按照新的方案重新消费数据
在这里插入图片描述

【3】四种分配策略

① RoundRobinAssignor（轮询分配策略）

每个消费者组中的消费者都会含有一个自动生产的UUID作为memberid。
在这里插入图片描述
轮询策略中会将每个消费者按照memberid进行排序，所有member消费的主题分区根据主题名称进行排序。
在这里插入图片描述
将主题分区轮询分配给对应的订阅用户，注意未订阅当前轮询主题的消费者会跳过。
在这里插入图片描述
在这里插入图片描述

从图中可以看出，轮询分配策略是存在缺点的，并不是那么的均衡，如果test1-2分区能够分配给消费者ccc是不是就完美了。

② RangeAssignor（范围分配策略）

按照每个topic的partition数计算出每个消费者应该分配的分区数量，然后分配，分配的原则就是一个主题的分区尽可能的平均分，如果不能平均分，那就按顺序向前补齐即可。

#所谓按顺序向前补齐就是：
假设【1,2,3,4,5】5个分区分给2个消费者：
5 / 2 = 2, 5 % 2 = 1 => 剩余的一个补在第一个中[2+1][2] => 结果为[1,2,3][4,5]

假设【1,2,3,4,5】5个分区分到3个消费者:
5 / 3 = 1, 5 % 3 = 2 => 剩余的两个补在第一个和第二个中[1+1][1+1][1] => 结果为[1,2][3,4][5]

在这里插入图片描述
缺点： Range分配策略针对单个Topic的情况下显得比较均衡，但是假如Topic多的话, member排序靠前的可能会比member排序靠后的负载多很多。
在这里插入图片描述
还有就是如果新增或移除消费者成员，那么会导致每个消费者都需要去建立新的分区节点的连接，更新本地的分区缓存，效率比较低。
在这里插入图片描述

③ StickyAssignor（粘性分区）

在第一次分配后，每个组成员都保留分配给自己的分区信息。如果有消费者加入或退出，那么在进行分区再分配时（一般情况下，消费者退出45s后，才会进行再分配，因为需要考虑可能又恢复的情况），尽可能保证消费者原有的分区不变，重新对加入或退出消费者的分区进行分配。
在这里插入图片描述
在这里插入图片描述
从图中可以看出，粘性分区分配策略分配的会更加均匀和高效一些。

④ CooperativeStickyAssignor

前面的三种分配策略再进行重分配时使用的是EAGER协议，会让当前的所有消费者放弃当前分区，关闭连接，资源清理，重新加入组和等待分配策略。明显效率是比较低的，所以从Kafka2.4版本开始，在粘性分配策略的基础上，优化了重分配的过程，使用的是COOPERATIVE协议。

CooperativeStickyAssignor 是 Apache Kafka 中用于消费者组分区分配的一种策略。它旨在解决传统的轮询（RoundRobin）和粘性（Sticky）分配策略中的一些问题，特别是当消费者组中的消费者动态变化时，能够更有效地保持数据的局部性和均衡性。

什么是 CooperativeStickyAssignor？

CooperativeStickyAssignor 是一种改进的粘性分配策略，它试图在保持消费者组内部的分区分配尽可能稳定的同时，也能应对消费者组成员的变化。这种分配策略的目标是在消费者组成员动态变化的情况下，最小化重新分配对现有消费者的影响。

主要特点

  1. 粘性分配：

    • 最小化重新分配：当消费者组中的消费者数量发生变化时，尽量减少重新分配的次数，以保持数据处理的连续性和一致性。
    • 保持局部性：尽量让每个消费者保留其已经处理过的分区，这样可以减少数据的重新加载和处理开销。

  2. 合作分配：

    • 动态调整：在消费者组成员变化时，能够动态调整分区分配，使得新增加的消费者能够平滑地加入到处理过程中。
    • 均衡负载：确保每个消费者都能获得均衡的负载，避免过载或资源浪费的情况。

如何工作

CooperativeStickyAssignor 工作的基本原理如下：

  1. 初始化分配：

    • 当消费者组首次启动时，分配策略会根据消费者组中的消费者数量和主题的分区数量来分配分区。

  2. 动态调整：

    • 当有新的消费者加入时，CooperativeStickyAssignor 会尝试将新加入的消费者分配到负载较少的消费者所拥有的分区中，同时尽量保持原有消费者的分区不变。
    • 当有消费者离开时，CooperativeStickyAssignor 会重新分配离开消费者所拥有的分区，尽量将这些分区分配给其他负载较低的消费者。

  3. 均衡负载：

    • 在每次重新分配时，分配器都会考虑消费者的负载情况，确保每个消费者承担的分区数量大致相等。

CooperativeStickyAssignor 是一种先进的分区分配策略，它在保持分区分配的稳定性和局部性的同时，也能有效应对消费者组成员的变化。通过使用这种策略，可以提高消费者组处理数据的效率和稳定性。

【5】不同版本默认分配策略

Kafka 0.10.x 及之前版本

在 Kafka 0.10.x 及之前的版本中，默认的分区分配策略是 范围分配策略（Range Assignor）。这种策略会根据消费者的加入顺序来分配分区，每个消费者会获得一定范围内的分区。

Kafka 0.11.x 及之后版本

从 Kafka 0.11.x 版本开始，默认的分区分配策略是 粘性分配策略（Sticky Assignor）。粘性分配策略旨在保持消费者组中分区分配的稳定性，即在消费者组中的消费者数量发生变化时，尽量保持分区分配的一致性，减少重新分配的频率，从而降低数据处理的开销。

然而，值得注意的是，从 Kafka 2.8 版本开始，引入了 合作粘性分配策略（Cooperative Sticky Assignor），这是一种改进版的粘性分配策略。虽然默认分配策略仍然是 Sticky Assignor，但 CooperativeStickyAssignor 作为一种更高级的分配策略，已经在很多场景中被推荐使用。

分配策略的比较

  1. Range Assignor：

    • 在 Kafka 0.10.x 及之前版本中，默认使用 Range Assignor。
    • 这种策略按照消费者的加入顺序分配分区，每个消费者会获得一个连续的分区范围。
    • 缺点是当消费者组中的消费者数量发生变化时，可能会导致较大的重新分配，影响性能。

  2. Sticky Assignor：

    • 从 Kafka 0.11.x 开始，默认使用 Sticky Assignor。
    • 目标是在消费者组中的消费者数量发生变化时，尽量保持分区分配的一致性，减少重新分配。
    • 适用于需要保持分区分配稳定性的场景。

  3. CooperativeStickyAssignor：

    • 从 Kafka 2.8 版本开始引入。
    • 这种策略进一步优化了 Sticky Assignor，使得在消费者组中的消费者数量发生变化时，能够更平滑地进行分区重新分配。
    • 特别适用于需要动态调整消费者数量的场景。

总结

  • 在 Kafka 0.10.x 及之前的版本中，默认的分区分配策略是 Range Assignor。
  • 在 Kafka 0.11.x 及之后的版本中，默认的分区分配策略是 Sticky Assignor。
  • 从 Kafka 2.8 版本开始，引入了 CooperativeStickyAssignor，这是一种更高级的粘性分配策略，虽然不是默认的分配策略，但在很多场景中被推荐使用。

通过合理的分区分配策略选择，可以优化消费者组的性能和稳定性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2109691.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++11，可变参数模板，lambda表达式，包装器

C++11，可变参数模板，lambda表达式，包装器

可变参数模板 在C11中模板也可以接收多个不定参数&#xff0c;就和int printf(const char *format, ...);函数一般模板也可以接收多个参数&#xff1b; // 可变参数模板 template<class ...Args> void testArgs(Args... args) { } int main() {testArgs(123…
阅读更多...
【简单】 猿人学web第一届 第19题 乌拉乌拉

【简单】 猿人学web第一届 第19题 乌拉乌拉

数据接口分析 数据接口为 https://match.yuanrenxue.cn/api/match/19 请求参数只需要携带 页码 cookie 只需要携带 sessionid 请求参数 和 cookie 都没有加密字段&#xff0c;直接用 python 请求 请求失败了 查看协议是 h2 的&#xff0c;再试试 httpx 请求 还是一样的结果…
阅读更多...
Creating OpenAI Gym Environment from Map Data

Creating OpenAI Gym Environment from Map Data

题意&#xff1a;从地图数据创建 OpenAI Gym 环境 问题背景&#xff1a; I am just starting out with reinforcement learning and trying to create a custom environment with OpenAI gym. However, I am stumped with trying to create an environment (with roads and in…
阅读更多...
【论文速读】| SEAS：大语言模型的自进化对抗性安全优化

【论文速读】| SEAS：大语言模型的自进化对抗性安全优化

本次分享论文&#xff1a;SEAS: Self-Evolving Adversarial Safety Optimization for Large Language Models 基本信息 原文作者: Muxi Diao, Rumei Li, Shiyang Liu, Guogang Liao, Jingang Wang, Xunliang Cai, Weiran Xu 作者单位: 北京邮电大学, 美团 关键词: 大语言模…
阅读更多...
Python 全栈系列267 telegraf、influxdb和grafana

Python 全栈系列267 telegraf、influxdb和grafana

说明 没想到如此丝滑 本来是因为想稍微了解一下influxdb&#xff0c;然后发现和telegraf配套能干监控&#xff0c;然后正好之前又起了grafana,然后瞬间就通了。 内容 1 telegraf Telegraf 是一个开源的服务器代理&#xff0c;用于收集、处理和发送数据。它是 InfluxData 公司…
阅读更多...
cowrie部署中遇到的坑

cowrie部署中遇到的坑

首先&#xff0c;这个cowrie已经比较老了&#xff0c;没有好看的展示界面&#xff0c;当前跟mhn结合使用的只能是2.2版本&#xff0c;不是迫切需要的话不建议布。 mhn也比较老了&#xff0c;界面太过简洁&#xff0c;推荐hfish&#xff0c;部署方便&#xff0c;好看。 坑1&…
阅读更多...
STM32重定义printf，实现串口打印

STM32重定义printf，实现串口打印

在“usart.c”文件中加入以下代码 #ifdef __GNUC__#define PUTCHAR_PROTOTYPE int __io_putchar(int ch) #else#define PUTCHAR_PROTOTYPE int fputc(int ch, FILE *f) #endifPUTCHAR_PROTOTYPE{HAL_UART_Transmit(&huart1 , (uint8_t *)&ch, 1, 0xFFFF);return ch; }…
阅读更多...
鸿蒙图表MPChart自定义样式（五）左y轴显示数值，右y轴显示百分比

鸿蒙图表MPChart自定义样式（五）左y轴显示数值，右y轴显示百分比

左y轴数值不变&#xff0c;右y轴改成百分比&#xff0c;需要通过自定义RightAxisFormatter实现IAxisValueFormatter接口&#xff0c;将右y轴的数值改成百分比文本&#xff0c;RightAxisFormatter类如下&#xff1a; class RightAxisFormatter implements IAxisValueFormatter …
阅读更多...
navigator.mediaDevices.getUserMedia检查用户的摄像头是否可用，虚拟摄像头问题

navigator.mediaDevices.getUserMedia检查用户的摄像头是否可用，虚拟摄像头问题

在Web开发中&#xff0c;检查用户的摄像头是否可用是一个常见的需求&#xff0c;尤其是在需要视频聊天或录制视频的应用程序中。navigator.mediaDevices.getUserMedia() API 提供了这一功能&#xff0c;它允许你请求访问用户的媒体设备&#xff0c;如摄像头和麦克风。虽然这个A…
阅读更多...
【PPT学习笔记】使用PPT制作动画/手书/视频等作品的适配性和可能性？

【PPT学习笔记】使用PPT制作动画/手书/视频等作品的适配性和可能性？

【PPT学习笔记】使用PPT制作动画/手书等作品的可能性&#xff1f; 背景前摇&#xff1a;&#xff08;省流可不看&#xff09; 最近找到另外一份新的实习工作&#xff0c;有很多需要用到PPT动画的地方。 然而&#xff0c;我们之前制作的理工科PPT全是摒弃了形式主义的艰苦朴素…
阅读更多...
AUSD稳定币正式在Sui上线

AUSD稳定币正式在Sui上线

继Agora在五月份的早期公告之后&#xff0c;AUSD稳定币现已正式在Sui上线。AUSD为Sui日益增加的原生资产列表增添了关键的一环。 Agora此前在以太坊和Avalanche上取得成功&#xff0c;迄今为止已铸造了近6000万美元的稳定币。如今&#xff0c;AUSD集成到Sui网络中&#xff0c;…
阅读更多...
C语言基础——⑩③数据结构——②栈和队列

C语言基础——⑩③数据结构——②栈和队列

一、栈(Stack) 1、基本概念 栈是一种逻辑结构&#xff0c;是特殊的线性表。特殊在&#xff1a; 只能在固定的一端操作 只要满足上述条件&#xff0c;那么这种特殊的线性表就会呈现一种“后进先出”的逻辑&#xff0c;这种逻辑就被称为栈。栈 在生活中到处可见&#xff0c;比…
阅读更多...
使用Python进行数据可视化：让你的数据“活”起来

使用Python进行数据可视化：让你的数据“活”起来

哈喽&#xff0c;大家好&#xff0c;我是木头左&#xff01; 安装与导入 要使用Matplotlib&#xff0c;首先需要安装。可以使用pip进行安装&#xff1a; pip install matplotlib安装完成后&#xff0c;可以在Python代码中导入Matplotlib库&#xff1a; import matplotlib.py…
阅读更多...
2024跨境旺季营销：哪个平台是流量之王？

2024跨境旺季营销：哪个平台是流量之王？

跨境电商的旺季即将来临&#xff0c;对于卖家们来说&#xff0c;如何进行有效的营销推广至关重要。在多渠道广告覆盖的策略下&#xff0c;选择合适的平台成为关键。那么&#xff0c;哪些平台是跨境旺季营销的首选呢&#xff1f; 一、社交媒体平台 1、Instagram 以图片和短视频…
阅读更多...
华为达芬奇人像引擎2.0，人像体验有哪些升级

华为达芬奇人像引擎2.0，人像体验有哪些升级

对于年轻人而言&#xff0c;拍照已成为生活中不可或缺的一部分&#xff0c;不仅是为了记录世界、更重要的是成为生活的主角&#xff0c;大胆表达自己。然而很多喜欢使用手机记录生活的人&#xff0c;既希望能够实现媲美单反的影像实力&#xff0c;同时还想呈现出真实、更具自然…
阅读更多...
内存管理篇-21 虚拟内存管理：线性映射区

内存管理篇-21 虚拟内存管理：线性映射区

1.线性映射区的定义 这部分讲线性映射区的内容。一般老的嵌入式平台&#xff0c;它内存很小只有几百兆&#xff0c;都会直接把整个物理内存映射到线性映射区了&#xff0c;只有当物理内存大于1GB以上&#xff0c;线性映射区无法cover的时候就把剩下的放到高端内存。所以这个区域…
阅读更多...
CST软件如何仿真Total Scan方向图的

CST软件如何仿真Total Scan方向图的

本期将介绍如何在CST软件中得到Total Scan方向图。 CASE1 首先以两个dipole天线为例&#xff0c;如下图所示&#xff1a; 我们完成这个两单元阵的仿真&#xff0c;可以在远场结果看到各个频点的结果如下图所示&#xff1a; 我们可以在combine按钮下任意合成不同幅度相位下的结…
阅读更多...
SpringBoot中实现全局异常处理，统一返回错误信息给前端

SpringBoot中实现全局异常处理，统一返回错误信息给前端

背景引入&#xff1a;最近实现了一个限流切面类&#xff0c;但是在限流方法中throw异常&#xff0c;会直接打印到控制台&#xff0c;报错500&#xff0c;对前端很不友好。因为是注解&#xff0c;又没办法捕获再处理。那么怎么才能将错误码返回给前端呢&#xff1f;原来是全局异…
阅读更多...
linux下的Socket网络编程教程

linux下的Socket网络编程教程

套接字概念 Socket本身有“插座”的意思&#xff0c;在Linux环境下&#xff0c;用于表示进程间网络通信的特殊文件类型。本质为内核借助缓冲区形成的伪文件。与管道类似的&#xff0c;Linux系统将其封装成文件的目的是为了统一接口&#xff0c;使得读写套接字和读写文件的操作…
阅读更多...
什么是边缘计算？边缘计算网关有什么作用？

什么是边缘计算？边缘计算网关有什么作用？

边缘计算是一种分布式计算范式&#xff0c;它将计算、存储和网络服务靠近数据源或用户的位置&#xff0c;以减少延迟、提高响应速度&#xff0c;并减轻中心数据中心的负担。边缘计算网关在这一过程中扮演着至关重要的角色。边缘计算网关的主要作用包括&#xff1a;1. 数据的收集…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023