Kafka分区消息积压排查指南

news2025/1/16 16:09:57

在这里插入图片描述

针对某个TOPIC只有几个分区积压的场景,可以采用以下方法进行排查:

  1. 消息生产是否指定key?

    如果指定了消息key,那么消息会指定生产到hash(key)的分区中。如果指定了key,那么有下列几种可能:

    • 生产该key的消息体内容与消息处理逻辑是否有与其他分区不同
    • 该key处理逻辑代码中是否有处理异常,导致偏移量无法正常提交
    • 该key消息量大小比其他分区多:不指定消息key,使Kafka分区之间的数据均匀分布
  2. 如果不指定key的场景:

    • 订阅该TOPIC的消费组中消费者有多少个?每个消费组负责多少个分区?如果消费者个数过少,比如说有50个分区,但只有3个消费者,那么一个消费者平均要消费16个分区。这种情况可以尝试增加消费者个数,如果使用的是spring-kafka,可以尝试增加concurrency=4/8
    • 是否有消费者频繁Rebalance情况发生,导致偏移量无法提交?如果有,可以参考https://blog.csdn.net/weixin_43180484/article/details/131031640?spm=1001.2014.3001.5502进行排查
    • 吞吐量不够,消费速度赶不上
      • 尝试增加fetch.min.bytes参数(建议调整值1~100000)
      • 增加消费者个数
      • 生产端增加消息压缩:compress.type=lz4

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/619999.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

决策树理论

这个文本讨论了决策树模型中的基尼系数。当数据集的所有数据属于同一类时,基尼系数为0,因为此时无需进行分类,已经属于同一类别。因此,选项B是正确的。 决策树是一种用于分类和预测的机器学习模型。基尼系数是衡量数据集纯度的指标…

Laya核心库 + 逻辑 + 资源 移植到 Vite + Vue 3 进行项目开发

Laya项目移植到Vite Vue 3 为什么写这篇文章初遇 Laya结识 Vite Vue 3Vite 构建 Vue 3 项目快速初始化项目VSCode打开项目/目录文件介绍public 目录 安装Volar扩展 导入Laya核心JS库拷贝Laya项目bin/libslibs文件夹放入Vue项目下public文件夹中 导入Laya项目逻辑拷贝Laya项目…

安装db2数据库

1.下载 安装依赖 链接:https://pan.baidu.com/s/1rpZn3H1oN8O0kn8YQMa-gQ?pwd8u9d 提取码:8u9d 需要关闭SELinux 修改配置文件vi /etc/selinux/config,将SELinux置为disabled,并重启机器。 安装缺失的32位包 从RHEL 6开始&…

正式向Win12过渡,微软为Win11开启一大波功能更新

距离 Win 11 正式发布已过去接近两年时间,为了让大家放弃老系统升级 Win 11,微软没少下功夫。 除了各种强制弹窗通知提醒升级外,微软还大刀阔斧砍掉 Win 10 功能更新,并已宣布其最后死期——2025 年 10 月。 然而这一套组合拳下…

『赠书活动 | 第十期』清华社赞助 | 《前端系列丛书》

💗wei_shuo的个人主页 💫wei_shuo的学习社区 🌐Hello World ! 『赠书活动 | 第十期』 本期书籍:《前端系列丛书》 公众号赠书:第二期 参与方式:关注公众号:低调而奢华 …

Dubbo快速入门 —— 基于SpringBoot Starter 开发微服务应用案例 + 知识讲解

💧 D u b b o 快速入门——基于 S p r i n g B o o t S t a r t e r 开发微服务应用案例 知识讲解 \color{#FF1493}{Dubbo快速入门 —— 基于SpringBoot Starter 开发微服务应用案例 知识讲解} Dubbo快速入门——基于SpringBootStarter开发微服务应用案例知识讲解…

7脚手架与jwt

1.引言 企业开发中的前端工程一般不会让程序员自己从零搭建,所以咱们要学会使用别人封装好的架子,或者低代码开发平台,这里 咱们快速上手一个第三方的脚手架。 参考资料 花裤衩 (panjiachen) - Gitee.com 2.安装步骤 # 克隆项目 git clon…

【HashMap】为什么用自定义的类做HashMap的Key时需要重写hashcode方法和equals方法

【HashMap】为什么用自定义的类做HashMap的Key时需要重写hashcode方法和equals方法 【一】为什么有这个问题【二】Object类的中的hashcode方法和equals方法【三】重写hashcode【四】重写equals方法【五】hashmap中使用hashcode和equals方法 【一】为什么有这个问题 因为HashMa…

致我们那年青春热血的高考

#2023高考季# 本来试着去网上查一下当年的高考成绩,无奈查询密码实在想不起来,只能作罢。 2009年,我参加了高考。在这场考试中,我经历了各种复杂的情绪,紧张、焦虑、兴奋和期待,犹如坐过山车一样刺激。 我每…

实验篇(7.2) 05. 通过浏览器访问远端内网服务器 (FortiClient-SSL) ❀ 远程访问

【简介】直接将内网服务器映射成公网IP,可以方便的从任何地方访问服务器的指定端口,但是这种方式下,服务器是公开且暴露的。那有没有即方便、又比较安全的远程访问服务器的方法呢?我们来看看SSL VPN的Web模式。 SSL VPN介绍 从概念…

Linux 高级IO

目录 传统艺能😎概念😍高级IO😂五种 IO 模型👌阻塞 IO🙌非阻塞 IO😍信号驱动IO😊多路转接IO😂 异步IO😘同步通信 VS 异步通信😁同步通信 VS 同步与互斥&#…

Java006——对第一个Java程序HelloWorld的简单认识

一、HelloWorld.java程序整体认识 public class HelloWorld { //创建一个名字叫HelloWorld的类(Java中的类叫class)public static void main(String[] args) {//主程序入口,类似C语言main函数System.out.println("He…

黑客第一步:从认识这些DOS命令开始

文章目录 一、DOS是个啥?二、如何启动DOS命令行?1. 同时按下键盘winR键,打开运行框2. 在运行框输入命令cmd,然后点击确定,即可进入DOS命令行 三、常用的DOS命令 一、DOS是个啥? DOS(Disk Opera…

《精通特征工程》学习笔记(5):数据(特征)降维

1.数据降维 通过自动数据收集和特征生成技术,可以快速获取大量特征,但不是所有特征都是有用的。数据降维就是在保留重要信息的同时消除那些“无信息量的信息”。 “无信息量”有多种定义方法,PCA 关注的是线性相关性,假设我们将…

正态(高斯)分布什么时候等于杨辉三角(二项式)展开

(ab)^10的杨辉三角展开项系数是1,10,45,120,200,252,200,120,45,10,1 这些系数11项的和等于1004,每项除以1004&#xff0c…

数据结构与算法之美 | 递归(Recursion)

什么叫做递归? 递归:去的过程叫“递”,回来的过程叫“归” 递归的三个条件 条件一:一个问题的解可以分解为几个子问题的解 条件二:这个问题与分解之后的子问题,除了数据规模不同,求解思路完全…

CnOpenData全国养老机构数据

一、数据简介 养老机构指为老年人提供集中居住和照料服务的机构,县级以上地方人民政府民政部门负责本行政区域内养老机构的指导、监督和管理。其他有关部门依照职责分工对养老机构实施监督。 与其他服务不同的是,养老服务是一种全人、全员、全程服务,养老…

路径之谜 2016年国赛 深度优先搜索

目录 解题思路 AC代码: 题目描述 小明冒充 XX 星球的骑士,进入了一个奇怪的城堡。 城堡里边什么都没有,只有方形石头铺成的地面。 假设城堡地面是 nn 个方格。如下图所示。 按习俗,骑士要从西北角走到东南角。可以横向或纵向…

智能 CAN 总线/串口 RS-232485 协议转换器

能CAN/串口协议转换器LCNET Pro RS-232/485提供一路RS-485、一路RS-232和一路CAN通道,实现CAN与串口RS-485或RS-232之间的双向数据智能转换。每个通道独立隔离,每路通道采用金升阳电源模块和信号隔离芯片实现2500VDC电气隔离,电源输入防反设计…

NAT模式 LVS负载均衡群集部署

NAT模式 LVS负载均衡群集部署 一.部署共享存储(NFS服务器:192.168.80.102)1.关闭防火墙,查看是否有rpcbind和nfs-utils的包2.创建两个共享文件目录3.将共享路径及网段添加到/etc/exports中(设置为只可读)4.…