Kafka的日志同步

news2024/11/16 23:57:39

首先介绍下LEO和HW

LEO: 即LogEndOffset,表示该副本下次日志记录的偏移量

HW:即HighWatermark,高水位线,是所有ISR副本集合中的LEO最小值

上图中,如果此时三个副本都在ISR集合中,那么此时他们的LEO,分别为9,7,6 ,而HW则为6,只有在HW之前的消息才是消费者可见的

Kafka消息的整个追加过程可以概括如下

  1. 生产者客户端发送消息至Leader副本

  1. 消息被追加到leader副本的本地日志,并且会更新日志的偏移量即LEO

  1. follower副本向leader副本请求同步数据

  1. leader副本所在的服务器读取本地日志,并更新对应拉取的follower副本的信息

  1. leader副本所在的服务器将拉取结果返回给follower副本

  1. fllower副本收到leader副本返回的拉取结果,将消息追加到本地日志中,并更新日志的偏移量信息

这个过程中,我们分析下LEO和HW的变化

现在,生产者一直往leader(带阴影的方框)写入消息,某一时刻,leader的LEO增加至5,并且所有副本的HW都还为0

之后fllower副本(不带阴影的方框)向leader拉取消息,在拉取的请求中会带有自身的LEO信息,这个LEO信息对应的是FetchRequest请求中的fetch_offset。

leader副本返回给follower副本相应的消息,并且还带有自身的HW信息,如图8-5,这个HW信息对应的是FetchResponse中的high_watermark

此时两个follower副本各自拉取到了消息,并且更新各自的LEO为3 和4 。同时,follower副本还会更新自己的HW,更新HW的算法是比较当前LEO和leader副本中传送过来的HW的值,取最小值作为自己的HW值。当前两个follower副本的HW都为0.

接下来,follower副本再次请求拉取leader副本中的消息

此时leader副本收到follower副本的FetchREquest请求,其中带有LEO的相关信息,选取其中最小值作为新的HW,即3 ,然后连同消息和HW一起返回FetchResponse给follower,如图8-7,注意leader副本的HW是一个很重要的东西,它直接影响了分区数据对消费者的可见性。

两个follower收到新的消息后更新LEO并更新自己的HW为3,去leader HW和自身LEO的最小值。

在一个分区中,leader副本所在的节点会记录所有副本的LEO,而follower副本所在的节点只会记录自身的LEO,而不会记录其他副本的LEO。对HW而言,各个副本所在的节点都只记录自身的HW。

ISR : 分区中的所有副本统称为AR,而ISR是指与leader副本保持同步状态的副本集合,当然leader副本本身也是这个集合中的一员。如果副本将leader副本LEO之前的日志全部同步时,则认为该副本已经追上了leader副本,此时更新该副本的lastCaughtUpTimeMs标识,kafka的副本管理器会启动一个副本过期的定时检测任务,如果当前时间与副本的lastCaughtUpTimeMs标识差值是否大于参数replica.lag.time.max.ms,如果大于则会判断为失效副本,被踢出ISR集合,还有个就是如果副本滞后的消息大小超过replica.lag.max.messages时,也会判断为失效副本

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/350338.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

三次握手和四次挥手

文章目录TCP三次握手为什么要三次握手三次握手可以携带数据吗?三次握手失败,服务端会如何处理?ISN代表什么,意义,何要动态随机什么是半连接队列第2次握手传回了ACK,为什么还要传回SYN?为什么要四次挥手TCP…

DeepSort:论文翻译

文章目录摘要1、简介2、利用深度关联度量进行排序2.1、轨迹处理和状态估计2.3、匹配的级联2.4、深度外观描述符3、实验4、结论论文链接:https://arxiv.org/pdf/1703.07402.pdf摘要 简单在线实时跟踪(SORT)是一种实用的多目标跟踪方法,专注于简单、有效的…

PFU扫描仪将于2023年4月切换至理光品牌上

目前,株式会社PFU (以下简称“PFU”)在村上清治社长的带领下,正将其在全球拥有庞大市场份额的图像扫描仪从富士通品牌变更为理光品牌,涉及产品线包括fi系列、SP系列和ScanSnap系列。2022年9月1日完成公司股权转让后,PFU正式加入理…

【STM32笔记】低功耗模式下GPIO省电配置避坑实验(闲置引脚配置为模拟输入其实更耗电)

【STM32笔记】低功耗模式下GPIO省电配置避坑实验(闲置引脚配置为模拟输入其实更耗电) 前文: blog.csdn.net/weixin_53403301/article/details/128216064 【STM32笔记】HAL库低功耗模式配置(ADC唤醒无法使用、低功耗模式无法烧录解…

ReportBuilder Enterprise Edition 22.0 Crack

Report Builder 的主要目的是为用户和开发人员提供全面的覆盖范围以及现有的替代方案。这个目标被认为是通过提供视觉、无障碍的答案来实现的,它是所有可用的四个区域。Report Builder 和报表设计器的屏幕截图能够表明它具有的用户界面符合人体工程学的布局。与 Rep…

WebDAV之π-Disk派盘+Piktures

Piktures支持WebDAV方式连接π-Disk派盘。推荐一款简单易用,功能超级强大的智能相册应用。Piktures智能相册是一款简单易用,功能超级强大的智能相册应用,它不仅可以访问本地和云照片,还可以照片编辑器,而且它同时还是一…

Mysql常用函数大全

本篇文章讲解是是MySQL的函数方法,涵盖所有的MySQL常见的方法。下面是本篇文章的目录结构,可以根据自己需求点击右方目录查找: 目录 (一)数字函数 (二)字符串函数 (三&#xff0…

[ vulhub漏洞复现篇 ] Drupal<7.32 Drupalgeddon SQL注入漏洞(CVE-2014-3704)

🍬 博主介绍 👨‍🎓 博主介绍:大家好,我是 _PowerShell ,很高兴认识大家~ ✨主攻领域:【渗透领域】【数据通信】 【通讯安全】 【web安全】【面试分析】 🎉点赞➕评论➕收藏 养成习…

Redis常用数据结构及应用场景

1.总体结构 Redis中的数据,总体上是键值对,不同数据类型指的是键值对中值的类型。 2.string类型 Redis中最基本的类型,它是key对应的一个单一值。二进制安全,不必担心由于编码等问题导致二进制数据变化。所以redis的string可以…

【JMeter】【Mac】如何在Mac上打开JMeter

平常我们在Windows电脑里打开JMeter,只要双击JMeter.bat即可打开,那我换了Mac后,该怎么打开JMeter呢 一、命令行打开JMeter 1、打开JMeter路径 cd /Users/work/apache-jmeter-5.2/bin 2、运行JMeter sh jmeter 3、如果涉及到一些权限无…

企业多会场视频直播(主会场、分会场直播)实例效果

阿酷TONY 2023-2-16 长沙 活动直播做多会场切换功能(主会场、分会场、会场一、会场二、会场三自由切换) 企业多会场视频直播(主会场、分会场直播)实例效果 特点:支持PC端,也支持移动端观看,会…

基于非对称纳什谈判的多微网电能共享运行优化策略(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

ESP32-C2开发板

C2是一个芯片采用4毫米x 4毫米封装,与272 kB内存。它运行框架,例如ESP-Jumpstart和ESP造雨者,同时它也运行ESP-IDF。ESP-IDF是Espressif面向嵌入式物联网设备的开源实时操作系统,受到了全球用户的信赖。它由支持Espressif以及所有…

react-redux

Redux 是js容器,用于进行全局的 状态管理它可以用在react, angular, vue等项目中, 但基本与react配合使用三大核心: 单一数据源 整个应用的state被存储在一棵 object tree中,并且这个 object tree只存在于一个唯一的 store 中 State是只读的…

教你如何搭建人事OA-员工管理系统,demo可分享

1、简介1.1、案例简介本文将介绍,如何搭建人事OA-员工管理。1.2、应用场景人事OA-员工管理应用对员工信息进行管理,可办理入职、转正、离职等流程。2、设置方法2.1、表单搭建1)新建表单【员工管理】,字段设置如下:名称…

004:NumPy的应⽤-2

数组的运算 使⽤NumPy 最为⽅便的是当需要对数组元素进⾏运算时,不⽤编写循环代码遍历每个元素,所有的运算都会⾃动的⽮量化(使⽤⾼效的、提前编译的底层代码来对数据序列进⾏数学操作)。简单的说就是,NumPy 中的数学运…

【数据挖掘实战】——航空公司客户价值分析(K-Means聚类案例)

目录 一、背景和挖掘目标 1、RFM模型缺点分析 2、原始数据情况 3、挖掘目标 二、分析方法与过程 1、初步分析:提出适用航空公司的LRFMC模型 2、总体流程 第一步:数据抽取 第二步:探索性分析 第三步:数据预处理 第四步&…

编码踩坑——运行时报错java.lang.NoSuchMethodError / 同名类加载问题 / 双亲委派【建议收藏】

本篇介绍一个实际遇到的排查异常的case,涉及的知识点包括:类加载机制、jar包中的类加载顺序、JVM双亲委派模型、破坏双亲委派模型及自定义类加载器的代码示例;问题背景业务版本,旧功能升级,原先引用的一个二方包中的du…

HoloLens 2 丨打包丨MRTK丨Unity丨新手教学

HoloLens 2打包流程制作前言开发工具介绍Visual Studio 2019MRTK插件或示例程序下载打包流程介绍Unity操作修改Visual Studio修改Hololens 修改Hololens 密码忘记总结前言 提示:今日功能介绍 使用 MRTK制作hololens 2的打包流程制作的新手教学。 开发工具介绍 这…

SpringBoot09:Swagger

什么是Swagger? ①是一个API框架 ②可以在线自动生成 RestFul 风格的API文档,实现API文档和API定义同步更新 ③可以直接运行、在线测试 API 接口 ④支持多种语言(Java、PHP等) 官网:API Documentation & Desi…