消息队列-kafka-服务端处理架构(架构,Topic文件结构,服务端数据的一致性)

news2024/11/27 2:36:56

服务端处理架构

资料来源于网络
在这里插入图片描述
网络线程池:
接受请求,num.network.threads,默认为 3,专门处理客户的发送的请求。

IO 线程池:
num.io.threads,默认为 8,专门处理业务请求。也就是它不负责发送响应,发送响应还是由网络线程池处理。

当遇到性能瓶颈的时候可以适当的调整这两个参数

服务端消息存储文件布局

1 Topic 文件结构
在这里插入图片描述
Segment 文件结构
命名规则:一个 segment 的名称其实是当前 segment 第一条消息的偏移量,也就是说一个segement如果写不下了就会生成新的segment。
查找机制

  • 将所有的 segment 文件名进行生序排列然后找到偏移量最后落在哪个 segment 对象上(采用二分,因为文件名是有序的)。
  • 继续从这个 segment 里面的 .index 文件找到消息的物理偏移量,也就是对应图中的.index偏移量,最后拿着物理偏移量去 .log 文件找到最终的实体消息,非常的迅速。
    删除机制
    按照时间过期多少删(默认7天)、按照大小来删

服务端数据的一致性

其实也就是分区和副本之前的一致性。比如说我们P0有9条消息,因为每个节点同步数据(网络,IO等原因)所以导致R0 和 R3 之间的数据并不一致。
HW:高水位,消费者消费最高的位置,其实也就是木桶原理,所以只能到下面图中的第四条消息。
LEO:log写文件的最后一个位置。
ISR:也就是一个分区和备份节点的队列。比如P0,R0,R3.

如果我们的备份节点挂掉了:
1 首先它会从ISR中剔除,当恢复正常的时候,会向主分片获取 HW 高水位线,与自己的 LEO 比对,如果自己的 LEO 超过 HW 则干掉超过的部分,小于的话就从主分片复制数据过来。
2 复制的时候,如果复制之后的 LEO 与 HW 持平的话,那么就会重新加入到 ISR 同步队列中

如果我们的主分区挂掉了:
1 从ISR中剔除,选择数据最多的数据为主分片。
2 活过来的时候,发现已经有顶替的 leader 角色(主分片)了,那么就跟随,也就是向 leader 获取 HW 高水位线,与自己的 LEO 比对,大于 LEO 则删除,小于 LEO 则从 leader 这边复制数据过去。
3 复制数据的进度如果赶上了主分片的 HW 的话,那么就继续加入到 ISR 队列中。
但是我们主分片数据最多,为什么要把后面的数据干掉呢,这样不是会丢失消息吗?
这样其实是保证了数据的一致性,也就是保证分区和备份节点的都是同样的进度。
数据不丢失问题是由Producer来保证的,也就是有重试机制,如果没有发送成功的话,就会从新发送,但是消费者一侧一定要做幂等。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1492826.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CSS盒模型居中方法,web开发问题

CSS 篇 link 与 import 的区别 link 是 HTML 方式, import 是CSS方式link 最大限度支持并行下载, import 过多嵌套导致串行下载,出现 FOUC (文档样式短暂失效)link 可以通过 rel"alternate stylesheet" 指定候选样式浏览器对 lin…

数据结构学习(四)高级数据结构

高级数据结构 1. 概念 之所以称它们为高级的数据结构,是因为它们的实现要比那些常用的数据结构要复杂很多,能够让我们在处理复杂问题的过程中, 多拥有一把利器,同时掌握好它们的性质,以及所适应的场合,在…

第十篇:如何利用人工智能技术做好营销流量整形管理?(Traffic Shaping)- 我为什么要翻译介绍美国人工智能科技巨头IAB公司

IAB平台,使命和功能 IAB成立于1996年,总部位于纽约市​​​​​​​。 作为美国的人工智能科技巨头社会媒体和营销专业平台公司,互动广告局(IAB- the Interactive Advertising Bureau)自1996年成立以来,先…

基于springboot+vue实现食品安全管理系统项目【项目源码+论文说明】

基于springboot实现食品安全管理系统演示 摘要 食品行业同其他行业有很多的差别,食品行业不仅要管食品的生产和销售,还要管食品的库存和保质期,那么对于食品管理者来说,就存在着一定的难度。况且食品的种类复杂,存储条…

ZWT_各向同性线弹性材料本构模型umat的应用

线弹性材料本构模型 对于多数材料而言,在微小变形的假设下,会满足线弹性理论,数学可以表示为: σ i j C i j k l ε k l E 1 ν ( ε i j ν 1 − 2 ν ε k k δ i j ) \begin{align*} \sigma_{ij}&C_{ijkl}\varepsilon…

风丘道路载荷数据采集(RLDA)测试方案

一 背景 整车厂在汽车上市前,了解产品所能承受的载荷是非常重要的,因此需进行道路载荷数据采集(RLDA)测试。通过获得车辆在实际试验场或公路道路中行驶的载荷信息来为整车台架道路模拟试验提供目标信号输入,以及为用于…

android高级面试题及答案,已拿offer

一、java相关 java基础 1、java 中和 equals 和 hashCode 的区别 2、int、char、long 各占多少字节数 3、int 与 integer 的区别 4、谈谈对 java 多态的理解 5、String、StringBuffer、StringBuilder 区别 6、什么是内部类?内部类的作用 7、抽象类和接口区别 java高…

无人机生态环境监测、图像处理与GIS数据分析

构建“天空地”一体化监测体系是新形势下生态、环境、水文、农业、林业、气象等资源环境领域的重大需求,无人机生态环境监测在一体化监测体系中扮演着极其重要的角色。通过无人机航空遥感技术可以实现对地表空间要素的立体观测,获取丰富多样的地理空间数…

将ppt里的视频导出来

将ppt的后缀从pptx改为zip 找到【media】里面有存放图片和音频以及视频,看文件名后缀可以找到,mp4的即为视频,直接复制粘贴到桌面即可。 关闭压缩软件把ppt后缀改回,不影响ppt正常使用。

【Redis】Redis持久化模式RDB

目录 引子 RDB RDB的优缺点 小节一下 引子 不论把Redis作为数据库还是缓存来使用,他肯定有数据需要持久化,这里我们就来聊聊两种持久化机制。这两种机制,其实是 快照 与 日志 的形式。快照:就是当前数据的备份,我可以拷贝到磁…

Docker入门——安装部署(openEuler)、镜像加速

安装 1)依赖的基础环境 64 位CPU Linux kernel(内核) 3.10 Linux kernel cgroups and namespaces 我用的是openEuler,所以直接yum安装(推荐,因为二进制安装,docker命令中补全操作要另外安装软件) [rootlocalhost ~]# yum -y…

WordPress 从入门到精通【设置 WordPress】

前言:为方便演示,前几张图使用 Playground 环境截取 如果你还不会部署WordPress,请看下面的链接并使用雨云可视化构建一个WordPress站点: 超简单EP面板搭建WordPress网站教程 - 风屿岛 10 (biliwind.com) 进入仪表盘 在搭建完…

华为Web举例:私网用户通过三元组NAT访问Internet

Web举例:私网用户通过三元组NAT访问Internet 介绍私网用户通过三元组NAT访问Internet的配置举例。 组网需求 某公司在网络边界处部署了FW作为安全网关。为了使私网中10.1.1.0/24网段的用户可以正常访问Internet,需要在FW上配置源NAT策略。除了公网接口…

flutter旋转动画,算法题+JVM+自定义View

在很多的博客或者书上,说有三种,除了上述的两种以外,还有一种是实现Callable接口。但是这种并不是,因为,我们检查JDK中Thread的源码,看它的注释: There are two ways to create a new thread o…

人工智能艺术的简要时间表

一、简述 技术在任何形式的艺术发展中始终发挥着关键作用。从通过化学发明颜色到通过数学发现分形:艺术、文化和技术是无法完全分开的三个维度。 计算机也不例外,它们从一开始就被用来帮助艺术家,常常揭示出我们无法看到的美丽的复杂性。数字…

【Java基础教程】(三十)Java新特性篇 · 第十讲: Stream流——释放流式编程的效率与优雅,狂肝万字只为透彻讲清 Stream流!~

Java基础教程之新特性 Stream流 1️⃣ 概念及特征2️⃣ 优势和缺点3️⃣ 使用3.1 语法3.2 常用API详解3.3 案例 4️⃣ 应用场景5️⃣ 使用技巧6️⃣ 并行流 ParallelStream🌾 总结 1️⃣ 概念及特征 Java的Stream流是在Java 8中引入的一种用于处理集合数据的功能强…

【Linux篇】Linux下的第一个小程序--进度条 蹦迪炫彩进图条

💛不要有太大压力🧡 💛生活不是选择而是热爱🧡 文章目录 Linux下第一个小程序:进度条两个背景知识缓冲区回车和换行是一个概念? 进图条原理进度条代码效果其他玩法:蹦迪版进度条 Linux下第一个小…

SpringBoot集成flink

Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。 最大亮点是流处理,最适合的应用场景是低时延的数据处理。 场景:高并发pipeline处理数据,时延毫秒级,且兼具…

永别了,垃圾病毒山寨软件!

在下载软件这一块,电脑与手机最大的不同就是手机有专门的应用商店,而电脑我们却只能使用搜索引擎找寻软件官网下载,这对于大多数对电脑不熟悉的人来说,很可能会下载到恶意病毒软件。 尽管从Win10开始,微软已经在系统中…

【kubernetes】关于k8s集群的存储卷

目录 一、存储卷的分类 二、empty存储卷以及特点 三、hostpath存储卷以及特点 四、nfs存储卷以及特点 五、pvc存储卷 查看pv的定义 查看pvc的定义 实操:静态创建pv的方式 实现pvc存储卷 步骤一:先完成nfs的目录共享,需要准备不同的目…