初识kafka-数据存储篇1

news2024/11/17 7:19:07

 目录

背景

1 kafka总体体系结构

2 疑问解答

2.1 高吞吐低延迟

2.2 实现分布式存储和数据读取

2.3 如何保证数据不丢失

背景

      最近在和产品过项目审批的时候，深刻感受到业务方对系统的时时响应提出了更高的要求。目前手上大部分的业务都是基础定时任务去实现的，如果要实现更快速的响应，最佳的方式无非是采用消息中间件，在课余的时间也重温了下消息中间件kafka的架构知识点，本文主要总结kafka的数据存储相关方的知识：

1 kafka总体体系结构

  • 架构图
  • 名称解释
    名称含义
    Broker 消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群，通俗说就是 每台机器上都运行一个Kafka的进程
    Topic代表了逻辑上的一个数据集
    Partition

    物理上的概念，一个topic可以分为多个partition ,说白就是数据

    Controllerkafka集群的总控组件，负责管理整个kafka集群范围内的各种东西
    Consumer消费者，从Broker拉去消息
    Consumer group每个Consumer属于一个特定的Consumer Group，一条满息可以发送到多个不同的Consumer Group但是一个Consumer Group中只能有一个Consumer能够满费该消息
     
    Producer生产者，向Broker推送消息
    看完整体架构后，不妨带上几个问题思考下
  • kafka的是如何实现高吞吐低延迟呢？
  • 如何实现分布式存储和存储的数据是如何保证高性能读取呢？
  • 如何保证数据不丢失？

2 疑问解答

2.1 高吞吐低延迟

吞吐量概念：单位时间内可以处理多少条数据，就叫做吞吐量。
提升了吞吐量，但是计算的延时就增加

kafka的高吞吐低延迟的原因主要体现在下面几个方面

  • 写数据：使用页缓存+磁盘顺序写

        rabbitmq相比：rabbitmq这种消息中间件，他会先把数据写入内存里，然后到了一定时候再把数据一次 性从内存写入磁盘里

  • 写数据：使用零拷贝技术

零拷贝：零拷贝是指在将数据从Kafka的日志文件传输到网络的过程中，避免了在Java堆内存（JVM）和操作系统之间拷贝数据。这样做可以减少CPU的使用，提高数据传输的效率

1 从page cache读，读不到才从磁盘IO读

2 会将数据放在os层的一个page  cache里

3 接着会发生上下文切换到系统那边，把os的读缓存数据拷贝到应用缓存里

4 接着再次发生上下文二切换到os层，把应用缓存的数据拷贝到os的socket缓存中

5 最后数据再发送到网卡上

        

2.2 实现分布式存储和数据读取

每个partition可以放在一台机器上，通过这个方式就可以实现数据的分布式存储了，落盘后的数据，其实就是个文件，类似日志。

  • 分布式存储实现：其实很简单，就是将每个partition可以放在一台机器上，通过这个方式就可以实现数据的分布式存储了。
  • 高性能的日志存储 
    • 每个分区对应的目录：

              比如说有个topic叫做“order-topic”  3台机器上分别会有3个目录
                “order-topic-0”，“order-topic-1”，“order-topic-2”

机器partition目录结构下级文件格式解释
机器1 order-topic-000000000000009936472.index
00000000000009936472.log
00000000000009936472.timeindex		每个分区里面就是很多的log segment file，
也就是日志段文件【有自己的索引文件】
机器2order-topic-100000000000019936472.index
00000000000019936472.log
00000000000019936472.timeindex
机器3order-topic-200000000000029936472.index
00000000000029936472.log
00000000000029936472.timeindex
    • 基于二分查找快速定位数据
      • 写入日志文件的时候，同时会写索引文件，就是.index和.timeindex【位移索引，时间戳索引】
      • 定位流程：索引文件里的数据是按照位移和时间戳升序排序的，用二分查找，时间复杂度是O(logN)，找到索引，就可以在.log文件里定位到数据
    • 查找数据例子
需求查找流程例子查找offset = 58892
根据offset查找1 先在这个文件里二分查找找到offset，
2 在.index里根据offset二分查找找对应的.log文件里的位置，
3 最后就去.log文件里查找对应的数据      

 假设存在文件：

44576 物理文件（.log位置）57976 物理文件（.log位置）      64352 物文件（.log位置）

因58892> 57976&

58892<64352 因此数据在 57976 .log文件的位置

查找某段时间范围内的时间1 先在对应的索引文件里二分查找找到offset
2 然后再去.index里根据offset二分查找找对应的.log文件里的位置，
3 最后就去.log文件里查找对应的数据		略略略略

2.3 如何保证数据不丢失

  • 多副本冗余的机制

对数据做多副本冗余，也就是每个parttion都有副本【follower partition】

  • ISR【in-sync replica】 同步副本集

ISR 其实可以理解理解为与leader保持同步的所有副本的集合。主要是动态维护了一个和leader副本保持同步副本集合，ISR中的副本全部都和leader的数据保持同步。可以做到故障转移，保障服务的可用性。

架构图如下：

总之，保证写入kafka的数据不丢失，首先需要保证ISR中至少有一个follower。其次就是在一条数据写入了leader partition之后，要求必须复制给ISR中所有的follower partition。

关于ISR机制的原理，下期在详讲

作者：老喵

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1542024.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[Java基础揉碎]单例模式

[Java基础揉碎]单例模式

目录 什么是设计模式 什么是单例模式 饿汉式与懒汉式 饿汉式vs懒汉式 懒汉式存在线程安全问题 什么是设计模式 1.静态方法和属性的经典使用 2.设计模式是在大量的实践中总结和理论化之后优选的代码结构、编程风格、 以及解决问题的思考方式。设计模式就像是经典的棋谱&am…
阅读更多...
使用 RunwayML 对图像进行 Camera 操作

使用 RunwayML 对图像进行 Camera 操作

RunwayML 是一個功能強大的平台&#xff0c;可以讓您使用 AI 和机器学习来增强您的图像和视频。 它提供一系列预训练模型&#xff0c;可用于各种任务&#xff0c;包括图像编辑、风格化和特效。 在本文中&#xff0c;我们将介绍如何使用 RunwayML 对图像进行 Camera 操作。我们…
阅读更多...
游戏引擎中的地形系统

游戏引擎中的地形系统

一、地形的几何 1.1 高度图 记录不同定点的高度&#xff0c;对每个网格/顶点应用高度、材质等信息&#xff0c;我们每个顶点可以根据高度改变位移 但是这种方法是不适用于开放世界的。很难直接画出几百万公里的场景 1.2 自适应网格细分 当fov越来越窄的时候&#xff0c;网格…
阅读更多...
Stable diffusion（四）

Stable diffusion（四）

训练自己的Lora 【DataSet】【Lora trainer】【SD Lora trainer】 前置的知识 batch size&#xff1a;模型一次性处理几张图片。一次性多处理图片&#xff0c;模型能够综合捕捉多张图片的特征&#xff0c;最终的成品效果可能会好。但是处理多个batch size也意味着更大的显存…
阅读更多...
第一篇：概述、 目录、适用范围及术语 --- IAB/MRC《增强现实（AR）广告（效果）测量指南1.0 》

第一篇：概述、 目录、适用范围及术语 --- IAB/MRC《增强现实（AR）广告（效果）测量指南1.0 》

第一篇&#xff1a;概述、目录、适用范围及术语 - IAB与MRC及《增强现实广告效果测量指南1.0》 --- 我为什么要翻译美国IAB科技公司系列标准 ​​​​​​​​​​​​​​ 翻译计划 第一篇概述—IAB与MRC及《增强现实广告效果测量指南》之目录、适用范围及术语第二篇广告效…
阅读更多...
【ArcGIS】统计土地利用数据每类面积及占比

【ArcGIS】统计土地利用数据每类面积及占比

1.栅格转面 转换工具/从栅格/栅格转面&#xff0c;得到面.shp 不要勾选简化面&#xff0c;否则会影响面积 2.添加面积字段&#xff0c;计算面积 面.shp添加双精度字段area 查看面.shp属性表中有没有gridcode为0的&#xff0c;如有的话编辑矢量&#xff0c;删除该要素。 计…
阅读更多...
STM32学习笔记（5_2）- EXTI外部中断代码

STM32学习笔记（5_2）- EXTI外部中断代码

无人问津也好&#xff0c;技不如人也罢&#xff0c;都应静下心来&#xff0c;去做该做的事。 最近在学STM32&#xff0c;所以也开贴记录一下主要内容&#xff0c;省的过目即忘。视频教程为江科大&#xff08;改名江协科技&#xff09;&#xff0c;网站jiangxiekeji.com 本期介…
阅读更多...
nodejs+vue高校奖助学金系统python-flask-django-php

nodejs+vue高校奖助学金系统python-flask-django-php

高校奖助学金系统的目的是让使用者可以更方便的将人、设备和场景更立体的连接在一起。能让用户以更科幻的方式使用产品&#xff0c;体验高科技时代带给人们的方便&#xff0c;同时也能让用户体会到与以往常规产品不同的体验风格。 与安卓&#xff0c;iOS相比较起来&#xff0c;…
阅读更多...
Python Flask 自定义404错误

Python Flask 自定义404错误

from flask import Flask, abort, make_response, request, render_templateapp Flask(__name__)# 重定向到百度 app.route(/index, methods["GET", "POST"]) def index():if request.method "GET":return render_template("index.html&q…
阅读更多...
tabs自定义样式

tabs自定义样式

使用el-tabs 去修改样式的话比较麻烦&#xff0c;索性直接用div来制作。 <div class"contain"><div class"tab_wrap"><div :class"[skew, first, active 1 ? isActive: ]" click"tabClick(1)"><span class&quo…
阅读更多...
系统大屏可视化展示平台解决方案（原件）

系统大屏可视化展示平台解决方案（原件）

1.系统概述 1.1.需求分析 1.2.重难点分析 1.3.重难点解决措施 2.系统架构设计 2.1.系统架构图 2.2.关键技术 2.3.接口及要求 3.系统功能设计 3.1.功能清单列表 3.2.数据源管理 3.3.数据集管理 3.4.视图管理 3.5.仪表盘管理 3.6.移动端设计 3.7.系统权限设计 3.8.数据查询过程设…
阅读更多...
从零开始的 dbt 入门教程 （dbt cloud 自动化篇）

从零开始的 dbt 入门教程 （dbt cloud 自动化篇）

一、引 在前面的几篇文章中&#xff0c;我们从 dbt core 聊到了 dbt 项目工程化&#xff0c;我相信前几篇文章足够各位数据开发师从零快速入门 dbt 开发&#xff0c;那么到现在我们更迫切需要解决的是如何让数据更新做到定时化&#xff0c;毕竟作为开发我们肯定没有经历每天定…
阅读更多...
C++（类和对象）2

C++（类和对象）2

36 友元 1&#xff09;全局函数 全局函数做优元&#xff0c;就是把全局函数复制到类中&#xff0c;加个friend 同上&#xff0c;将class GoodGay前写个friend&#xff0c;就可以访问了 当然&#xff0c;还有成员函数做友元 39 运算符重载-加号 普通加号只知道两个整型撒的…
阅读更多...
nodejs+vue高校社团管理系统设计与实现python-flask-django-php

nodejs+vue高校社团管理系统设计与实现python-flask-django-php

系统根据现有的管理模块进行开发和扩展&#xff0c;采用面向对象的开发的思想和结构化的开发方法对高校社团的现状进行系统调查。采用结构化的分析设计&#xff0c;该方法要求结合一定的图表&#xff0c;在模块化的基础上进行系统的开发工作。在设计中采用“自下而上”的思想&a…
阅读更多...
嵌入式数据库--SQLite

嵌入式数据库--SQLite

目录 1. SQLite数据库简介 2. SQLite数据库的安装 方式一&#xff1a; 方式二&#xff1a; 3. SQLite的命令用法 1.创建一个数据库 2.创建一张表 3.删除表 4.插入数据 5. 查询数据 6.删除表内一条数据 7.修改表中的数据 8.增加一列也就是增加一个字段 1. SQLite数据库…
阅读更多...
ARM：按键中断

ARM：按键中断

key_inc.c #include"key_inc.h"void key1_it_config(){//使能GPIOF外设时钟RCC->MP_AHB4ENSETR | (0x1<<5);//将PF9设置为输入模式GPIOF->MODER & (~(0x3<<18));//设置由PF9管脚产生EXTI9事件EXTI->EXTICR3 & (~(0XFF<<8));EXTI…
阅读更多...
Microsoft Excel 快捷键 (keyboard shortcut - hotkey)

Microsoft Excel 快捷键 (keyboard shortcut - hotkey)

Microsoft Excel 快捷键 [keyboard shortcut - hotkey] References 表格内部换行快捷键 Alt Enter 快速将光标移到表末 Ctrl End 快速将光标移到表首 Ctrl Home References [1] Yongqiang Cheng, https://yongqiang.blog.csdn.net/
阅读更多...
Docker 入门使用说明

Docker 入门使用说明

Docker 入门使用说明 Docker 安装 Docker 官网&#xff1a;Docker Docker 安装说明&#xff1a;Docker 安装说明 这里由于 Docker 在实时更新&#xff0c;所以每次安装 Docker 用来导入 key 的链接可能会有变化&#xff0c;这里就参考官方的安装方法即可 Docker 常用命令说…
阅读更多...
继承和多态（1）(继承部分)

继承和多态（1）(继承部分)

继承 继承的概念 上文就是继承的概念。 必须记住父类也可以称为基类&#xff0c;超类。 子类也可以称为派生类。 继承的语法 在Java中如果要表示类之间的继承关系&#xff0c;需要借助extends关键字&#xff0c;具体如下&#xff1a; 修饰符 class 子类 extends 父类 {//…
阅读更多...
网络核心知识点 - 网络通信技术 XHR（XMLHttpRequest） 和 Fetch

网络核心知识点 - 网络通信技术 XHR（XMLHttpRequest） 和 Fetch

一、关于 AJAX&#xff08;一种思想和方法&#xff09; 浏览器本身就具备网络通信的能力&#xff0c;但在早期&#xff0c;浏览器并没有把这个能力开放给JS。最早是微软在IE浏览器中把这一能力向JS开放&#xff0c;让JS可以在代码中实现发送请求&#xff0c;并不会刷新页面。Aj…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023