kafka（六）——存储策略

news2024/12/22 19:27:31

存储机制

kafka通过topic作为主题缓存数据，一个topic主题可以包括多个partition，每个partition是一个有序的队列，同一个topic的不同partiton可以分配在不同的broker（kafka服务器）。

关系图

在这里插入图片描述

partition分布图

名称为t_zd的topic为3分区2副本，其在3节点kafka集群的分布如下：

在这里插入图片描述

概念

topic

主题，即消息存放的目录。

Partition

  • 一个topic可以分为多个partition；

  • 每个partition是一个有序的队列；

  • 每个partition实际对应一个文件夹，包含多个segment文件；

  • partition中的每条消息都会分配一个有序的id，即offset；

segment

  • Kafka用于存储消息的基本单元；
  • segment指partition文件夹下产生的文件；
  • segment文件命名与offset有关，为log start offset；
  • 每个分段都有一个起始偏移量和一个结束偏移量，用于定位消息的位置；
  • 一个segment对应一个日志文件（[offset].log）、时间索引文件（[offset].timeindex）和索引文件（[offset.index]），日志文件是用来记录消息，索引文件用来保存消息的索引；
  • segment的大小可以通过server.properties配置文件中log.segment.bytes来配置，默认1G；

在这里插入图片描述

索引文件(index)

  • 记录固定消息量的索引编号范围；
  • Kafka在查询时，先从Index中定位到小范围的索引编号区间，再去Log中在小范围的数据块中查询具体数据，此索引区间的查询方式称为：稀疏索引；

日志文件(log)

  • 负责消息的追加、读取和索引等操作；
  • 每条消息有自增编号，只追加不修改；

消息（message）

示例

[root@192 zd-first-topic-0]$ls
00000000000000000000.index  00000000000000000000.timeindex  partition.metadata
00000000000000000000.log    leader-epoch-checkpoint
[root@192 zd-first-topic-0]$sh bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log --print-data-log

Dumping 00000000000000000000.log
Log starting offset: 0
baseOffset: 0 lastOffset: 0 count: 1 baseSequence: 0 lastSequence: 0 producerId: 0 producerEpoch: 0 partitionLeaderEpoch: 0 isTransactional: false isControl: false deleteHorizonMs: OptionalLong.empty position: 0 CreateTime: 1712889750352 size: 79 magic: 2 compresscodec: none crc: 3489688351 isvalid: true
| offset: 0 CreateTime: 1712889750352 keySize: -1 valueSize: 11 sequence: 0 headerKeys: [] payload: hello kafka

baseOffset: 1 lastOffset: 1 count: 1 baseSequence: 1 lastSequence: 1 producerId: 0 producerEpoch: 0 partitionLeaderEpoch: 0 isTransactional: false isControl: false deleteHorizonMs: OptionalLong.empty position: 79 CreateTime: 1712889754967 size: 84 magic: 2 compresscodec: none crc: 2134132965 isvalid: true
| offset: 1 CreateTime: 1712889754967 keySize: -1 valueSize: 16 sequence: 1 headerKeys: [] payload: kafka first test

baseOffset: 2 lastOffset: 2 count: 1 baseSequence: 2 lastSequence: 2 producerId: 0 producerEpoch: 0 partitionLeaderEpoch: 0 isTransactional: false isControl: false deleteHorizonMs: OptionalLong.empty position: 163 CreateTime: 1712889762442 size: 85 magic: 2 compresscodec: none crc: 3019058576 isvalid: true
| offset: 2 CreateTime: 1712889762442 keySize: -1 valueSize: 17 sequence: 2 headerKeys: [] payload: kafka second test
[root@192 zd-first-topic-0]$

参数说明

  • baseOffset：当前消息起始位置的offset；
  • position：消息在日志分段文件中对应的物理地址；
  • size：消息长度；

关系图

在这里插入图片描述

副本机制

  • kafka副本机制提高了数据可靠性；
  • Kafka默认副本1个，生产环境一般配置为2个，保证数据可靠性，但性能相对降低；
  • Kafka中将副本分为Leader副本和Follower副本；
  • Kafka生产者只会把数据发往Leader副本，Follower副本找Leader副本进行数据同步；
  • Kafka分区中的所有副本统称为AR（Assigned Repllicas），AR = ISR + OSR；
    • ISR：表示和Leader保持同步的Follower集合。如果Follower长时间未向Leader发送通信请求或同步数据，则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定，默认30s。Leader发生故障之后，就会从ISR中选举新的Leader；
    • OSR：Follower与Leader副本同步时，延迟过多的副本；

producer的acks参数表示当生产者生产消息的时候，写入到副本的要求严格程度。

  • acks为0：生产者将消息发送至主副本，不等确认可继续发送下一条消息，数据可能丢失。

在这里插入图片描述

  • acks为1：生产者将消息发送至主副本，等主副本确认可继续发送下一条消息。

在这里插入图片描述

  • acks为-1或all：生产者将消息发送至主副本，等主副本和从副本同步完成后可继续发送下一条消息。

在这里插入图片描述

日志清理机制

配置参数

  • log.retention.hours: 控制日志文件保留的最长时间；
  • log.retention.bytes: 控制日志文件保留的最大大小；
  • log.retention.minutes: 控制日志文件保留的最短时间；
  • log.retention.check.interval.ms: 日志清理器检查日志是否满足清理条件的频率；
  • log.cleaner.enable: 是否启用日志清理；
  • log.cleanup.policy: 对于超过保留时间的日志文件，如何处理，默认delete。支持日志压缩（compaction）和delete+compaction；

日志删除

基于时间的删除策略

  • log.retention.hours: 控制日志文件保留的最长时间，默认168小时（7天）；
  • log.delete.delay.ms：执行延迟时间，默认1分钟；

执行日志分段的删除任务时，会首先从Log对象中维护的日志分段的跳跃表中移除需要删除的日志分段，然后将日志分段所对应的数据文件和索引文件添加.deleted后缀。最后转交给名称为delete-file任务来删除以.deleted为后缀的文件，执行延迟时间可通过参数log.delete.delay.ms控制，默认为1分钟。

基于日志大小的删除策略

  • log.retention.bytes: 控制日志文件保留的最大大小；
  • log.delete.delay.ms：执行延迟时间，默认1分钟；

该策略会依次检查每个日志中的日志分段是否超出指定的大小（log.retention.bytes），对超出指定大小的日志分段采取删除策略。

日志压缩

压缩方式

  • 通过GZIP或Snappy压缩器压缩日志段；
  • 通过删除不必要的元数据来减少日志的大小；

参数配置

# 对于segment log进行压缩
log.cleaner.enable=true
# 设置压缩后的日志保留的最长时间
log.retention.hours=168
# 设置日志清理进程的运行频率（以小时为单位）
log.cleanup.policy=compact
# 设置压缩后的日志文件保留的最大大小
log.retention.bytes=1073741824
# 设置segment文件的压缩类型
log.cleaner.io.buffer.size=524288
log.cleaner.io.max.bytes.per.second=1048576
log.cleaner.dedupe.buffer.size=134217728
log.cleaner.threads=2
log.cleaner.min.cleanable.ratio=0.5

压缩流程

  • Kafka的后台线程会定时将topic遍历两次，第一次将每个Key的哈希值最后一次出现的offset记录下来，第二次检查每个offset对应的Key是否在较为后面的日志中出现过，如果出现了就删除对应的日志；
  • 日志压缩是针对Key的，在使用时应注意每个消息的Key值不为NULL；
  • 压缩是在Kafka后台通过定时的重新打开Segment来完成的；

img

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1597394.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Unity 扩展自定义编辑器窗口

Unity 扩展自定义编辑器窗口

在Assets文件夹路径下任意位置创建Editor文件夹，将扩展编辑器的代码放在Editor文件夹下 生成编辑器窗口 代码中首先引用命名空间 using UnityEditor; 然后将创建的类继承自EditorWindow public class MenuEditor : EditorWindow 然后通过扩展编辑器菜单功能调用…
阅读更多...
AndroidStudio 导出aar包，并使用

AndroidStudio 导出aar包，并使用

打包 1、确认当前选项是否勾选，如未勾选请先勾选。 2、勾选完成后重启Android Studio。 3、重启完成后，选中要打包的module 4、打包完成 使用 1.在项目中新建libs,放入aar文件。 2.修改配置 添加如下代码 flatDir {dirs("libs")}3.修改app…
阅读更多...
【BEVHeight论文阅读】自动驾驶车路协同车端感知算法

【BEVHeight论文阅读】自动驾驶车路协同车端感知算法

论文名称：BEVHeight: A Robust Framework for Vision-based Roadside 3D Object Detection 论文地址：https://arxiv.org/pdf/2303.08498.pdf 代码地址：https://github.com/ADLab-AutoDrive/BEVHeight 总结：这篇文章比较有意思的点…
阅读更多...
单元测试四大过程

单元测试四大过程

单元测试四大过程（蓝桥课学习笔记） 单元测试过程 单元测试是软件测试过程中的一个关键环节，它与集成测试、系统测试一样，分为测试策划、测试设计、测试执行和测试总结几个阶段。 单元测试过程中每个阶段需要完成的主要工作如下&…
阅读更多...
ActiveMQ主从架构和集群架构的介绍及搭建

ActiveMQ主从架构和集群架构的介绍及搭建

一、主从和集群架构的特点 1.1 主从架构的-Master/slave模式特点 读写分离，纵向扩展，所有的写操作一般在master上完成，slave只提供一个热备 1.2 集群架构-Cluster模式特点 分布式的一种存储，水平的扩展，消息的分布…
阅读更多...
基于WOA优化的CNN-LSTM-Attention的时间序列回归预测matlab仿真

基于WOA优化的CNN-LSTM-Attention的时间序列回归预测matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 4.1卷积神经网络（CNN）在时间序列中的应用 4.2 长短时记忆网络（LSTM）处理序列依赖关系 4.3 注意力机制（Attention） 4…
阅读更多...
聚类能代替分类吗？

聚类能代替分类吗？

聚类和分类是两种不同的机器学习方法，它们在处理数据时有着不同的目的和应用场景。 分类：分类是一种监督学习方法，它需要已标记的训练数据集。在分类中，算法会学习如何将输入数据映射到预定义的类别中。例如，给定一组包…
阅读更多...
ActiveMQ 07 集群配置

ActiveMQ 07 集群配置

Active MQ 07 集群配置 官方文档 http://activemq.apache.org/clustering 主备集群 http://activemq.apache.org/masterslave.html Master Slave TypeRequirementsProsConsShared File System Master SlaveA shared file system such as a SANRun as many slaves as requ…
阅读更多...
开源相机管理库Aravis例程学习（一）——单帧采集single-acquisition

开源相机管理库Aravis例程学习（一）——单帧采集single-acquisition

开源相机管理库Aravis例程学习（一）——单帧采集single-acquisition 简介源码函数说明arv_camera_newarv_camera_acquisitionarv_camera_get_model_namearv_buffer_get_image_widtharv_buffer_get_image_height 简介 本文针对官方例程中的第一个例程&…
阅读更多...
vue快速入门（二十五）本地存储与初始化使用

vue快速入门（二十五）本地存储与初始化使用

注释很详细&#xff0c;直接上代码 上一篇 新增内容 本地获取数据数据存储到本地 源码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial…
阅读更多...
Spire.PDF for .NET【文档操作】演示：合并 PDF 文档

Spire.PDF for .NET【文档操作】演示：合并 PDF 文档

需要合并 PDF 的原因有很多。例如&#xff0c;合并 PDF 文件允许您打印单个文件&#xff0c;而不是为打印机排队多个文档&#xff0c;组合相关文件通过减少要搜索和组织的文件数量来简化管理和存储多个文档的过程。在本文中&#xff0c;您将学习如何使用Spire.PDF for .NET将多…
阅读更多...
JS-demo轮播图效果实现

JS-demo轮播图效果实现

原生JS开发轮播图效果 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta http-equiv"X-UA-Compatible" content"IEedge" /><meta name"viewport" content"widt…
阅读更多...
【架构-13】云原生架构

【架构-13】云原生架构

云原生架构产生背景&#xff1f; &#xff08;1&#xff09;大量资源被占用且难以分享&#xff0c;上云后&#xff0c;云厂商提供统一的IaaS能力和云服务。 &#xff08;2&#xff09;提供极致性能的云原生算力。 &#xff08;3&#xff09;集成服务&#xff0c;构建管理数据、…
阅读更多...
Adobe Premiere 2015 下载地址及安装教程

Adobe Premiere 2015 下载地址及安装教程

Premiere是一款专业的视频编辑软件&#xff0c;由Adobe Systems开发。它为用户提供了丰富的视频编辑工具和创意效果&#xff0c;可用于电影、电视节目、广告和其他多媒体项目的制作。 Premiere具有直观的用户界面和强大的功能&#xff0c;使得编辑和处理视频变得简单而高效。它…
阅读更多...
Linux基础（持续更新~）

Linux基础（持续更新~）

常见的Linux目录 1、“/”&#xff1a;根目录 2、“/root”&#xff1a;root 用户的家目录 3、“/home/username ”&#xff1a;普通用户的家目录 4、“/etc”&#xff1a;配置文件目录&#xff08;类似于Windows的注册表&#xff09; 5、“/bin ”&#xff1a;命令目录 …
阅读更多...
简单3步制作纸质英语绘本的mp3英语朗读音频

简单3步制作纸质英语绘本的mp3英语朗读音频

孩子学英语&#xff0c;需要看很多英语绘本&#xff0c;而且要听配套的音频。但有些英语绘本是没有对应音频的&#xff0c;下面简单三步&#xff0c;就可以将任意英语绘本制作出对应的英语朗读音频。 第一步&#xff0c;手机拍照做成PDF文件&#xff1a; 绘本每一页拍照后&…
阅读更多...
华为云迁移到AWS上云安全及部署，九河云保姆级教程

华为云迁移到AWS上云安全及部署，九河云保姆级教程

云计算已成为当今企业数字化转型的关键环节。随着越来越多的业务部署在云端,确保云计算环境的安全性成为各大企业关注的重点。本文将重点介绍在从华为云迁移到AWS过程中,如何规划和部署云安全体系,充分利用AWS提供的安全服务与最佳实践,最大限度地保护您的云上资产。我们九河云…
阅读更多...
【编程Tool】Visual studio 2022社区免费版本的下载安装及使用

【编程Tool】Visual studio 2022社区免费版本的下载安装及使用

目录 1.下载Visual studio 2022 1.1 复制此链接至浏览器即可访问微软官网&#xff1a; 1.2 下拉官网页面&#xff0c;选择Community2022版软件并点击下载 1.3 下载完成后&#xff0c;双击可执行文件&#xff0c;进入下一步安装 2、安装 2.1 点击【继续】开始下载和安装 2.2 下…
阅读更多...
计算机服务器中了devicdata勒索病毒怎么办？Devicdata勒索病毒解密工具步骤

计算机服务器中了devicdata勒索病毒怎么办？Devicdata勒索病毒解密工具步骤

网络技术的不断应用与发展&#xff0c;为企业的生产运营提供了极大便利&#xff0c;但也为企业的数据安全带来严重威胁&#xff0c;数据是企业的核心命脉&#xff0c;通过数据可以更好地调整企业的生产运营方向&#xff0c;帮助企业更好地做好规划调整&#xff0c;保护企业数据…
阅读更多...
Deep Learning for Single Image Super-Resolution: A Brief Review

Deep Learning for Single Image Super-Resolution: A Brief Review

TMM 2019 用深度学习来解决SISR问题(single image super resolution)的问题&#xff0c;从两个方面 高效的网络结构&#xff0c;efficient architectures&#xff1b;有效的优化目标&#xff0c;OPTIMIZATION OBJECTIVES&#xff1b; 问题的定义 由LR y y y恢复HR x x x&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023