08、Kafka ------ 消息存储相关的配置-->消息过期时间设置、查看主题下的消息存活时间等配置

news2024/9/25 7:26:12

目录

  • 消息存储相关的配置
    • ★ 消息的存储介绍
    • ★ 消息过期时间及处理方式
      • 演示:log.cleanup.policy 属性配置
    • ★ 修改指定主题的消息保存时间
      • 演示:将 test2 主题下的消息的保存时间设为10个小时
        • 1、先查看test2主题下的配置
        • 2、然后设置消息的保存时间
        • 3、然后再查一遍test2的配置,看是否修改成功
    • ★ 查看指定主题的配置
      • 命令1:查看所有对象的信息
      • 命令2:查看特定主题的信息

消息存储相关的配置



★ 消息的存储介绍

Kafka的消息主题与JMS、AMQP的消息队列是不同:JMS、AMQP消息队列中的消息只能被消费一次,当消息被消费时,这条消息就会被移出队列;

但Kafka主题中的消息完全可以被多次重复消费,甚至可以从指定下标处开始读取消息。

从某种角度来看,Kafka主题中的消息,就像数据表中的记录,它会在一段时间内持久化保存,客户端(消费者)可根据需要反复地读取它们,

这正是一开始就介绍过的:Kafka并不是单纯的消息组件,而是“开源的分布式事件流平台(open-source distributed event streaming platform)”。



★ 消息过期时间及处理方式

Kafka主题中的消息默认保存期限为7天,这个默认保存时间可通过server.propeties文件中的 log.retention.hours 属性进行修改。

在这里插入图片描述



当数据过期之后,Kafka可以对数据进行两种处理:delete或compact,其中

 - delete 表示直接删除过期数据,
 - compact 则表示对数据进行压缩整理,更多是偏向整理。

演示:log.cleanup.policy 属性配置

对过期消息的处理设置:设置消息过期后就删除掉

通过server.propeties文件中的 log.cleanup.policy 属性进行配置。

在这里插入图片描述



★ 修改指定主题的消息保存时间

在 server.properties 文件中配置的参数,它们都是对整个Broker生效的。

有些时候,可能希望仅修改特定主题的某些配置,此时就需要对特定主题进行修改了。

修改指定主题的额外属性推荐使用 kafka-configs.bat(.sh)命令,该工具命令可指定如下常用选项:

 --alter:修改。
 --describe:显示。该选项与--alter选项只能选择其中之一。
 --delete-config:指定要删除的配置属性,该选项的值应该符合“k1,k2”的形式。
 --add-config:指定要添加的配置属性,
               该选项的值为应该符合“k1=v1,k2=[v1,v2,v2],k3=v3”的形式。
 --bootstrap-server:指定要连接的服务器。
 --entity-type:指定要配置的实体类型,
   该选项可支持topics(主题)、clients(客户端)、users(用户)、
              brokers(代理)和broker-loggers(代理日志)这些值。
 --entity-name:指定要配置的实体的名称,该选项与--entity-type结合使用,
                用于指定主题名,客户端ID、用户名、Broker ID。

修改指定主题的保存时间,用 “retention.ms” 属性。



演示:将 test2 主题下的消息的保存时间设为10个小时

–alter ^ 表示要修改
–entity-name test2 ^ 表示修改的是 test2
–entity-type topics ^ 表示修改的类型是 topics 主题类型

 kafka-configs --bootstrap-server localhost:9092 ^
 --alter ^
 --entity-name test2 ^
 --entity-type topics ^
 --add-config retention.ms=36000000
1、先查看test2主题下的配置

没设置保存时间之前,查看下配置:发现什么都没有
查询的命令在下面【查看指定主题的配置】那里有介绍:就是这个查寻命令

 kafka-configs --bootstrap-server localhost:9092 ^
 --describe ^
 --entity-name test2 ^
 --entity-type topics

在这里插入图片描述

cmak 界面也没有时间显示:配置里面默认消息存放是7天,这里没有显示

在这里插入图片描述

2、然后设置消息的保存时间

然后设置test2主题下的消息保存时间为10小时:

在这里插入图片描述

3、然后再查一遍test2的配置,看是否修改成功

在这里插入图片描述

CMAK 界面查看也有了消息的存活时间:

在这里插入图片描述



★ 查看指定主题的配置

查看指定主题的配置可用两条命令:

命令1:查看所有对象的信息

1、使用 kafka-configs.bat 命令的 --describe 子命令
——该命令可查看所有对象的信息

–bootstrap-server localhost:9092 ^ 这个就是指定连接哪个kafka服务器地址

 kafka-configs --bootstrap-server localhost:9092 ^
 --describe ^
 --entity-name test2 ^
 --entity-type topics

直接查9092节点的kafka下的test2主题的所有对象详细,所以描述的比较少。
可以看到test2主题的配置中,该主题消息的存活时间是10小时。
在这里插入图片描述



命令2:查看特定主题的信息

2、使用 kafka-topics.bat 命令的 --describe子 命令
——该命令只能查看特定主题的信息

kafka-topics --bootstrap-server localhost:9092 ^
 --topic test2 ^
 --describe

因为是专门查看主题的,所以不仅有主题的配置信息,还有该主题的分区信息。
在这里插入图片描述

可以在CMAK界面查看这个主题的配置:
不仅可以用命令修改主题配置,在这个CMAK界面也可以直接修改和查看:

在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1380312.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2024/1/14周报

文章目录 摘要Abstract文献阅读题目问题与创新方法A.CEMDAN方法B.LSTM网络C. CEEMDAN-LSTM模型 实验过程数据集与数据预处理参数设置评价指标和参数 实验结果 深度学习GRUGRU前向传播GRU的训练过程 总结 摘要 本周阅读了一篇基于CEEMDAN-LSTM的金融时间序列预测模型的文章&…

Spark---RDD(Key-Value类型转换算子)

文章目录 1.RDD Key-Value类型1.1 partitionBy1.2 reduceByKey1.3 groupByKeyreduceByKey和groupByKey的区别分区间和分区内 1.4 aggregateByKey获取相同key的value的平均值 1.5 foldByKey1.6 combineByKey1.7 sortByKey1.8 join1.9 leftOuterJoin1.10 cogroup 1.RDD Key-Value…

通过代理连接sftp

通过nginx代理连接sftp 1.问题描述2.代码实现3.nginx配置3.1 创建sftp.stream文件3.2 修改nginx配置 4.重启nginx生效 1.问题描述 问题是这样的。我们现在需要在微服务所在内网的A机器连接到外网的sftp,但是网络又不能直接到达。然后A机器到B机器是通过的&#xff…

设计模式之策略模式【行为型模式】

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档> 学习的最大理由是想摆脱平庸,早一天就多一份人生的精彩;迟一天就多一天平庸的困扰。各位小伙伴,如果您: 想系统/深入学习某…

新手入门:软件在测试过程中可能出现哪些问题?走,去看看~

对于很多测试新手来说,想要把自己的测试技术练得更精进,扎实自己的理论知识是必不可少的一门功课。下面,我们就一起来复习一下,那些让我们一知半解或者记不全的理论知识吧。 01 什么是软件测试? 最老套,但…

不要再搞混标准化与归一化啦,数据标准化与数据归一化的区别!!

数据标准化与归一化 1. 数据的标准化(Standardization):2. 数据的归一化(Normalization):总结(数据标准化和数据归一化的不同之处和相同之处) 1. 数据的标准化(Standardi…

【数据结构】二叉树问题总结

目录 1.二叉树前序遍历,中序遍历和后序的实现 2.层序遍历 3.求二叉树中的节点个数 4.求二叉树中的叶子节点个数 5.求二叉树的高度 6.求二叉树第k层节点个数 7.二叉树查找值为x的节点 8.单值二叉树 9.二叉树最大深度 10.翻转二叉树 11. 检查两颗树是否相同…

【Linux实用篇】Linux常用命令(2)

目录 1.3 拷贝移动命令 1.3.1 cp 1.3.2 mv 1.4 打包压缩命令 1.5 文本编辑命令 1.5.1 vi&vim介绍 1.5.2 vim安装 1.5.3 vim使用 1.6 查找命令 1.6.1 find 1.6.2 grep 1.3 拷贝移动命令 1.3.1 cp 作用: 用于复制文件或目录 语法: cp [-r] source dest ​ 说明: …

数据分析概述2(详细介绍机器学习

目录 1.名词解释:1.1算法和模型1.2参数和超参数 2.基础算法:3.高级算法:4.数据准备5.常用python包小结: 1.名词解释: 1.1算法和模型 算法:用于训练模型的方法,分为有监督学习、无监督学习、半…

Centos7安装K8S

Centos7安装K8S 安装过程中没有出现的错误可以往下 根据以前一些博主写的博客,在小阳翻了不下几十篇博客之后,我果断是放弃了,于是找到了官网地址,然后也有坑 1. 关闭防火墙 systemctl stop firewalld systemctl disable firew…

算法通关村番外篇-LeetCode编程从0到1系列四

大家好我是苏麟 , 今天带来算法通关村番外篇-LeetCode编程从0到1系列四 . 矩阵 1672. 最富有客户的资产总量 描述 : 给你一个 m x n 的整数网格 accounts ,其中 accounts[i][j] 是第 i​​​​​ 位客户在第 j 家银行托管的资产数量。返回最富有客户所拥有的 资产…

【UEFI基础】EDK网络框架(IP4)

IP4 IP4协议说明 IP全称Internet Protocol,它属于网络层,对其下各种类型的数据链路层进行了包装,这样网络层可以跨越不同的数据链路,即使是在不同的数据链路上也能实现两端节点之间的数据包传输。 IP层的主要作用就是“实现终端…

java应用CPU过高查找原因

用top查到占用cpu最高的进程pid 根据进程ID找到占用CPU高的线程 ps -mp 60355 -o THREAD,tid | sort -r 用 printf "%x \n" 将tid换为十六进制:xid printf "%x \n" 6036 根据16进制格式的线程ID查找线程堆栈信息 jstack 60355 |grep ebcb -A…

Fiddler怎么抓请求做接口

第一步:安装fiddler 可以在官网下载最新版本 VIP小伙伴可以在课前准备下载,如果已经安装,请忽略 打开fiddler开始抓取测试对象的请求,以教管系统登录为例 打开fiddler,准备开始抓取,清空会话,开启抓取状态,因为fiddler默认抓取http协议,所以这里不需要设置什么。 打开系统登…

Windows项目部署流程

一、部署前需要的工作 ①配置环境变量:将所需的软件和工具的安装路径添加到系统的环境变量中,以便在命令行中可以直接使用。 ②部署项目文件:将项目的文件和代码复制到服务器上的指定目录中,例如Web服务器的网站根目录。 ③配置…

idea使用谷歌翻译 有道翻译 百度翻译

中文版:文件——设置——工具——Translation,然后选择需要配置的翻译 英文版:File——settings——Tools——Translation,然后选择需要配置的翻译 谷歌翻译大家可以度娘直接搜索Google_translation_win 有道和百度翻译得去注册申…

什么是有机搜索引擎优化以及如何入门

什么是有机搜索引擎优化? 有机搜索引擎优化,简称 SEO,是指从搜索引擎的无偿搜索结果中增加网站流量的做法。 未付费搜索结果是获得的列表,而不是付费的。 这样做的目的是让您的网页在与您业务相关的未付费搜索结果中排名靠前。…

Spring自带分布式锁你用过吗?

环境:SpringBoot2.7.12 本篇文章将会为大家介绍有关spring integration提供的分布式锁功能。 1. 简介 Spring Integration 是一个框架,用于构建事件驱动的应用程序。在 Spring Integration 中,LockRegistry 是一个接口,用于管理…

无需任何三方库,在 Next.js 项目在线预览 PDF 文件

前言: 之前在使用Vue和其它框架的时候,预览 PDF 都是使用的 PDFObject 这个库,步骤是:下载依赖,然后手动封装一个 PDF 预览组件,这个组件接收本地或在线的pdf地址,然后在页面中使用组件的车时候…

黑马程序员 Docker笔记

本篇学习笔记文档对应B站视频: 暂时无法在飞书文档外展示此内容 同学们,在前两天我们学习了Linux操作系统的常见命令以及如何在Linux上部署一个单体项目。大家想一想自己最大的感受是什么? 我相信,除了个别天赋异禀的同学以外&a…