05、Kafka ------ CMAK 各个功能的作用解释(主题和分区 详解,用命令行和图形界面创建主题和查看主题)

news2024/11/16 3:44:07

目录

  • CMAK 各个功能的作用解释(主题)
    • ★ 主题
    • ★ 分区
    • ★ 创建主题:
    • ★ 列出和查看主题

CMAK 各个功能的作用解释(主题)



★ 主题

Kafka 主题虽然也叫 topic,但它和 Pub-Sub 消息模型中 topic 主题及 AMQP 的 topic 都不同(AMQP 的 topic 只是 Exchange 的类型)。

Kafka 的主题只是盛装消息的逻辑容器(注意是逻辑容器),主题之下会分为若干个分区,分区才是盛装消息的物理容器。

▲ 消息组织方式实际上是三级结构:主题 → 分区 → 消息。

▲ 主题只是消息的逻辑分类,它只是发布消息的类别或消费源的名称。

发布消息时,面向主题发布消息;
消费消息时,也面向主题消费;
但实际会由 Kafka 将消息存储到分区中,从分区中消费消息。

就是消息是存在分区中的,但是发布和消费消息是面向主题来的。



★ 分区

▲ 分区才是真正存储消息的地方,分区在物理存储层面就是一个一个的日志文件(就是数据文件),这些日志文件保存在 server.properties文件下的 log.dirs属性 指定目录下。
在这里插入图片描述

▲ 分区文件都是一个有序的记录序列,序列的数据项可通过下标访问,下标从0开始,如图所示:

在这里插入图片描述
▲ 分区文件的结构有点类似于 List 集合,只不过 List 集合存储在内存中,而分区文件则持久化地、存储在磁盘上。

消息被消费完成之后,是不会自动从分区中移除的,只能通过设置,比如过某一段时间之后,再从分区中移除。

在这里插入图片描述



★ 创建主题:

【备注】 Kafka 的 Broker 之间的地位是平等,没有所谓谁是主Broker,谁是副Broker的概念。

Kafka的主、从是体现在分区上的 ,分区可分为领导者分区(主)、追随者分区(副)。

领导者分区,其实就是主分区:对外提供服务。
追随者分区,就是所谓副分区:作用是作为主分区的后备。

kafka-topics.bat(.sh)命令可用于操作主题,包括创建主题、删除主题及列出主题、查看主题等。
例如如下命令即可创建一个主题:

^ 这个符号表示命令还没有写完,要换一行

kafka-topics.bat --create ^
–bootstrap-server localhost:9092 ^
–replication-factor 2 ^
–partitions 3 ^
–topic test1

上面命令指定了如下几个选项:

–create:指定创建主题。

–bootstrap-server:指定Kafka Broker的地址。

–replication-factor:指定复制因子。此处指定的复制因子为2,表明每个分区都有两个副本,一个领导者副本,一个追随者副本。

–partions:指定该主题包含的分区数。此处指定的分区数为3,表明该主题由3个分区组成。
–partions选项指定该主题由3个分区组成,而–replication-factor指定每个分区有2个副本,因此实际上该分区包含6(3 * 2)个分区,其中3个领导者分区,3个追随者分区。

–topic:指定主题名。


用命令行创建 topic

在这里插入图片描述

创建出来了,如图

在这里插入图片描述

主题信息:

因为分区是3,复制因子是2,所以一共有6个分区;
因为我们弄了3个broker节点。
如图:每个broker节点分配了两个分区

在这里插入图片描述



CMAK 界面创建topic

在这里插入图片描述

创建出来的主题

在这里插入图片描述

细看主题的分区之类的
因为分区是4,复制因子是3,所以一共有12个分区;
因为我们弄了3个broker节点。
如图:每个broker节点分配了4分区
在这里插入图片描述

分区的存放位置详解:

在这里插入图片描述



★ 列出和查看主题

▲ 可在CMAK列出和查看主题

▲ 也可使用 kafka-topics.bat 的 --list 选项来查看主题列表:

kafka-topics.bat --list --bootstrap-server localhost:9092

Kafka 的 Broker 之间的地位是平等,没有所谓谁是主Broker,谁是副Broker的概念。所以这里就随便写其中一个broker的端口号来查看主题:
如图,跟 CMAK 显示的一样,是3个主题。
在这里插入图片描述

▲ 可使用 kafka-topics.bat 的 --describe 选项来查看指定主题的详细信息。

kafka-topics.bat --describe --bootstrap-server localhost:9092 --topic 主题名

kafka-topics.bat --describe --bootstrap-server localhost:9092 --topic test2

在这里插入图片描述

不知道怎么查看,不知道有哪些命令的时候,可以直接输:kafka-topics 这个命令来看。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1360420.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

安科瑞变电站综合自动化系统在青岛海洋科技园应用——安科瑞 顾烊宇

摘 要:变电站综合自动化系统是将变电站内的二次设备经过功能的组合和优化设计,利用先进的计算机技术、通信技术、信号处理技术,实现对全变电站的主要设备和输、配电线路的自动监视、测量、控制、保护、并与上级调度通信的综合性自动化功能。 …

深入理解Word Embeddings:Word2Vec技术与应用

目录 前言1 Word2Vec概述2 CBOW模型2.1 CBOW模型简介2.2 基于词袋(bag of word)的假设2.3 One-hot向量编码2.4 分类问题 3 Skip-gram模型3.1 Skip-gram模型简介3.2 目标词预测上下文3.3 词语关联性的捕捉 4 优化Word2Vec模型的方法4.1 负采样和分层softm…

谷歌浏览器启用实时字幕功能

在 Chrome 中使用“实时字幕”功能 - Google Chrome帮助 在 Chrome 中使用“实时字幕”功能 从计算机上的 Chrome 浏览器中,您可以使用“实时字幕”功能自动为视频、播客、游戏、直播、视频通话或其他音频媒体生成字幕。音频和字幕均在本地处理,并会保…

「Verilog学习笔记」编写乘法器求解算法表达式

专栏前言 本专栏的内容主要是记录本人学习Verilog过程中的一些知识点,刷题网站用的是牛客网 timescale 1ns/1nsmodule calculation(input clk,input rst_n,input [3:0] a,input [3:0] b,output [8:0] c);reg [8:0] data1, data2 ; assign c data2 ; always (posed…

【Filament】自定义Blinn Phong光照模型

1 前言 光照元素主要有环境光(ambient)、漫反射光(diffuse)、镜面反射光(specular),基础的光照模型主要有兰伯特(Lambert)光照模型、冯氏(Phong)光…

【Vue3+React18+TS4】1-1 : 课程介绍与学习指南

本书目录:点击进入 一、为什么做这样一门课程? 二、本门课的亮点有哪些? 2.1、轻松驾驭 2.2、体系系统 2.3、高效快捷 2.4、融合贯通 三、课程内容包括哪些? 四、项目实战 《在线考勤系统》 五、课适合哪些同学? 一、为什么做这样一门课程? 近十年内前端…

RocketMQ源码 发送消息源码分析

前言 DefaultMQProducer 是默认生产者组件,是生产者客户端中,绝大部分关于生产者和broker、nameSrv进行网络通信的功能入口。其中,包含发送各种形式(同步、异步、事务、顺序)的消息,针对发送消息部分的实现…

Vue页面传值:Props属性与$emit事件的应用介绍

一、vue页面传值 在Vue页面中传值有多种方式,简单介绍以下两种 通过props属性传递值:父组件在子组件上定义props属性,子组件通过props接收父组件传递的值。通过$emit触发事件传递值:子组件通过$emit方法触发一个自定义事件&#…

Meshlab界面和菜单初步认识

文章目录 界面认识菜单 界面认识 顾名思义,MeshLab即网格实验室,用于处理三维对象,并有着针对网格基于网格操作的各种工具,是一个功能强大的三维几何处理系统。因其开源,直接搜官网下载即可。安装过程无坑&#xff0c…

pycharm调整漂亮的颜色主题

主题样式: 一、设置主题为白色 二、pycharm 如何设置字体颜色 打开pycharm编辑器,file > settings > editor > color scheme > python > 你也可以直接用我资源中的配置好的文件

癌症早筛2023:翻越大山,仍是漫漫征途

撕开一盒试剂盒,拿出采样工具,在采集测试样本后混入试剂,再用试纸测试自身对某种病原体的感染情况。过去一段时间,这个方式帮助很多人尽早明确了新冠、流感、支原体的感染状况,从而加速对症治疗。 也因此,…

计算机进入BIOS - Win/Linux

计算机进入BIOS - Win/Linux 快捷键方法(通用)Win系统方法Linux系统方法 快捷键方法(通用) 此方法为通用方法,适用于任何型号的计算机,包括台式机和笔记本,也包括Win系统和Linux系统。 进入BI…

FA2016AA (MHz范围晶体单元超小型低轮廓贴片) 汽车

随着科技的不断发展,智能汽车逐渐成为人们出行的首选。而其中,频率范围在19.2 MHz ~ 54 MHz的晶体单元超小型低轮廓贴片(FA2016AA)为汽车打造更智能、更舒适、更安全的出行体验。FA2016AA贴片的外形尺寸为2.0 1.6 0.5 mm&#x…

【UnityShader入门精要学习笔记】(2)GPU流水线

本系列为作者学习UnityShader入门精要而作的笔记,内容将包括: 书本中句子照抄 个人批注项目源码一堆新手会犯的错误潜在的太监断更,有始无终 总之适用于同样开始学习Shader的同学们进行有取舍的参考。 文章目录 上节复习GPU流水线顶点着色…

bat批处理文件_命令汇总(2)

文章目录 1、换行2、返回上一级目录cd..3、隐藏指令回显echo off4、开启指令回显echo on5、用关闭echo off指令本身的回显6、echo提示信息 1、换行 cd.. echo. echo. echo. pause2、返回上一级目录cd… 3、隐藏指令回显echo off echo off echo hello1 echo hello2 pause4、开…

【学习笔记】1、数字逻辑概论

1.1 数字信号 数字信号,在时间和数值上均是离散的。数字信号的表达方式:二值数字逻辑和逻辑电平描述的数字波形。 (1) 数字波形的两种类型 数值信号又称为“二值信号”。数字波形又称为“二值位形图”。 什么是一拍 一定的时…

计算机网络期末知识汇总

一、计算机网络概述 1.Internet 的中文译名并不统一。 现有的 Internet 译名有两种: 因特网,这个译名是全国科学技术名词审定委员会推荐的,但却长期未得 到推广; 互联网,这是目前流行最广的、事实上的标准译名。现…

原生微信小程序AR(扫描指定图片显示glb模型)

效果 ar案例视频 准备:需要准备要扫描的图片地址和扫描成功后显示的模型 1.在components创建组件 index.js文件代码 Component({properties: {title: {type: String,value: ,},intro: {type: String,value: ,},hint: {type: String,value: ,},code: {type: String…

呼叫 Mac 用户 | Navicat Premium 原生支持在搭载 Apple Silicon 芯片的电脑上使用

作为桌面端数据库管理开发软件,Navicat Premium 与 Navicat for MongoDB 16.3 (或更高版本) 已原生支持搭载 Apple Silicon 芯片的 Mac 电脑上使用。这是一次重要的技术改进,通过原生技术将大幅提升 Mac 用户在使用 Navicat 过程中的响应速度、流畅性以及…

[C#]使用OpenCvSharp实现二维码图像增强超分辨率

【官方框架地址】 github.com/shimat/opencvsharp 【算法介绍】 借助于opencv自带sr.prototxt和sr.caffemodel实现对二维码图像增强 【效果展示】 【实现部分代码】 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; usin…