Kafka的命令行操作

news2025/1/17 6:17:58

一、topic命令

下面Windows命令需要把cmd路径切换到bin/windows下。

Linux命令只需要在控制台切换到bin目录下即可。

下面都以Windows下的操作为例,在Linux下也是一样的。
在这里插入图片描述

1.1 查看主题命令的参数

kafka-topics.bat		# Windows
kafka-topics.sh			# Linux

在这里插入图片描述

输入以上命令就可以看到主题命令可以附加哪些参数来执行,参数有很多,这里归纳几个常用的:

参数说明
–bootstrap-server连接的 Kafka Broker 主机名称和端口号。
–topic操作的 topic 名称。
–create创建主题。
–delete删除主题。
–alter修改主题。
–list查看所有主题。
–describe查看主题详细描述。
–partitions <Integer: # of partitions>设置分区数。
–replication-factor <Integer: replication factor>设置分区副本。
–config <String: name=value>更新系统默认的配置。

1.2 查看当前服务器中的所有 topic

kafka-topics.bat --bootstrap-server localhost:9092 --list

Kafka默认在9092端口上运行

1.3 创建名为test的topic

kafka-topics.bat --bootstrap-server localhost:9092 --create --partitions 1 --replication-factor 1 --topic test
  • --partitions :指定分区数,参数要根据broker数和数据量决定,有几个broker则可以指定几个分区

  • --replication-factor: 指定副本数,也有根据有几个broker来决定

  • --topic :指定topic名字

1.4 查看 test主题的详情

kafka-topics.bat --bootstrap-server localhost:9092 --describe --topic test

在这里插入图片描述
这里主要注意后面第二排参数的意义即可。

Topic:test:主体的名称是test

Partition:分区编号是0,代表只有一个分区,编号从0开始

Leader:每个分区多个副本的主节点编号,这个在集群中才会是其它值,这里是单机模式,值等于唯一副本编号

Replicas:副本编号,也是从0开始。

1.5 修改分区数

kafka-topics.bat --bootstrap-server localhost:9092 --alter --topic test --partitions 2

注意:分区数只能增加,不能减少

1.6 再次查看 test主题的详情

kafka-topics.bat --bootstrap-server localhost:9092 --describe --topic test

1.7 删除 topic

kafka-topics.bat --bootstrap-server localhost:9092 --delete --topic test

二、生产者命令

下面Windows命令需要把cmd路径切换到bin/windows下。
在这里插入图片描述

2.1 查看生产者命令的参数

kafka-console-producer.bat

常用参数:

参数说明
–bootstrap-server连接的 Kafka Broker 主机名称和端口号。
–topic操作的 topic 名称。

2.2 发送消息

主要就是要说明要连接哪个Kafka服务器或者集群。

kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

在这里插入图片描述

此时光标处就可以输入数据,输入的数据会放入本机kafka 服务器test这个主题当中。

三、消费者命令

在这里插入图片描述

3.1 查看消费者命令的参数

kafka-console-consuer.bat

常用参数:

参数说明
–bootstrap-server连接的 Kafka Broker 主机名称和端口号。
–topic操作的 topic 名称。

3.2 消费消息

1)消费 first 主题中的数据。

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

2)把主题中所有的数据都读取出来(包括历史数据)

kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic test

四、使用示例

这些示例都基于上面的主题test来进行操作。

4.1 生产者生产一条数据

kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

在这里插入图片描述

此时输入一个hello数据然后回车,队列中就加入了一条数据。

4.2 创建一个消费者

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

在这里插入图片描述

发现此时并没有消费到刚才的数据。

4.3 生产者再生产一个数据

就是在刚才的光标下继续输入一个数据,再回车即可。
在这里插入图片描述

此时再看消费者,发现消费者已经消费到了Kafka这条数据。

在这里插入图片描述

这时候就发现了一个问题,消费者只能消费消费者出现之后的数据,之前的历史数据则不能直接被消费。

4.4 把主题中所有的数据都读取出来

如果想要读取历史数据,可以选择把主题中的数据全部读取出来。

kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic test

在这里插入图片描述
执行此命令后,再来新的数据,也会被继续消费,就和普通的消费者一样。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/415441.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

机器学习中的数学——学习曲线如何区别欠拟合与过拟合

通过这篇博客&#xff0c;你将清晰的明白什么是如何区别欠拟合与过拟合。这个专栏名为白话机器学习中数学学习笔记&#xff0c;主要是用来分享一下我在 机器学习中的学习笔记及一些感悟&#xff0c;也希望对你的学习有帮助哦&#xff01;感兴趣的小伙伴欢迎私信或者评论区留言&…

关于人工智能前沿信息获取的精品课程

通过观看在线课程可以很方便掌握获取人工智能前沿信息的方法&#xff0c;本文将介绍一些相关课程。 1. 武汉大学黄如花教授的信息检索中文课程知识面广泛&#xff0c;内容详尽&#xff0c;讲解清晰&#xff0c;课程的视频见课程 56。 ​ 课程 56 武汉大学黄如花教授的《信息检…

图神经网络GNN介绍

目录标题图神经网络基础图基本模块定义图的邻接矩阵点特征的更新&#xff08;重构&#xff09;多层GNN图卷积GCN模型GCN基本思想网络层数&#xff1a;基本计算图注意力机制graph attention networkT-GCN序列图神经网络图相似度图神经网络基础 图基本模块定义 三个特征&#x…

C++ 模板初阶

目录 一、函数模板 1.函数模板的概念 2.函数模板的定义 3.函数模板的原理 4.函数模板的实例化 ①隐式实例化 ②显式实例化 5.非模板函数与同名的函数模板同时存在 6.模板参数的匹配原则 二、类模板 1.类模板的定义格式 2.采用类模板的类外函数的定义格式 3.类模板…

【Linux-计算机网络】-TCP协议通信流程

1.TCP协议通信流程图 1.1TCP协议的通讯流程可以分为以下步骤&#xff1a; 应用层&#xff1a;应用程序通过系统调用API&#xff08;如socket&#xff09;创建一个TCP套接字&#xff08;socket&#xff09;&#xff0c;并设置好相关的选项。 传输层&#xff1a;当应用程序调用c…

机器学习中的数学原理——过拟合、正则化与惩罚函数

通过这篇博客&#xff0c;你将清晰的明白什么是过拟合、正则化、惩罚函数。这个专栏名为白话机器学习中数学学习笔记&#xff0c;主要是用来分享一下我在 机器学习中的学习笔记及一些感悟&#xff0c;也希望对你的学习有帮助哦&#xff01;感兴趣的小伙伴欢迎私信或者评论区留言…

153.网络安全渗透测试—[Cobalt Strike系列]—[生成hta/exe/宏后门]

我认为&#xff0c;无论是学习安全还是从事安全的人多多少少都会有些许的情怀和使命感&#xff01;&#xff01;&#xff01; 文章目录一、后门简介1、hta后门2、exe后门3、宏病毒后门二、生成后门并测试0、测试环境1、生成hta后门并测试2、生成exe后门并测试3、生成宏病毒后门…

分布式监控平台-Zabbix

分布监控平台-Zabbix一、Zabbix概述1、Zabbix是什么&#xff1f;2、Zabbix监控原理二、部署Zabbix服务端&#xff08;端口&#xff1a;10051&#xff09;1、关闭防火墙 修改主机名2、获取Zabbix下载资源3、安装SCL(Software Collections)&#xff0c;修改 Zabbix-front 前端源4…

SQL Server的子查询

SQL Server的子查询一、子查询基础知识二、子查询规则三、限定子查询中的列名四、子查询的多层嵌套五、相关子查询六、子查询类型总结一、子查询基础知识 子查询是嵌套在SELECT、INSERT、UPDATE、DELETE语句中或另一个子查询中的查询。 可以在允许表达式的任何位置使用子查询。…

【MySQL】联合查询

目录 1、前言 2、联合查询 3、内连接和外连接 4、案例演示 4.1 查询篮球哥每科的成绩 4.2 查询所有同学的总成绩及邮箱 5、自连接 5.1 显示所有计算机原理成绩比java成绩高的同学 6、子查询 6.1 查询出篮球哥的同班同学 6.2 多行子查询 7、合并查询 1、前言 在实际…

macOS Monterey 12.6.5 (21G531) 正式版发布,ISO、IPSW、PKG 下载

本站下载的 macOS 软件包&#xff0c;既可以拖拽到 Applications&#xff08;应用程序&#xff09;下直接安装&#xff0c;也可以制作启动 U 盘安装&#xff0c;或者在虚拟机中启动安装。另外也支持在 Windows 和 Linux 中创建可引导介质。 2023 年 4 月 10 日&#xff08;北京…

如何使用Midjourney辅助建筑平面设计和室内设计,常用的建筑平面效果图提示和使用效果展示(内附Midjourney提示词网站)

文章目录一、室内建筑平面设计1.AutoCAD图纸&#xff08;别墅图为例&#xff09;2.平面效果图3.三维平面透视图二、建筑室内设计1.现代简约2.波西米亚风格3.工业风格4.沿海风格5.法国风格6.现代风格7.提示增加颜色倾向8.提示中增加设计师9.其它一些尝试三、好用的Midjourney提示…

unity 全局光照

全局光照由两部分组成&#xff1a;直接光照和间接光照。 直接光照由直接光照射到物体上以后直接弹射到人眼接收到的光照。 间接光照为直接光照照射到物体上又弹射到其它物体上面以后多次弹射才被人眼接收的光照&#xff08;两次及以上的光照统称为间接光照&#xff09; 材质光…

消息队列RocketMQ、Kafka小计

1、消息队列模型 点对点模式 &#xff08;一对一&#xff0c;消费者主动拉取数据&#xff0c;消息收到后消息清除&#xff09;点对点模型通常是一个基于拉取或者轮询的消息传送模型&#xff0c;这种模型从队列中请求信息&#xff0c;而不是将消息推送到客户端。这个模型的特点是…

Observability: Elastic RUM (真实用户监控)演示

在之前的文章 “Elastic RUM&#xff08;真实用户监测&#xff09;浅谈”&#xff0c;我们详细描述了 Elastic RUM &#xff08;Real User Monitor&#xff09;。在今天的文章中&#xff0c;我将详细一步一步地对该文章进行演示以便大家也能和我一样进行展示。在今天的展示中&a…

Docker6种网络配置详解,网络模式应该这么选

文章目录一、Bridge网络模式二、Host网络模式三、Overlay网络模式四、None网络模式五、Macvlan网络模式六、Ipvlan网络模式七、网络模式选择在Docker中&#xff0c;网络配置是一个重要的主题&#xff0c;因为容器需要与其他容器或外部网络进行通信。Docker提供了多种网络模式和…

GPT-4 和ChatGPT API的定价分析

OpenAI发布了他们的ChatGPT新机器学习模型GPT-4。GPT-4是GPT-3的一大进步&#xff0c;GPT-3是当前ChatGPT免费版本(GPT 3.5 Turbo)所运行的模型的基础&#xff0c;今天我们也来凑个热点&#xff0c;研究一下它们的定价 GPT-4新的功能 GPT-4可以在对话中使用图像&#xff0c;并…

2023年美赛春季赛 赛题浅析

由于今年各种各样的原因&#xff0c;导致美赛头一次&#xff0c;据说也将是最后一次&#xff0c;临时调整&#xff0c;加设春季赛。这对于急需建模奖项的大家来说是一个很好的机会。无论怎样的原因&#xff0c;今年美赛我们可能有所遗憾。但&#xff0c;春季赛也许就是弥补遗憾…

在不丢失数据的情况下解锁锁定的 Android 手机的 4 种方法

尽管您可以使用指纹解锁手机&#xff0c;但大多数智能手机都需要 PIN 码、图案或字母数字代码作为主密码。如果您有一段时间没有输入手机密码&#xff0c;很容易忘记。正是由于这个原因&#xff0c;即使您打开了指纹解锁&#xff0c;大多数智能手机也会让您每天至少输入一次 PI…

Linux之磁盘分区、挂载

文章目录一、Linux分区●原理介绍●硬盘说明查看所有设备挂载情况挂载的经典案例二、磁盘情况查询基本语法应用实例磁盘情况-工作实用指令一、Linux分区 ●原理介绍 Linux来说无论有几个分区&#xff0c;分给哪一目录使用&#xff0c;它归根结底就只有一个根目录&#xff0c;…