KAFKA-03-kafka 脚本命令使用详解

news2024/11/28 4:57:31

0:脚本总结

1、kafka-acls.sh #配置,查看kafka集群鉴权信息
2、kafka-configs.sh #查看,修改kafka配置

3、kafka-console-consumer.sh #消费命令
4、kafka-console-producer.sh #生产命令
5、kafka-consumer-groups.sh #查看消费者组,重置消费位点等

6、kafka-consumer-perf-test.sh #kafka自带消费性能测试命令
7、kafka-mirror-maker.sh #kafka集群间同步命令
8、kafka-preferred-replica-election.sh #重新选举topic分区leader
9、kafka-producer-perf-test.sh #kafka自带生产性能测试命令
10、kafka-reassign-partitions.sh #kafka数据重平衡命令
11、kafka-run-class.sh #kafka执行脚本

12、kafka-server-start.sh #进程启动
13、kafka-server-stop.sh #进程停止

14、kafka-topics.sh #查询topic状态,新建,删除,扩容

1:–broker-list,–bootstrap-server以及–zookeeper 区别

  • kafka-topic.sh 和 kafka-console-consumer.sh 都是使用 --bootstrap-server
  • kafka-console-producer.sh 使用 --broker-list,本来这里也可以改成使用 bootstrap-server ,但是创建者没改,可能是为了兼容,也可能是忘了;
  • Kafka 从 2.2 版本开始将 kafka-topic.sh 脚本中的 −−zookeeper 参数标注为 “过时”,推荐使用 −−bootstrap-server 参数。
  • 若读者依旧使用的是 2.1 及以下版本,请将下述的 --bootstrap-server 参数及其值手动替换为 --zookeeper zk1:2181,zk2:2181,zk:2181。一定要注意两者参数值所指向的集群地址是不同的。
  • bootstrap.servers 参数,只在启动客户端连接 Kafka 服务时使用。并且即使列表里面填了多个节点,只要有一个可用就行了。

2:主题(topic)命令行操作

1:主题命令行参数 ./bin/kafka-topics.sh

./bin/kafka-topics.sh
  • –bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号。
  • –topic <String: topic> 操作的 topic 名称。
  • –create 创建主题。
  • –delete 删除主题。
  • –alter 修改主题。
  • –list 查看所有主题。
  • –describe 查看主题详细描述。
  • –partitions <Integer: # of partitions> 设置分区数。
  • –replication-factor<Integer: replication factor> 设置分区副本。
  • –config <String: name=value> 更新系统默认的配置。
#指定副本数、pritition数创建topic
./bin/kafka-topics.sh 
	--create 
	--zookeeper $zkhost 
	--replication-factor $replCount 
	--partitions $partitionCount 
	--topic $topicName 

#扩容分区、只能扩,不能缩(涉及数据迁移、合并所以不支持))
./bin/kafka-topics.sh 
		--zookeeper $zkhost 
		--alter 
		--topic $topicName 
		--partitions $partitionCount 

#动态配置topic参数
./bin/kafka-topics.sh 
		--zookeeper $zkhost 
		--alter 
		--config.compression.type=gzip 
		--topic $topicName  
    	--config.compression.type=gzip #修改或添加参数配置
    	--add-config.compression.type=gzip #添加参数配置
    	--delete-config.compression.type=gzip #删除参数配置

#删除topic、需关注配置文件delete.topic.enble=true,否则无法真正删除 
./bin/kafka-topics.sh 
		--zookeeper $zkhost 
		--delete 
		--topic $topicName 
		
#查看topic列表
./bin/kafka-topics.sh 
		--zookeeper $zkhost 
		--list 
		
#查看所有topic详细信息
./bin/kafka-topics.sh 
		--zookeeper $zkhost 
		--describe 
    	--topic $topicname   #指定topic查看详细信息

2:创建topic

现在我们来创建一个名字为“topic01”的Topic,这个topic只有一个partition,并且备份因子也设置为1:

./bin/kafka-topics.sh  
		--bootstrap-server centos:9092 
		--create 
		--partitions 1 
		--replication-factor 1 
		--topic topic01**

在这里插入图片描述

3:查看topic列表

./bin/kafka-topics.sh  
		--bootstrap-server centos:9092 
		--list

在这里插入图片描述

4:查看topic详情

./bin/kafka-topics.sh --bootstrap-server centos:9092 --describe --topic topic01

Topic:topic01	PartitionCount:3	ReplicationFactor:3	Configs:segment.bytes=1073741824
	Topic: topic01	Partition: 0	Leader: 0	Replicas: 0,2,3	Isr: 0,2,3
	Topic: topic01	Partition: 1	Leader: 2	Replicas: 2,3,0	Isr: 2,3,0
	Topic: topic01	Partition: 2	Leader: 0	Replicas: 3,0,2	Isr: 0,2,3

5:修改topic—只能增加分区和副本,不能减少

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-topics.sh 
                    --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                    --alter 
                    --topic topic03 
                    --partitions 2

6:删除topic

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-topics.sh 
                    --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                    --delete 
                    --topic topic03

2:消费者命令 - ./bin/kafka-console-consumer.sh

1:命令参数

./bin/kafka-console-consumer.sh
  • –bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号。
  • –topic <String: topic> 操作的 topic 名称。
  • –from-beginning #为可选参数,表示要从头消费消息
    –from-earliest #从最早的消息开始消费
    –from-latest #从最新的消息开始消费
  • –group <String: consumer group id> 指定消费者组名称。
  • –指定offset #从指定的位置开始消费

在这里插入图片描述

2:消费者订阅topic01

./bin/kafka-console-consumer.sh  
		--bootstrap-server centos:9092 
		--topic topic01
		--group g1 
        --property print.key=true      //是否打印key
        --property print.value=true   //是否打印value
        --property key.separator=,    //key和value之间的分割

在这里插入图片描述

3:指定groupid

# 指定groupid
./bin/kafka-console-consumer.sh 
		--bootstrap-server $nodes 
		--topic $topicName 
		--from-beginning 
		--consumer-property group.id=$groupname 

4:指定分区

# 指定分区
./bin/kafka-console-consumer.sh 
		--bootstrap-server $nodes 
		--topic $topicName 
		--from-beginning 
		--partition $partitionId 

5:新消费者

# 新消费者
./bin/kafka-console-consumer.sh 
		--bootstrap-server $nodes 
		--topic $topicName 
		--new-consumer 
		--from-beginning 
		--consumer.config config/consumer.properties 

6:高级点的用法

# 高级点的用法
./bin/kafka-simple-consumer-shell.sh 
		--brist localhost:9092 
		--topic test 
		--partition 0 
		--offset 1234  
		--max-messages 10 

3:生产者命令 - ./bin/kafka-console-producer.sh

1:生产者命令行参数

 ./bin/kafka-console-producer.sh
  • –broker-list:必传参数,用来指定Kafka的代理地址列表,多个地址间使用逗号隔开
  • –topic <String: topic> 操作的 topic 名称。

2:生产者生产消息

./bin/kafka-console-producer.sh 
		--broker-list centos:9092 
		--topic topic01

在这里插入图片描述

4:消费者组 - bin/kafka-consumer-groups.sh

#消费者列表查询
./bin/kafka-consumer-groups.sh 
		--bootstrap-server $nodes 
		--list 

#显示某个消费组的消费详情
./bin/kafka-consumer-groups.sh 
		--bootstrap-server $nodes 
		--describe 
		--group $groupName 

# 重设消费者组位移
./bin/kafka-consumer-groups.sh 
		--bootstrap-server $nodes 
		--group $groupname 
		--reset-offsets 
		--all-topics 
		--to-earliest --execute  
	    --to-latest --execute # 最新处    
	    --to-offset 2000 --execute # 某个位置
	    --to-datetime 2019-09-15T00:00:00.000 # 调整到某个时间之后的最早位移

# 删除消费者组
./bin/kafka-consumer-groups.sh 
		--zookeeper $zkhost 
		--delete 
		--group $groupname 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1983534.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

二百五十六、MySQL——MySQL新用户设置密码报错

一、目的 在执行脚本创建海豚调度器在MySQL中的数据库以及用户时&#xff0c;发现脚本执行报错 二、原先脚本内容 三、执行报错 [roothurys22 dolphinscheduler]# sh mysql-metastore.sh ------------ 在MySQL中创建元数据库及用户 ------------ mysql: [Warning] Using a…

9、springboot3 vue3开发平台-前端- vue3工程创建

1. 项目说明 技术选择&#xff1a; 使用vue3 TS ElementPlus&#xff0c; 开发使用vite构建 目的&#xff1a; 搭建管理系统框架&#xff0c; 包含动态路由&#xff0c; 动态菜单&#xff0c; 用户&#xff0c;角色&#xff0c; 菜单&#xff0c;权限管理&#xff0c;日志等…

《2024华数杯》C题第四问 模型建立+优化算法

第四问解决思路 目标 在144小时内&#xff0c;外国游客要尽可能游览更多的城市&#xff0c;同时要使门票和交通的总费用尽可能少。 模型与假设 点击获取代码思路文献数据 假设&#xff1a; ○ 游客在每个城市只游览一个评分最高的景点。 ○ 城市之间的交通方式只选择高铁。 ○…

Linux学习笔记9(Linux包管理)

目录 归档包管理 归档 查看归档包 解归档包 压缩包管理 Zip/unzip gzip/gunzip bzip2/bunzip2 源码包安装软件 三大步&#xff1a; 预备步骤&#xff1a;安装依赖的编译库 一、./configure --prefix/usr/local/nginx 二、make 三、make install 软件包安装 配置…

云原生 (1)

一、实验准备 1&#xff0c;准备一台rhel7的主机,并开启主机的图形。 2&#xff0c;关闭vmware DHCP功能。 3&#xff0c;配置好可用IP。 4&#xff0c;关闭火墙。 二、安装图形化kickstart自动安装脚本的工具 1. 基础配置 yum install system-config-kickstart ——安…

短链接生成-短链接-短网址-短链接生成接口-短链接转换接口-短网址URL生成-短链接地址

短网址是一种将长URL缩短的技术&#xff0c;通常由一些服务提供&#xff0c;如Bitly、TinyURL等。通过这种技术&#xff0c;原始的网址会被转换成简短且易于分享的形式&#xff0c;比如http://wq.cn/weds代替原本的https://www.example.com/a Very Long URL。短网址服务会在服务…

与大语言模型Transformer的奇妙旅程

嘿&#xff0c;大家好&#xff01;今天我想和你们聊聊我的一次奇妙旅程——和大语言模型的亲密接触。你们知道吗&#xff1f;这些家伙可不仅仅是冷冰冰的代码&#xff0c;它们简直就像是拥有智慧的伙伴一样&#xff01;想象一下&#xff0c;如果我能和一个超级聪明的大语言模型…

10、springboot3 vue3开发平台-前端-elementplus, axios配置及封装使用, 包含token 存储

1. 准备工作 1.1 清除项目自带页面 删除views和components目录下所有东西&#xff1a; 1.2 修改App.vue <script setup lang"ts"></script><template><router-view></router-view> </template><style scoped></st…

能量柱 成交量 高抛低吸 文华财经指标公式源码 幅图 九稳量化系统 全网最火指标公式源码 期货最牛的买卖指标源码公式

我觉得期货市场就是一个战场的翻版。 但是专注并不是每天盯盘&#xff0c;这样交易容易耗费太多的精神和心力。交易要做趋势&#xff0c;如果萎靡&#xff0c;趋势根本就跟不上。不要用生命&#xff0c;身体去交易&#xff0c;要用思想去交易。做单要做的舒畅&#xff0c;才能…

【SEO优化】做好外部站点优化让你获取更多链接

今天我们就来谈谈外部网站优化&#xff0c;这在搜索引擎优化中的重要性不亚于内部优化。但与此同时&#xff0c;SEO的初学者往往不会给予太多的关注&#xff08;由于各种原因&#xff09;。顺便说一句&#xff0c;这对谷歌的算法非常重要。如果没有高质量和全面的外部优化&…

sql注入总结-1

SQL注入 1.查看类型 如果是字符型注入 我们可以输入?id1\ 弹出的 near 1) LIMIT 0,1 报错类 型为‘&#xff09; near 1)) LIMIT 0,1 报错类型为)) 切在变为?id1\--后恢复正常则可以判断类型 2.id1和id-1的区别 id1&#xff1a;这个条件通常用于查找数据库中 id 列值为 …

ZICO2: 1【附代码】(权限提升)

靶机下载地址&#xff1a; https://vulnhub.com/entry/zico2-1,210/https://vulnhub.com/entry/zico2-1,210/ 1. 主机发现端口扫描目录扫描敏感信息收集 1.1. 主机发现 nmap -sn 192.168.5.0/24|grep -B 2 08:00:27:62:AC:7F 1.2. 端口扫描 nmap -p- 192.168.5.66 1.3. 目…

Effective-Java-Chapter3

https://github.com/clxering/Effective-Java-3rd-edition-Chinese-English-bilingual/blob/dev/Chapter-3 准则一 覆盖 equals 方法时应遵守的约定 重写equals 方法需要满足的特性 Reflexive: For any non-null reference value x, x.equals(x) must return true. 反身性&a…

科普文:微服务之Spring Cloud Alibaba分布式事务组件Seata4种分布式事务模式及其选择

https://zhouxx.blog.csdn.net/article/details/140940976 科普文&#xff1a;微服务之Spring Cloud Alibaba分布式事务组件Seata设计方案-CSDN博客 一、概述 Seata是一款开源的分布式事务解决方案&#xff0c;致力于提供高性能和简单易用的分布式事务服务。Seata提供了AT、…

基于springboot+vue+uniapp的智慧校园管理系统小程序

开发语言&#xff1a;Java框架&#xff1a;springbootuniappJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#…

[网鼎杯 2018]Comment

使用环境为https://adworld.xctf.org.cn/challenges&#xff0c;搜索题目[网鼎杯 2018]Comment。 进入环境&#xff0c;发现为一个留言板&#xff0c;点击发帖试试。 尝试发帖 跳转到登录页面&#xff0c;根据提示使用burp进行暴力破解。 发现payload为666时状态码不同。 尝试…

【Flutter 自定义字体】等宽字体等

一般如果涉及自定义字体、等宽字体&#xff0c;我们通常使用到 Google 提供的&#xff1a;https://fonts.google.com/&#xff08;可能需要魔法&#xff09;&#xff0c; 1 如果是等宽字体&#xff0c;搜索关键词 ”mono“ 就会发现有很多&#xff1a; 2 我们可以直接选择第一…

nuScenes数据集及mmdetection3d中的相关处理

1. nuScence数据集简单介绍 数据集官网&#xff1a;https://www.nuscenes.org 论文&#xff1a;https://arxiv.org/abs/1903.11027 官方github页面&#xff1a;GitHub - nutonomy/nuscenes-devkit: The devkit of the nuScenes dataset. 1.1 坐标系的定义 nuScence数据集共…

cpp学习记录06:文件操作与模板

文件操作 对文件操作需要包含头文件<fstream> 文件类型&#xff1a; 文本文件&#xff1a;以文本ASCII码形式储存 二进制文件&#xff1a;以文本的二进制形式储存 操作文件三大类&#xff1a; ofstream&#xff1a;写操作 ifstream&#xff1a;读操作 fstream&…

以知识图谱结构为Prompt框架,帮LLM快速找出因果关系生成更精准内容

因果关系提取一直是LLM领域一个热门的研究方向&#xff0c;正如我上一篇文章中介绍的&#xff0c;我们在制定决策和科学研究时&#xff0c;往往需要LLM具有非常稳健的因果推理能力。幸运的是&#xff0c;恰巧知识图谱结构作为Prompt(“KG Structure as Prompt”&#xff09;能够…