安装kafka及一些命令

news2024/11/20 2:44:20

1，先把压缩包放到/opt/install目录下

2，解压，更名

解压：[root@siwen install]# tar -zxf kafka_2.12-2.8.0.tgz -C ../soft

更名：[root@siwen soft]# mv kafka_2.12-2.8.0/ kafka212

3，配置文件

cd opt/soft/kafka212/config/

[root@siwen config]# vim server.properties

21 broker.id=0
36 advertised.listeners=PLAINTEXT://192.168.255.159:9092
//数据存放的位置,这个文件需要mkdir一下
60 log.dirs=/opt/soft/kafka212/data
//日志保存的时长（小时）
103 log.retention.hours=1680
//连接zookeeper
123 zookeeper.connect=192.168.255.159:2181
//设置可以删除topic
137 delete.topic.enable=true

[root@siwen config]# vim /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/soft/kafka212
export PATH=$KAFKA_HOME/bin:$PATH

4,刷新，启动

[root@siwen data]# source /etc/profile

先启动zookeeper：[root@siwen data]# zkServer.sh start

再开启Kafka：开启方式（三种）

[root@siwen data]# kafka-server-start.sh /opt/soft/kafka212/config/server.properties

[root@siwen data]# kafka-server-start.sh -daemon /opt/soft/kafka212/config/server.properties

[root@siwen data]# nohup kafka-server-start.sh /opt/soft/kafka212/config/server.properties &（这个是最常用的）

这样就可以了！！！

Kafka关闭：[root@siwen data]# kafka-server-stop.sh

5，一些命令

创建topic

topic--big分区1，副本1

[root@siwen data]# kafka-topics.sh --create --zookeeper 192.168.255.159:2181 -topic big --partitions 1 --replication-factor 1

topic--bigdata分区3，副本1（因为standalone单机版的，不能超过节点数，所以副本只能是1）

[root@siwen data]# kafka-topics.sh --create --zookeeper 192.168.255.159:2181 -topic bigdata --partitions 3 --replication-factor 1

查看消息队列

[root@siwen data]# kafka-topics.sh --zookeeper 192.168.255.159:2181 --list

查看消息队列详情

[root@siwen data]# kafka-topics.sh --describe --zookeeper 192.168.255.159:2181 --topic bigdata

生产消息

[root@siwen data]# kafka-console-producer.sh --topic bigdata --broker-list 192.168.255.159:9092

输入内容：

消费消息

[root@siwen data]# kafka-console-consumer.sh --bootstrap-server 192.168.255.159:9092 --topic bigdata

// 这是把所有生产出来的消息都显示出来了

[root@siwen data]# kafka-console-consumer.sh --bootstrap-server 192.168.255.159:9092 --topic bigdata --from-beginning

得到以下内容：