本文章使用三台主机,分别为:master、slave1、slave2
一、解压kafka安装包至目录下
tar -zxvf kafka_2.12-2.4.1.tgz -C /需要放置的路径/
二、修改配置文件 server.properties
该配置在kafka目录的config目录下
#修改文件中id数值
broker.id=0
kafka集群中所有的id不能相同,如果都为0,那么在创建主题的时候会显示分区失败broker个数不够。我这里将master id为0、slave1 id 为1、slave2 id 为2
#指定zookeeper集群
#zookeeper.connect=localhost:2181
zookeeper.connect=master:2181,slave1:2181,slave2:2181
保存配置文件并退出。
三、启动zookeeper集群
启动zookeeper是必须的,否则kafka集群会无法正常运行。zookeeper集群运行配置见本人主页zookeeper分栏。
四、启动kafka集群
在kafka目录下
./bin/kafka-server-start.sh -daemon config/server.properties
-daemon 后台启动
config/server.properties 使用该配置文件启动
五、创建kafka主题、读取kafka主题
1、创建kafka主题
./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 2 --partitions 2 --topic installtopic
--replication-factor 2 分区为2
--partitions 2 备份数位2
--topic 主题名
2、消费kafka主题
./bin/kafka-console-consumer.sh --from-beginning --topic installtopic--bootstrap-server localhost:9092
/bin/kafka-console-consumer.sh:启动 Kafka 控制台消费者。
--from-beginning:从该主题的开始位置读取消息。
--topic hunter:指定要消费的主题名称为 "installtopic"。
--bootstrap-server 集群各个主机:端口:指定连接到 Kafka 集群的所有 broker 的主机名和端口号