kafka安装及配置过程
kafka 依赖于 zookeeper，zookeeper的安装可看：ZooKeeper的安装和配置过程
先说明一下，集群主机分别是：192.168.127.129，192.168.127.130，192.168.127.131
安装
kafka可以通过官网下载：https://kafka.apache.org/downloads
下载官方推荐版本kafka_2.13-3.4.0.tgz。
在 /user/local/创建 kafka 目录，将kafka_2.13-3.4.0.tgz通过Xftp工具传到kafka目录
解压kafka_2.13-3.4.0.tgz
[root@localhost kafka]# tar -zvxf kafka_2.13-3.4.0.tgz
kafka配置
当前 kafka_2.13-3.4.0 所在目录：
kafka_2.13-3.4.0 目录结构：
kafka的配置文件在config/server.properties文件中，主要修改参数如下，更具体的参数说明以后再整理下。
broker.id是kafka broker的编号，集群里每个broker的id需不同。我是从0开始。
listeners是监听地址，需要提供外网服务的话，要设置本地的IP地址
log.dirs是日志目录，需要设置。在 kafka_2.13-3.4.0 目录下创建 logs 目录，log.dirs 日志目录指向 kafka_2.13-3.4.0 目录下的 logs 目录。
设置Zookeeper集群地址
num.partitions 为新建Topic的默认Partition数量，partition数量提升，一定程度上可以提升并发性
内部topic配置
内部__consumer_offsets和__transaction_state两个topic，分组元数据的复制因子，为了保证可用性，在生产上建议设置大于1。
default.replication.factor为kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务，是在自动创建topic时的默认副本数，可以设置为3
上面配置只在主机 192.168.127.129 上进行配置，因为要创建kafka集群，所以kafka的所有文件都复制两份，配置文件做相应的修改，尤其是brokerid、listeners 的 IP地址和日志目录。
启动及停止kafka
在/usr/local/kafka/kafka_2.13-3.4.0目录下进行操作
1、启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
-daemon 参数会将任务转入后台运行，输出日志信息将写入日志文件logs/server.log，结尾输出started说明启动成功。
[root@localhost kafka_2.13-3.4.0]# cat logs/server.log
也可以用jps命令，看有没有kafka的进程
2、 停止kafka
bin/kafka-server-stop.sh config/server.properties
测试
kafka和Zookeeper已启动完成
1、 创建topic
bin/kafka-topics.sh --create --topic test --bootstrap-server 192.168.127.129:9092 --replication-factor 3 --partitions 3
2、 查看主题
bin/kafka-topics.sh --list --bootstrap-server 192.168.127.129:9092
3、 发送消息
bin/kafka-console-producer.sh --broker-list 192.168.127.129:9092 --topic test
4、 接收消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.127.129:9092 --topic test --from-beginning
5、 查看特定主题的详细信息
bin/kafka-topics.sh --bootstrap-server 192.168.127.129:9092 --describe --topic test
从中可以看到，test主题分了三个区，复制因子是3。
6、 删除主题
bin/kafka-topics.sh --bootstrap-server 192.168.127.129:9092 --delete --topic test
参考：
https://www.cnblogs.com/zhaoshizi/p/12154518.html
