一文搞定Kafka安装和配置(Windows)
概述
-
Kafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点，Kafka适合离线和在线消息消费，Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失，Kafka构建在Zookeeper同步服务之上，它与Apache Storm和Spark非常好集成，用于实时数据分析
-
可靠性 Kafka使分布式 分区 复制和容错的
-
可扩展性 Kafka消息传递系统轻松缩放 无需停机
-
耐用性 Kafka使用分布式提交日志 这意味着消息会尽可能保留在磁盘上
-
性能 Kafka对于发布和订阅消息都具有高吞吐量 即使存储了许多TB消息 它也保持稳定的性能
-
Kafka非常快，并保证零停机和零数据丢失
安装Zookeeper
下载Zookeeper地址：https://zookeeper.apache.org/releases.html
下载好解压文件
修改zoo_sample.cfg文件为zoo
- 添加环境变量
进入Zookeeper目录 启动zkserver
安装Kafka
下载kafka地址：http://kafka.apache.org/downloads.html
- kafka安装目录下面新建一个logs文件夹 同时修改config文件夹下的server.properties文件
启动Kafka服务
- 在安装目录下面cmd .\bin\windows\kafka-server-start.bat .\config\server.properties
创建topic名称为syn_user的命令
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic syn_user
- 以上命令使针对低版本的Kafka,对于新版本的Kafka 已经不需要依赖Zookeeper来创建topic ,新版本使用 --bootstrap-server替换老版本的 --zookeeper-server
- 新版本的kafka创建topic的方式改变了，不能继续使用–zookeeper创建了，要使用–bootstrap-server创建,需要使用Kafka端口，默认是9092。
.\bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092--replication-factor 1 --partitions 1 Hello_Kafka
- 查看主题命令
.\bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092
发送消息
- 启动生产者
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic Hello_Kafka
- 启动消防者监听消息
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic Hello_Kafka
