文章目录
- 01 引言
- 1.1 官网地址
- 1.2 概述简介
- 1.3 kafka与zookeeper
- 02 部署zookeeper
- 2.1 下载组件包
- 2.2 解压压缩包
- （1）解压到任意路径
- （2）解压后的目录创建数据目录data
- 2.3 修改zoo配置
- 2.4 设置系统变量
- 2.5 启动zookeepe服务
- （1）服务端启动
- （2）客户端连接
- 03 部署kafka
- 3.1 下载组件包
- 3.2 解压安装包
- 3.3 修改配置
- 3.4 启动kafka服务端
- 3.5 创建主题
- 3.6 模拟生产者生成消息
- 3.7 启动消费者消费消息
01 引言
1.1 官网地址
官网：https://kafka.apache.org/quickstart
中文官网：https://kafka.apachecn.org/1/#apache-kafka
1.2 概述简介
Apache Kafka 是一个开源分布式事件流平台，已被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序
1.3 kafka与zookeeper
Kafka和Zookeeper之间的关系可以概括为紧密的合作关系。Kafka是一个高性能、可扩展的分布式发布订阅消息系统，主要用于处理大规模的实时数据流。而Zookeeper则是一个分布式协调服务，负责管理和协调分布式系统中的各种资源。
02 部署zookeeper
2.1 下载组件包
官网:https://archive.apache.org/dist/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
网盘：https://pan.baidu.com/s/1TbgZXmK5_O8W4iZiuFicgw?pwd=yyds
2.2 解压压缩包
（1）解压到任意路径
如：E:\apache-zookeeper-3.6.4-bin
（2）解压后的目录创建数据目录data
如：E:\apache-zookeeper-3.6.4-bin\data
2.3 修改zoo配置
配置文件路径：E:\apache-zookeeper-3.6.4-bin\config
（1）zoo_sample.cfg文件改名为zoo.cfg
（2）修改zoo.cfg文件里面的datadir数据路径
dataDir=/tmp/zookeeper
修改为：dataDir=E:\apache-zookeeper-3.6.4-bin\data
2.4 设置系统变量
1.此电脑–属性–高级系统设置–环境变量–新建zookeeper环境变量
变量名：ZOOKEEPER_HOME
变量值：zk地址，如：E:\apache-zookeeper-3.6.4-bin
2.环境变量Path新建追加%ZOOKEEPER_HOME%\bin
2.5 启动zookeepe服务
（1）服务端启动
tips：使用管理员权限启动cmd命令窗口，执行zkServer启动服务
（2）客户端连接
tips：使用管理员权限再重新启动一个新的cmd命令窗口，执行zkCli
03 部署kafka
3.1 下载组件包
官网：https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz
网盘：https://pan.baidu.com/s/1Av4ZwQPUaAntwVxz79Ne9w?pwd=yyds
3.2 解压安装包
（1）解压到任意目录，如：E:\kafka_2.12-3.5.1
（2）解压后创建对应的日志logs目录，如：E:\kafka_2.12-3.5.1\logs
3.3 修改配置
文件路径：E:\kafka_2.12-3.5.1\config\server.properties
log.dirs=/tmp/kafka-logs
改为
log.dirs=E:\kafka_2.12-3.5.1\logs
#listeners=PLAINTEXT://localhost:9092
改为
listeners=PLAINTEXT://localhost:9092
3.4 启动kafka服务端
tips：启动kafka服务端前记得先启动zookeeper服务端
E:
#进入对应的盘
cd kafka_2.12-3.5.1
#启动服务
.\bin\windows\kafka-server-start.bat .\config\server.properties
3.5 创建主题
E:
#进入对应的盘,记得是进入到windows盘，执行bat命令
cd kafka_2.12-3.5.1\bin\windows
#创建主题
kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 5 --topic aurora_test
#查询主题
kafka-topics.bat --bootstrap-server localhost:9092 --list
3.6 模拟生产者生成消息
tips：使用管理员权限新建cmd命令窗口，通过生产者生成消息
E:
#进入对应的盘,记得是进入到windows盘，执行bat命令
cd kafka_2.12-3.5.1\bin\windows
#启动生产者
kafka-console-producer.bat --broker-list localhost:9092 --topic aurora_test
#输入任意数据
aaa
3.7 启动消费者消费消息
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic aurora_test --from-beginning
