Kafka【一】Windows下安装单节点Kafka

news2024/11/16 14:02:33

在这里插入图片描述

① 下载

下载软件安装包：kafka_2.12-3.6.1.tgz，下载地址：https://kafka.apache.org/downloads

这里的3.6.1，是Kafka软件的版本。截至到2023年12月24日，Kafka最新版本为3.6.1。
2.12是对应的Scala开发语言版本。Scala2.12和Java8是兼容的，所以可以直接使用。
tgz是一种linux系统中常见的压缩文件格式，类似与windows系统的zip和rar格式。所以Windows环境中可以直接使用压缩工具进行解压缩。

② 解压

在这里插入图片描述

bin linux系统下可执行脚本文件
bin/windows windows系统下可执行脚本文件
config 配置文件
libs 依赖类库
licenses 许可信息
site-docs 文档
logs 服务日志

注意：默认解压后名字如图所示kafka_2.12-3.6.1，我们这里修改为 kafka3.6.1

③ 启动Zookeeper

当前版本Kafka软件内部依然依赖ZooKeeper进行多节点协调调度，所以启动Kafka软件之前，需要先启动ZooKeeper软件。不过因为Kafka软件本身内置了ZooKeeper软件，所以无需额外安装ZooKeeper软件，直接调用脚本命令启动即可。具体操作步骤如下：

进入Kafka解压缩文件夹的config目录，修改zookeeper.properties配置文件

# 修改dataDir配置，用于设置ZooKeeper数据存储位置，该路径如果不存在会自动创建。
dataDir=D:/softinstall/kafka3.6.1/data/zk

打开DOS窗口，进入D:\softinstall\kafka3.6.1\bin\windows目录

ZooKeeper软件的指令为Windows环境下的bat批处理文件。调用启动指令时，需要传递配置文件的路径

# 因为当前目录为windows，所以需要通过相对路径找到zookeeper的配置文件。
zookeeper-server-start.bat ../../config/zookeeper.properties

在这里插入图片描述

为了操作方便，也可以在kafka解压缩后的目录中，创建脚本文件zk.cmd。

# 调用启动命令，且同时指定配置文件。
call bin/windows/zookeeper-server-start.bat config/zookeeper.properties

在这里插入图片描述

data以及里面的两个文件夹均为用户自己创建：

D:\softinstall\kafka3.6.1\data\zk
D:\softinstall\kafka3.6.1\data\kafka

④ 启动kafka

进入Kafka解压缩文件夹的config目录，修改server.properties配置文件

# 配置Kafka数据的存放位置，如果文件目录不存在，会自动生成。
log.dirs=D:/softinstall/kafka3.6.1/data/kafka

打开DOS窗口，进入D:\softinstall\kafka3.6.1\bin\windows目录

# 因为当前目录为windows，所以需要通过相对路径找到kafka的配置文件。
kafka-server-start.bat ../../config/server.properties

同样我们可以参考上述zk.cmd创建kafka.cmd：

# 调用启动命令，且同时指定配置文件。
call bin/windows/kafka-server-start.bat config/server.properties

在这里插入图片描述

DOS窗口中，输入jps指令，查看当前启动的软件进程

C:\Users\Janus>jps
14308
22696 RemoteMavenServer36
34104 Jps
7160 Launcher
8856 Kafka
17452 QuorumPeerMain

这里名称为QuorumPeerMain的就是ZooKeeper软件进程，名称为Kafka的就是Kafka系统进程。此时，说明Kafka已经可以正常使用了。

启停顺序：

启动：Zookeeper-kafka
关闭：kafka-Zookeeper

⑤ Windows下命令行操作kafka

进入D:\softinstall\kafka3.6.1\bin\windows>目录
创建topic

## --topic jane1 表示名称，--create表示动作
kafka-topics.bat --bootstrap-server localhost:9092 --topic jane1 --create
Created topic jane1.

查看已经创建的

# 查看已经创建的
kafka-topics.bat --bootstrap-server localhost:9092 --list
jane1

查看某个topic详情

kafka-topics.bat --bootstrap-server localhost:9092 --topic jane1 --describe
Topic: jane1    TopicId: 44pIWicuTSeajHriITHyXg PartitionCount: 1       ReplicationFactor: 1    Configs:
        Topic: jane1    Partition: 0    Leader: 0       Replicas: 0     Isr: 0

修改topic分区

kafka-topics.bat --bootstrap-server localhost:9092 --topic jane1 --alter --partitions 2

#再次查看
kafka-topics.bat --bootstrap-server localhost:9092 --topic jane1 --describe
Topic: jane1    TopicId: 44pIWicuTSeajHriITHyXg PartitionCount: 2       ReplicationFactor: 1    Configs:
        Topic: jane1    Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: jane1    Partition: 1    Leader: 0       Replicas: 0     Isr: 0