kafka下载地址:Apache Kafka
我这里下载3.5.1
2、通过rz命令上传到linux服务器
3、解压
tar -zxvf kafka_2.12-3.5.1.tgz
4、在config目录下修改配置文件server.properties
主要修改这两处:
#监听的端口
advertised.listeners=PLAINTEXT://自己的ip:9092
# 数据存储的⽬录
log.dirs=/var/opt/kafka/kafka-logs
# 底层存储的数据(日志)留存时长(默认7天)
log.retention.hours=168
# 底层存储的数据(日志)留存量(默认1G)
#log.retention.bytes=1073741824
# 指定zk集群地址
zookeeper.connect=localhost:2181
使用kafka内部zookeeper
./bin/zookeeper-server-start.sh ./config/zookeeper.properties >/dev/null 2>&1 &
启动kafka
./bin/kafka-server-start.sh ./config/server.properties >/dev/null 2>&1 &
启动kafka报错:
# 数据存储的⽬录
log.dirs=,删除该目录下文件,再重启
kafka-topics.sh 创建 topic
./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic myTopic
这将在本地Zookeeper实例上创建一个名为“myTopic”的Topic,使用单个副本和单个分区。
您可以更改副本因子和分区数,具体取决于您的需求。
--replication-factor 副本数
--partitions 分区数
使用旧版命令行报错:
./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic cjj_gps
./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 10 --topic gps_log_topic
查看存在的topic:
./kafka-topics.sh --bootstrap-server localhost:9092 --list