Kafka的使用

查看kafka的topic

./kafka-topics --bootstrap-server 10.1.9.84:9092 --list

查看topic信息

./kafka-topics --bootstrap-server 10.1.9.84:9092 --describe --topic topic_example_1

创建topic 创建topic名为test，分区数为8，副本数为1

./kafka-topics.sh --create --zookeeper 10.128.106.52:2181 --topic test --partitions 8 --replication-factor 1

修改topic

./kafka-topics.sh --zookeeper 10.128.106.52:2181 -alter --partitions 12 --topic test

删除topic

./kafka-topics.sh --zookeeper 10.128.106.52:2181 --delete --topic test

消费者

kafka-console-consumer.sh --bootstrap-server  10.1.9.84:9092 --topic topic_example_1

消费者-group

./kafka-consumer-groups.sh --bootstrap-server 10.1.9.84:9092 --list

消费者-指定group

./kafka-consumer-groups.sh --bootstrap-server 10.1.9.84:9092 --group ai-trace --describe

生产者

kafka-console-producer.sh --broker-list  10.1.9.84:9092 --topic topic_example_1

查看消费者性能

./kafka-consumer-perf-test.sh --broker-list 10.1.9.84:9092  --messages 500000

--topic test-topic

查看生产者性能

./kafka-producer-perf-test.sh --topic test-topic --num-records 500000

--record-size 200 --throughput -1 --producer-props bootstrap.servers=10.1.9.84:9092 acks=-1

验证方案

使用本地自带的验证方案

生产者

kafka-console-producer.sh --broker-list  10.1.9.84:9092 --topic topic_example_1

消费者

kafka-console-consumer.sh --bootstrap-server  10.1.9.84:9092 --topic topic_example_1

使用工具验证方案

生产者

通过jmeter集成kafka配置好对应的

1. kafka_brokers
2. Kafka_topic
3. Kafka_meassage

以上三个属性对于kafka来讲都很重要

消费者

kafka-console-consumer.sh --bootstrap-server  10.1.9.84:9092 --topic topic_example_1

插件

kafkameter-0.2.2 放到jmeter安装路径下的lib/ext中

https://github.com/rahulsinghai/jmeter-backend-listener-kafka/releases/tag/jmeter-backend-listener-kafka-1.0.1