1.主要名词
Broker:消息中间件处理节点,⼀个Kafka节点就是⼀个broker,⼀个或者多个 Broker可以组成⼀个Kafka集群。
partition:通过partition将⼀个topic中的消息分区来存储。这样的好处有多个:分区存储,可以解决统⼀存储⽂件过⼤的问题 提供了读写的吞吐量:读和写可以同时在多个分区中进⾏。
副本:副本是为了为主题中的分区创建多个备份,多个副本在kafka集群的多个broker中,会有⼀个 副本作为leader,其他是follower。
topic:Kafka根据topic对消息进⾏归类,发布到Kafka集群的每条消息都需要指定 ⼀个topic
Producer:消息⽣产者,向Broker发送消息的客户端
Consumer group:既然是一个组,那么组内可以有多个消费者或消费者实例(consumer instance),共享一个公共的ID,即group ID。组内的所有消费者协调在一起来消费订阅主题(subscribed topics)的所有分区(partition)。每个分区只能由同一个消费组内的一个consumer来消费。
Consumer:消息消费者,从Broker读取消息的客户端
2.kafk运行图例(重要)
说明:
1.生产者创建topic同时指定分区数量,副本数量(分区会自动分不到不同的broker,并且每个分区会在不同的broker上有副本)
2.生产者发送消息到topic(可以指定分区,也可以不指定)
3.消费者消费消息(可以指定分区,也可以不指定分区)
3.实例演示
见其他文章