SpringBoot项目中的消费端实现而言,Spring-kafka没有用原生的ConsumerConnector,,而是借助原生client的拉取消息功能做了自己的消费模型的实现,提供了@KafkaListener注解这种方式实现消费。
开发中在使用Spring-kafka时,一般也都是通过使用@KafkaListener注解的方法来实现消息监听和消费。本文就是介绍基于这个注解实现的消费端模型原理。
Kafka消费模型
我们在使用@KafkaListener注解实现消费者时消费者模型是这样的:
每个@KafkaListener注解对应有一个ConcurrentMessageListenerContainer容器,容器中会创建concurrency数量的 KafkaMessageListenerContainer 容器。默认不配置concurrency参数时这俩容器都是一对一的关系。
KafkaMessageListenerContainer 容器中又包含了一个SimpleAsyncTaskExecutor线程池和KafkaMessageListenerContainer.ListenerConsumer实例任务。
每个KafkaMessageListenerContainer相当于一个消费者线程, 这个线程会不断向 server 端发起 poll 请求来获取消息。
Kafka消费端启动过程源码
在Spring项目启动整体流程中,Kafka消费端启动依赖于Spring生命周期中的inishRefresh() 方法。
KafkaListenerEndpointRegistry
KafkaLis