在使用Spring-kafka时,一般都是通过使用@KafkaListener注解的方法来实现消息监听和消费。今天写一下基于这个注解实现的消费端模型和实现的原理。
Kafka消费模型
我们在使用@KafkaListener注解实现消费者时消费者模型是这样的:
每个@KafkaListener注解对应有一个ConcurrentMessageListenerContainer容器,容器中会创建concurrency数量的 KafkaMessageListenerContainer 容器。默认不配置concurrency参数时这俩容器都是一对一的关系。
KafkaMessageListenerContainer 容器中又包含了一个SimpleAsyncTaskExecutor线程池和KafkaMessageListenerContainer.ListenerConsumer实例任务。
每个KafkaMessageListenerContainer相当于一个消费者线程, 这个线程会不断向 server 端发起 poll 请求来获取消息。
Kafka消费端启动过程源码
在Spring项目启动整体流程中,Kafka消费端启动依赖于Spring生命周期中的inishRefresh() 方法。
KafkaListenerEndpointRegistry
KafkaListenerEndpointRegistry是Kafka消费端启动的源头。
inishRefresh 方法中触发KafkaListenerEndpointRegistry 中复写的钩子函数 start()方法。
该方法会获取项目中@KafkaListener注解的bea