文章目录
- rocket mq:延时消息
- rabbit mq:死信队列
- kafka
- 方案:多级分区
- 举例
- 优点
rocket mq:延时消息
rabbit mq:死信队列
消息设定一段时间未消费就进入死信队列,然后消费者监听死信交换机。
kafka
kafka自身没有延时消息的机制,只能手动实现
方案:多级分区
参考RocketMQ支持延迟消息设计,不支持任意时间精度的延迟消息,只支持特定级别的延迟消息,将消息延迟等级分为1s、5s、10s 、30s、1m、2m、3m、4m、5m、6m、7m、8m、9m、10m、20m、30m、1h、2h,共18个级别,只创建一个有18个分区的延时topic,每个分区对应不同延时等级。
举例
当发送延迟5秒消息时,将消息发送到order-topic.delay的第二个分区;
当发送延迟1分钟消息时,将消息发送到order-topic.delay的第五个分区;
当发送延迟1小时消息时,将消息发送到order-topic.delay的第17个分区;
优点
保证了每个分区中的消息都是时间顺序的,只需要顺序消费每个分区,将已经达到发送时间的消息转发到真实topic即可;
如果消息未到达发送时间,则不需要提交offset,因为相同分区上的offset之后的消息也必定是未到发送时间的。
在实现上,为每个进程启动一个KafkaConsumer,使用正则表达式订阅以’.delay’结尾的topic,以此减少线程资源的消耗。在将消息发送到延迟topic时,将延迟等级作为消息key,而将原消息key存储在消息头,等发送到实际topic时再从延迟消息的消息头获取real key以及real topic。