RocketMQ5.0消息存储<二>_消息存储流程
一、消息存储概览
如下图所示,是消息从生产者发送消息到消费者消费消息的大致流程。
-
step1:生产者发送消息到消息存储Broker端;
-
step2:单一文件Commitlog存储所有主题消息,确保顺序写入,提高吞吐量;
-
step3:消息通过堆外缓存,Commit消息写入文件内存映射,然后Flush写入磁盘;
-
step4:消息Flush磁盘后,把消息转发到ConsumeQueue、IndexFile供消费者消费;
-
step5:主题下消费队列内容相同,但是一个消费队列在同一时刻只能被一个消费者消费;
-
step6:消费者根据集群/广播模式、PUSH/PULL模式来消费消息。
如何实现顺序存储的呢?通过org.apache.rocketmq.store.PutMessageLock接口,在消息追加文件内存映射时,加锁实现存储消息串行。消息存储模式:同步、异步。默认异步存储,但是无论同步还是异步,最终执行存储方法是org.apache.rocketmq.store.CommitLog#asyncPutMessage(异步执行,提高存储效率),而