消息堆积问题
当生产者发送消息的速度超过了消费者处理的速度,就会导致队列的消息堆积,知道队列存储消息达到上限。最早接受的消息,可能就会成为死信,会被丢弃,这就是消息堆积问题。
解决消费对接问题
1.增加更多的消费者,提高消费者速度
2.在消费则内开启线程池加快消息处理速度
3.使用惰性队列,扩大队列容积,提高堆积上限
惰性队列
rabbitmq3.6.0 版本开始,新增了Lazy Queues概念,也就是惰性队列。
惰性队列的特征如下:
- 接收的消息后直接存入磁盘而非内存
- 消费者要消费消息时才会从磁盘中读取并加载到内存中
- 支持数百万的消息存储
普通的队列会设置一个预警值默认40% 当队列到了40%时,mqBroker 会阻止生产者发送消息。并将队列中消息持久化到磁盘。等腾出空间了再接收消息。所以mq的性能是一个不稳定,波浪形的。 而惰性队列呢在接收消息后会直接写到磁盘,所以不会触发队列的存储预警,性能具有稳定性,延迟性。
正因为惰性队列支持百万的消息存储,所以用它来解决消息堆积问题再好不过了。
惰性队列的实现
1.运行中队列变为惰性队列
2.直接声明队列为惰性队列
惰性队列的优点有哪些?
- 基于磁盘存储,消息上限高
- 米有间歇性的page-out,性能比较稳定
惰性队列的缺点有哪些
- 基于磁盘存储,消息时效性会降低
- 性能受限于磁盘的IO