[RabbitMQ] RabbitMQ常见应用问题

news2024/12/26 19:24:07

🌸个人主页:https://blog.csdn.net/2301_80050796?spm=1000.2115.3001.5343
🏵️热门专栏:
🧊 Java基本语法(97平均质量分)https://blog.csdn.net/2301_80050796/category_12615970.html?spm=1001.2014.3001.5482
🍕 Collection与数据结构 (93平均质量分)https://blog.csdn.net/2301_80050796/category_12621348.html?spm=1001.2014.3001.5482
🧀线程与网络(96平均质量分) https://blog.csdn.net/2301_80050796/category_12643370.html?spm=1001.2014.3001.5482
🍭MySql数据库(93平均质量分)https://blog.csdn.net/2301_80050796/category_12629890.html?spm=1001.2014.3001.5482
🍬算法(97平均质量分)https://blog.csdn.net/2301_80050796/category_12676091.html?spm=1001.2014.3001.5482
🍃 Spring(97平均质量分)https://blog.csdn.net/2301_80050796/category_12724152.html?spm=1001.2014.3001.5482
🎃Redis(97平均质量分)https://blog.csdn.net/2301_80050796/category_12777129.html?spm=1001.2014.3001.5482
🐰RabbitMQ(97平均质量分) https://blog.csdn.net/2301_80050796/category_12792900.html?spm=1001.2014.3001.5482
感谢点赞与关注~~~
在这里插入图片描述

目录

  • 1. 幂等性保障
    • 1.1 幂等性介绍
    • 1.2 解决方案
  • 2. 顺序性保障
    • 2.1 顺序性保障
    • 2.2 顺序性保障方案
  • 3. 消息积压问题
    • 3.1 原因分析
    • 3.2 解决方案

该章节中会涉及到RabbitMQ消息处理中可能出现的各种问题以及解决方案,所以这一章也是面试中的重点.

1. 幂等性保障

1.1 幂等性介绍

幂等性是数学和计算机科学中某些运算的性质,它们可以多次被应用,而不会改变初始的结果.

  1. 应用程序的幂等性
    在应用程序中,幂等性就是指对一个系统的资源进行重复调用,不论多少次请求,这些请求对系统的影响都是相同的效果.
    比如数据库的select操作,不同时间两次查询的结果不可能不同,但是这个操作是符合幂等性的,需要注意的是,幂等性是对资源的影响,而不是返回结果.查询数据库对数据资源基本不会产生影响.再比如数据库的update操作就不是幂等性的,它会对数据库中的资源造成修改,操作前后的数据资源是不一样的.
    再比如我们在之前的网络通信中也提到过
  2. MQ的幂等性
    对于MQ而言,幂等性是指同一条消息多次消费,对系统的影响是相同的.
    一般消息中间件的消息传输分为三个层级:
    1. At most once:最多⼀次.消息可能会丢失，但绝不会重复传输.(可靠性比较低)
    2. At least once:最少⼀次.消息绝不会丢失，但可能会重复传输.(可靠性高)
    3. Exactly once:恰好⼀次.每条消息肯定会被传输⼀次且仅传输⼀次.

RabbitMQ支持的是"最多⼀次"和"最少⼀次".
对于恰好一次,目前市面上的消息中间件都做不到这一点,这会对消息中间件的性能产生恒大的影响.
在业务场景中,对于消息可靠性要求比较高的场景,建议使用最少一次,以防止消息丢失. "最多⼀次"会因为消息发送过程中,网络问题,消费出现异常等种种原因,导致消息丢失.
以下场景可能会导致消息重复发送:
- 发送时消息重复: 当一条消息被成功发送到服务器并完成持久化,此时出现了网络闪断或者客户端宕机,导致服务端对客户端应答失败.如果此时Producer意识到消息发送失败并尝试再次发送消息,Consumer后续会收到两条内容相同并且Message ID也相同的消息.(发送者确认没有得到应答)
- 投递时消息重复: 消息消费的场景下,消息已投递到Consumer并完成业务处理,当客户端给服务端反馈应答的时候网络闪断. 为了保证消息至少被消费⼀次,云消息队列RabbitMQ版的服务端将在网络恢复后次尝试投递之前已被处理过的消息,Consumer后续会收到两条内容相同并且Message ID也相同的消息.(消息确认没有得到应答)
在这里插入图片描述

1.2 解决方案

MQ消费者的幂等性的解决方法,一般有以下几种:

  1. 全局唯一ID
    为每条消息分配一个唯一标识符,比如UUID或者MQ消息中唯一的ID,但是一定要保证唯一性.
    消费者接收到消息之后,先用该ID判断该消息是否已经消费过,如果已经消费过,则放弃处理.
    如果没有消费过,消费者开始处理消息,业务处理成功之后,把唯一的ID保存起来(数据库或Redis等).

可以使用Redis的原子性操作,比如使用Set操作,在后面加上nx命令(存在的时候不设置)来保证幂等性,将唯一的id设置在Redis中,如果返回1,则说明之前没有设置过,正常消费,如果返回的是0,说明之前这个id被保存过,即证明这条消息已经被消费过了,不再进行消费,自动抛弃.

  1. 业务逻辑判断
    在业务逻辑层面进行判断以处理幂等性.
    例如: 通过检查数据库中是否已经存在相关的数据记录,或者使用乐观锁机制来避免更新已经被其他的事务修改的数据,再或者在处理消息之前,先检查业务相关的状态,确保消息对应的操作尚未执行,然后才进行处理,具体根据业务场景来处理.

2. 顺序性保障

2.1 顺序性保障

消息的顺序性是指消费者消费的消息和生产者发送消息的顺序是一致的.很多业务场景下,消息的消费是不用保证顺序的,但有些业务场景,可能存在多个消息顺序处理的情况.比如用户信息修改,对同⼀个用户的同⼀个资料进行修改,需要保证消息的顺序.
在这里插入图片描述
哪些情况可能会打破RabbitMQ的顺序性呢?下面介绍几种常见的场景:

  1. 多个消费者:当一个队列配置了多个消费者的时候,消息可能会被不同的消费者并行处理,而有的消费者处理消息快,有的消费者处理消息慢,从而导致消息处理的顺序性无法保证.
  2. 网络波动或者异常: 在消息传递的过程中,如果出现网络波动或者异常,可能会导致ACK丢失,从而会让消息重新加入队列中,造成顺序性问题.
  3. 消息重试: 如果消费者在处理消息之后未能及时发送确认,或者确认消息在传输过程中丢失,那么MQ可能会认为消息未被成功消费而进行重试,这也可能导致消息处理的顺序性问题.
  4. 消息路由问题: 在复杂的路由场景中,消息可能会根据路由键被发送到不同的队列中,从而无法保证全局的顺序性.
  5. 死信队列: 消息因为某些原因,进入了死信队列,死信队列被消费之后无法保证消息的顺序和生产者发送消息的顺序一致.

2.2 顺序性保障方案

消息顺序性保障分为: 局部顺序性保障和全局顺序性保障方案
局部顺序性通常指的是在单个队列内部保证消息的顺序.全局顺序性是指在多个队列或多个消费者之间保证消息的顺序.
接下来说一下消息的顺序性保障的常见策略:(注意,下面的处理方式在一些场景之下如果只使用一个是无法保证顺序性的,我们需要把这些方案进行综合运用,才可以保证顺序性)

  1. 单队列单消费者
    最简单的方法是使用单个队列,并有单个消费者进行处理,同⼀个队列中的消息是先进先出的,这是RabbitMQ来帮助我们保证的.
  2. 分区消费
    单个消费者的吞吐太低了,当需要多个消费者以提高处理速度时,可以使用分区消费.把⼀个队列分割成多个分区,每个分区由一个消费者处理,以此来保持每个分区内消息的顺序性.(针对一个队列有多个消费者的场景)
    但是RabbitMQ本身并不支持单个队列的分区消费,需要业务逻辑实现,或者借助Spring-cloud-Stream来实现.可参考:https://docs.spring.io/spring-cloud-stream/reference/rabbit/rabbit_partitions.html
  3. 消息确认机制
    使用手动消息确认机制,消费者在处理完一条消息之后,显示地发送确认,这样RabbitMQ才会移除并继续发送下一条消息.
  4. 业务逻辑控制
    在某些情况下,即使消息乱序到达,也可以在业务逻辑层面实现顺序控制.比如通过在消息中嵌入序列号,并在消费时根据这些信息来处理.

RabbitMQ本身并不保证全局的严格顺序性,特别是在分布式系统中,在实际应用开发中,我们需要根据具体的业务需求,可能需要结合多种策略来实现所需要的顺序性保证.

3. 消息积压问题

3.1 原因分析

消息积压指的是在消息队列中,等待处理的消息数量超过了消费者的处理能力,导致消息在队列中不断堆积的现象.
通常有以下的几种原因:

  1. 消息生产过快: :在高流量或者高负载的情况下,生产者以极高的速率发送消息,超过了消费者的处理能力.
  2. 消费者处理能力不足: 消费者处理消息的速度跟不上消息生产的速度,也会导致消息在队列中积压.
    可能得原因有:
  1. 消费端业务逻辑复杂,耗时长.
  2. 消费端代码性能低
  3. 系统资源限制,如CPU,内存,磁盘等也会限制消费者处理消息的效率.
  4. 异常处理不当,消费者在处理消息的时候出现异常,消息无法被正确处理和确认导致消息会进行重试,从而导致消息的积压.
  1. 网络问题: 因为网络延迟或者不稳定,消费者无法及时接收或确认消息,最终导致消息积压.
  2. RabbitMQ服务器配置偏低

3.2 解决方案

遇到消息积压的时候,首先要分析消息积压造成的原因.根据原因来调整策略.
主要从以下几个方面来提升效率:

  1. 提高消费者效率
    • 增加消费者实例数量,比如新增机器.
    • 优化业务逻辑,比如使用多线程并发处理业务.
    • 设置prefetchCount,当一个消费者处于繁忙阶段的时候,把消息转发到其他未阻塞的消费者.
    • 消息发生异常时,设置合适的重试策略,或者是转入到死信队列.
  2. 限制生产者速率
    • 流量控制: 在消息生产者中实现流量控制,根据消费者处理能力动态调整发送速率.
    • 限流: 使用限流工具,为消息发送速率设置一个上限.
    • 设置过期时间:,如果消息过期未消费,可以配置死信队列,以免消息丢失,并减少对主队列的压力.
  3. 资源与配置优化.比如升级RabbitMQ服务器硬件,调整RabbitMQ的配置参数.

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2254387.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

HarmonyOS 5.0应用开发——UIAbility生命周期

HarmonyOS 5.0应用开发——UIAbility生命周期

【高心星出品】 文章目录 UIAbility组件创建AbilityUIAbility的生命周期Create状态WindowStageCreate状态Foreground和Background状态WindowStageWillDestroy状态Destroy状态 UIAbility组件 UIAbility组件是一种包含UI的应用组件，主要用于和用户交互。 UIAbility组…
阅读更多...
Coovally CPU版：用AI模型微调技术革新数据标注方式

Coovally CPU版：用AI模型微调技术革新数据标注方式

文章目录 前言一、为什么选择Coovally CPU版？1.微调模型更懂你的数据2.省时省力的标注流程3.零GPU门槛，适配性强 二、教程：如何用Coovally CPU版完成高效数据标注？第一步：安装Coovally CPU版第二步：加载数据…
阅读更多...
Lua元表和元方法的使用

Lua元表和元方法的使用

元表是一个普通的 Lua 表，包含一组元方法，这些元方法与 Lua 中的事件相关联。事件发生在 Lua 执行某些操作时，例如加法、字符串连接、比较等。元方法是普通的 Lua 函数，在特定事件发生时被调用。 元表包含了以下元方法&#xff1…
阅读更多...
【初阶数据结构与算法】二叉树链式结构的定义与实现万字笔记(附源码)

【初阶数据结构与算法】二叉树链式结构的定义与实现万字笔记(附源码)

文章目录 一、二叉树链式结构的定义二、二叉树链式结构功能的基本实现1.链式二叉树的手动创建2.链式二叉树的前中后序遍历前序遍历中序遍历后序遍历 3.链式二叉树节点的个数4.链式二叉树叶子节点的个数5.链式二叉树的高度/深度6.链式二叉树第k层节点的个数7.链式二叉树的查找8.…
阅读更多...
前端框架的选择与反思：在简约与复杂之间寻找平衡

前端框架的选择与反思：在简约与复杂之间寻找平衡

在当今互联网时代，前端开发已经成为web应用构建中不可或缺的一环。从最初的静态HTML页面，到如今复杂的单页应用（SPA），前端技术的发展让我们见证了Web应用的蓬勃发展。然而，伴随着技术的进步，一个…
阅读更多...
SABO-CNN-BiGRU-Attention减法优化器优化卷积神经网络结合双向门控循环单元时间序列预测，含优化前后对比

SABO-CNN-BiGRU-Attention减法优化器优化卷积神经网络结合双向门控循环单元时间序列预测，含优化前后对比

SABO-CNN-BiGRU-Attention减法优化器优化卷积神经网络结合双向门控循环单元时间序列预测，含优化前后对比 目录 SABO-CNN-BiGRU-Attention减法优化器优化卷积神经网络结合双向门控循环单元时间序列预测，含优化前后对比预测效果基本介绍模型描述程序设计参…
阅读更多...
SpringBoot期末知识点大全

SpringBoot期末知识点大全

一、学什么 IoC AOP：面向切面编程。 事物处理 整合MyBatis Spring框架思想！ 二、核心概念 问题：类之间互相调用/实现，导致代码耦合度高。 解决：使用对象时，程序中不主动new对象，转换为由外部提…
阅读更多...
撰写技术文档的关键步骤和核心要点

撰写技术文档的关键步骤和核心要点

编写项目的技术文档是一个重要且细致的任务，它不仅有助于项目的当前开发团队理解系统的结构和工作原理，还为未来的维护和扩展提供了宝贵的参考资料。以下是撰写技术文档时应遵循的几个关键步骤和组成部分： 1. 概述 项目简介：简要…
阅读更多...
【人工智能】Transformers之Pipeline（二十八）：视觉问答（visual-question-answering）

【人工智能】Transformers之Pipeline（二十八）：视觉问答（visual-question-answering）

​​​​​​​ 目录 一、引言 二、视觉问答（visual-question-answering） 2.1 概述 2.2 dandelin/ViLT 2.3 pipeline参数 2.3.1 pipeline对象实例化参数 2.3.2 pipeline对象使用参数 2.3.3 pipeline对象返回参数 2.4 pipeline实战 2.5 模型…
阅读更多...
【Vue3】详解Vue3的ref与reactive：两者的区别与使用场景

【Vue3】详解Vue3的ref与reactive：两者的区别与使用场景

文章目录 引言Moss前沿AIVue 3响应式系统概述ref与reactive的基础概念ref与reactive的区别1. 数据类型2. 访问方式3. 响应式追踪机制4. 可变性5. 使用场景表格对比 ref与reactive的使用场景1. 选择ref的场景2. 选择reactive的场景 性能分析与优化建议1. 响应式系统的性能优势2.…
阅读更多...
8. 一分钟读懂“代理模式”

8. 一分钟读懂“代理模式”

8.1 模式介绍 代理模式是一种结构型设计模式，它通过提供一个代理对象来替代对另一个对象（真实对象）的访问。代理对象与真实对象实现相同的接口，并通过代理类对真实对象的访问进行控制，可以在调用前后执行附加操作&…
阅读更多...
网络原理（HPPT/HTTPS）

网络原理（HPPT/HTTPS）

应用层（重点） HTTP协议 HTTP 是⼀个⽂本格式的协议. 可以通过 Chrome 开发者⼯具或者 Fiddler 抓包, 分析 HTTP 请求/响应的细节. Fiddler 抓包 左侧窗⼝显⽰了所有的 HTTP请求/响应, 可以选中某个请求查看详情. • 右侧上⽅显⽰了 HTTP 请求的报⽂内容…
阅读更多...
随时随地掌控数据：如何使用手机APP远程访问飞牛云NAS

随时随地掌控数据：如何使用手机APP远程访问飞牛云NAS

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…
阅读更多...
计算机毕业设计Python+Spark医生推荐系统 医生门诊预测系统 医生数据分析 医生可视化 医疗数据分析 医生爬虫 大数据毕业设计 机器学习

计算机毕业设计Python+Spark医生推荐系统 医生门诊预测系统 医生数据分析 医生可视化 医疗数据分析 医生爬虫 大数据毕业设计 机器学习

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…
阅读更多...
golang实现单例日志对象

golang实现单例日志对象

原文地址：golang实现单例日志对象 – 无敌牛 欢迎参观我的个人博客：无敌牛 – 技术/著作/典籍/分享等 介绍 golang有很多日志包，通过设置和修改都能实现日志轮转和自定义日志格式。例如：log、zap、golog、slog、log4go 等等。 …
阅读更多...
SpringBoot该怎么使用Neo4j - 优化篇

SpringBoot该怎么使用Neo4j - 优化篇

文章目录 前言实体工具使用 前言 上一篇中，我们的Cypher都用的是字符串，字符串拼接简单，但存在写错的风险，对于一些比较懒的开发者，甚至觉得之间写字符串还更自在快速，也确实，但如果在后期需要…
阅读更多...
【Calibre-Web】Calibre-Web服务器安装详细步骤（个人搭建自用的电子书网站，docker-compose安装）

【Calibre-Web】Calibre-Web服务器安装详细步骤（个人搭建自用的电子书网站，docker-compose安装）

文章目录 一、Calibre-Web和Calibre的区别是什么？使用场景分别是什么？二、服务器安装docker和docker-compose三、服务器安装Calibre-Web步骤1、安装完成后的目录结构2、安装步骤3、初始配置4、启动上传 四、安装Calibre五、docker-compose常用命令 最近想…
阅读更多...
easyexcel 导出日期格式化

easyexcel 导出日期格式化

1.旧版本 在新的版本中formate已经被打上废弃标记。那么不推荐使用这种方式。 2.推荐方式 推荐使用另外一种方式【 Converter 】代码如下，例如需要格式化到毫秒【yyyy-MM-dd HH:mm:ss SSS】级别 创建一个公共Converter import com.alibaba.excel.converters.Conv…
阅读更多...
ABAP - 系统集成之SAP的数据同步到OA（泛微E9）服务器数据库

ABAP - 系统集成之SAP的数据同步到OA（泛微E9）服务器数据库

需求背景 项目经理说每次OA下单都需要调用一次SAP的接口获取数据，导致效率太慢了，能否把SAP的数据保存到OA的数据库表里，这样OA可以直接从数据库表里获取数据效率快很多。思来想去，提供了两个方案。 在集群SAP节点下增加一个SQL S…
阅读更多...
40分钟学 Go 语言高并发：【实战】分布式缓存系统

40分钟学 Go 语言高并发：【实战】分布式缓存系统

【实战课程】分布式缓存系统 一、整体架构设计 首先，让我们通过架构图了解分布式缓存系统的整体设计： 核心组件 组件名称功能描述技术选型负载均衡层请求分发、节点选择一致性哈希缓存节点数据存储、过期处理内存存储 持久化同步机制节点间数据同步…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023