【RabbitMQ应用篇】常见应用问题

news2024/9/20 12:33:10

1. 消息幂等性保障

1.1 幂等性介绍

幂等性:这个概念在数学和计算机领域中相当常见,表示可以被应用多次但是不会改变初始应用结果的性质。
应用程序的幂等性:指的是在一个应用系统中,重复调用多次请求(相同参数),对应用系统的影响是相同的。比如说在数据库应用系统当中,使用select操作就是保证幂等的,这里指的是对于系统资源的影响而不是返回的结果,即select操作多次对于系统资源不会产生影响,但是返回结果不一致则是由于其他操作导致的。
MQ的消息幂等性:对于MQ而言,幂等性指的就是同一条消息被多次消费,对系统的影响是相同的
一般来说消息中间件产品的消息传输保障分为以下三个层级:

  1. At most once:最多一次,消息可能会丢失,但是绝对不会重复传输
  2. At least once:最少一次,消息不可能丢失,但是可能会重复传输多次
  3. Exactly once:恰好一次,每条消息肯定会且仅会传输一次

当前RabbitMQ可以支持"最多一次"、“最少一次”,但是很难做到"恰好一次"(别的主流MQ产品也很难做到)通常在业务使用过程中,对于消息可靠性要求较高的建议使用"最少一次",如果消息可靠性要求不高,可以考虑使用"最多一次"

1.2 最少一次导致的幂等性问题


在当前的消息架构图当中,如果采用"最少一次"的方式保证消息的可靠性,就会存在以下两种情况导致消息重复:

  • 当Producer成功将消息投递给Broker并完成持久化之后,Broker根据生产者确认机制会调用confirmCallBack,此时由于网络问题导致消息没有成功传输给Producer,此时Producer会尝试重发消息
  • 当Broker成功将消息投递给对应的Consumer时,根据消息确认机制,Consumer会手动确认basicAck,但是由于网络等问题导致Ack信息没有正确到达Broker,超过指定时间阈值后Broker会重新投递消息

上述两种情况都会出现消费者重复消费同一条信息多次的问题,如果是一个付款业务,如果不保证幂等性就会造成重复扣款,因此针对特殊的业务场景我们需要保证消息的幂等性

1.3 解决方案

MQ当中消息幂等性的解决方案通常有以下几种:

1.3.1 全局唯一ID

  1. 为每一条消息分配一个唯一标识符,比如UUID、全局自增ID、时间戳+ID,总之一定要保证唯一性
  2. 当消费者收到消息之后,先用id判断该消息是否被消费过,如果已经消费过则不进行处理
  3. 如果未消费过,消费者则进行相应业务逻辑处理,处理完毕后将该消息ID保存到数据库中(MySQL或者redis)

以redis为例,我们可以用setnx命令保证幂等性,发送setnx messageID 1,如果setnx返回为0证明该消息已经被消费过则不处理,如果返回为1则正常消费!

1.3.2 业务逻辑判断

此方式就是从实际业务背景出发实现消息的幂等性,例如说检查数据库是否已经存在相应记录,或者使用乐观锁机制避免更新被其他事务修改的数据。
比如在一个支付系统中,收到多个支付订单的请求,则根据业务逻辑查询对应的订单状态,如果是"已支付"状态,则无需重复支付处理!

2. 消息顺序性保障

2.1 顺序性介绍

消息顺序性:指的就是生产者发送消息的顺序和消费者消费消息的顺序是否保持一致的特性
比如生产者发送的消息顺序分别是:msg1、msg2、msg3,那么如果消费者消费消息的顺序也是msg1、msg2、msg3,则说明是实现了顺序性保证的,在很多业务场景中无需保证消息顺序性,比如订单超时取消,但是有些场景需要保证消息顺序性:比如个人信息修改:

如果此时消费者消费消息的顺序为1. 修改姓名为米饭不好吃,2. 修改姓名为米饭好好吃,此时就出现问题了!下面会打乱RabbitMQ消息顺序性的典型场景:

2.2 影响消息顺序性的因素

在RabbitMQ当中,如果只有单个队列、单个消费者的情况,确实能保证消息的顺序性,但是以下场景会破坏消息顺序性:

  1. 配置了多个消费者:此时某个队列中的消息会被多个消费者并行处理,导致消息处理顺序不可控
  2. 消息路由问题:在复杂的路由场景中,可能某个消息会路由到不同的队列中,导致消息被消费的顺序不可控
  3. 网络波动异常:当消息确认的Ack因为网络原因丢失之后,配置消息重新入队、重新投递此时可能会导致消息的乱序到达
  4. 消息重试机制:与网络波动原因类似,在配置消息重试机制之后,当某个消息传输出现异常后,根据重试机制重新投递,造成消息乱序到达
  5. 死信队列:某些消息因为特殊原因被消费者拒绝而放入死信队列,死信队列被消费时无法保证消息的顺序性

2.3 解决方案

消息的顺序性保证分为全局顺序性保证和局部顺序性保证:
局部顺序性保证指的就是在单个队列内部保证消息的顺序,全局顺序性保证就是指在多个队列、多个消费者之间保证消息的顺序性,由于RabbitMQ是一款分布式消息队列产品,提高系统的吞吐量和可用性是其重点,如果针对某种特定业务场景确实需要保证全局顺序性,可以引入业务逻辑进行处理,此处主要针对局部消息顺序性保证:

  1. 方案一:转化为单队列、单消费者模型,这是最简单的一种方式,RabbitMQ内部已经实现好了
  2. 方案二:分区消费,如果一定需要多消费者提高系统吞吐量,此时我们可以使用分区消费,即将一个队列划分为多个分区,每个分区由一个消费者进行处理,以此来保证每个分区内消息的顺序性,可以借助Spring-Cloud-Stream实现
  3. 方案三:消息确认机制,使用手动确认机制,只有当上一条消息消费后显式发送确认,才会发送下一条消息
  4. 方案四:业务逻辑控制:比如在消息中嵌入全局序列号,及时消息乱序到达也能在消费者端根据一定的业务逻辑进行排序消费

3. 消息积压问题

3.1 原因分析

消息积压:指的是在RabbitMQ当中,待处理的消息数量超过了消费者的消费能力,导致消息不断积压在队列当中
通常有以下原因:

  1. 消息生产过快:比如在特定的时间节点比如双十一,生产者会以极高的速率生产消息
  2. 消费者消费能力不足:有以下几种情况
    1. 消费端消费逻辑复杂,耗时久
    2. 消费端代码性能低
    3. 系统资源限制,比如CPU、网络带宽限制了消费者的消息速率
    4. 异常处理不当,消费者在处理消息异常的过程中没有进行消息确认
  3. 网络问题:由于网络的波动导致消费者无法及时接收和确认消息,最终导致消息积压
  4. RabbitMQ服务器性能配置低下

3.2 解决方案

在遇到消息积压问题后我们需要根据产生的原因对症下药:

  1. 提高消费者效率:
    1. 增加消费者机器实例数
    2. 优化业务逻辑处理过程,比如使用多线程优化性能
    3. 当消息发生异常时,转入死信队列或者配置合适的重试策略
    4. 设置prefetchCount,当某个消费者阻塞则转移到其他消费者
  2. 降低生产者效率:
    1. 进行流量控制:根据消费者消费能力动态调整发送速率
    2. 限流:使用限流工具设置发送速率上限
    3. 设置过期时间:如果某个消息长时间没有被处理就转入死信队列
  3. 资源和优化配置:提升RabbitMQ服务器性能,提升网络带宽

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2095631.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Python机器学习】神经网络的组成

目录 感知机 数字感知机 认识偏置 Python版神经元 “课堂时间” 有趣的逻辑学习问题 下一步 代价函数 反向传播算法 求导 误差曲面 不同类型的误差曲面 多种梯度下降算法 Keras:用Python实现神经网络 展望 归一化:格式化输入 神经网络对…

C语言 面向对象编程

注意事项 在使用面向对象编程的时候,我们得问自己:任务中有什么对象,对象应该怎么使用 项目中文档体系 我们可以规划一下任务得文档,可以为每一个对象的类单独编写源码,并发布对应的头文件作为接口,主控…

Android CCodec Codec2 (六)C2InterfaceHelper

通过前面几篇文章的学习,我们知道了Codec2参数结构,以及如何定义一个Codec2参数。接下来的几篇文章我们将简单了解上层是如何请求组件支持的参数、如何配置参数,以及参数是如何反射给上层的。本篇文章我们将了解接口参数实例化。 1、C2Interf…

Linux零基础到精通(二)-vmware虚拟机使用教程及Centos7操作系统安装

目录 前言Linux 操作系统运用领域vmware虚拟机安装与使用电脑硬件环境要求vmware虚拟机软件安装创建一个虚拟机配置vmware的虚拟化网络 通过vmware虚拟机安装操作系统下载Centos7系统镜像安装Centos7操作系统配置网络和主机名称信息配置系统分区软件包选择设置用户密码进入Cent…

入门Java编程的知识点—>静态方法(day11)

重点掌握final关键字特点?final的语法使用?重点掌握静态变量是什么?静态变量的语法与使用?了解方法区内存图执行过程?重点掌握静态方法是什么?静态方法的语法特点与使用?重点掌握常量语法如何定义与使用? final(最终) final可以用于修…

IT运维问题深度剖析与一体化解决方案探索

在当今信息化高速发展的时代,IT运维作为保障企业业务连续性和稳定性的关键环节,其重要性日益凸显。然而,随着企业规模的扩大和业务的复杂化,IT运维面临着诸多挑战和问题。本文旨在深度剖析当前IT运维中的紧迫性问题与需求&#xf…

C++学习, 指针的指针

指针的指针: 是一种间接寻址的形式,指针的指针就是将指针的地址存放在另一个指针里面。一般,指针包含一个变量的地址,当定义一个指向指针的指针时,第一个指针包含了第二个指针的地址,第二个指针指向实际值…

day35-测试之性能测试JMeter的测试报告、并发数计算和性能监控

目录 一、JMeter的测试报告 1.1.聚合报告 1.2.html报告 二、JMeter的并发数计算 2.1.性能测试时的TPS,大都是根据用户真实的业务数据(运营数据)来计算的 2.2.运营数据 2.3.普通计算方法 2.4.二八原则计算方法 2.5.计算稳定性测试并发量 2.6…

Java性能优化传奇之旅--Java万亿级性能优化之Java 性能优化传奇:热门技术点亮高效之路

💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实…

MOELoRA —— 多任务医学应用中的参数高效微调方法

人工智能咨询培训老师叶梓 转载标明出处 在医疗场景中,LLMs可以应用于多种不同的任务,如医生推荐、诊断预测、药物推荐、医学实体识别、临床报告生成等。这些任务的输入和输出差异很大,给统一模型的微调带来了挑战。而且LLMs的参数众多&…

Nginx 维护与应用:最佳实践

文章目录 引言安装与基础维护macOS 上安装 NginxUbuntu 上安装 NginxCentOS 上安装 NginxWindows 上安装 Nginx查看 Nginx 运行状态与日志信息(Linux)版本升级与配置备份(Linux) Nginx 应用场景Web 服务器反向代理动静分离负载均衡…

“线程池中线程异常后:销毁还是复用?”

目录 一、验证execute提交线程池中 测试 结论 二、验证submit提交线程池中 测试 结论 三、源码解析 查看submit方法的执行逻辑 查看execute方法的执行逻辑 为什么submit方法,没有创建新的线程,而是继续复用原线程? 四、总结 需要说…

Android AOSP定制默认输入法为讯飞输入法

Android AOSP定制默认输入法为讯飞输入法 前言: ​ 最近在公司的项目中发现默认的输入法非常不好用,而且默认输入法中英文切换非常麻烦,被用户吐槽定制的AOSP镜像体验不好,于是查找资料,研究了一番,尝试了…

【C++】日期类函数(时间计数器)从无到有实现

欢迎来到HarperLee的学习笔记&#xff01; 博主主页传送门&#xff1a;HarperLee的博客主页 个人语录&#xff1a;他强任他强&#xff0c;清风拂山岗&#xff01; 一、前期准备 1.1 检查构造的日期是否合法 bool Date::CheckDate() {if (_month < 1 || _month > 12|| _d…

vercel免费在线部署TodoList网页应用

参考&#xff1a; TodoList网页应用&#xff1a;https://blog.csdn.net/weixin_42357472/article/details/140909096 1、项目首先上传github 直接vscode自带的上传项目&#xff0c;commit后在创建项目上传即可 2、vercel部署项目 1&#xff09;先注册 2&#xff09;impor…

基于PHP评论区的存储型XSS漏洞

评论区的XSS漏洞是指攻击者在评论区输入恶意脚本&#xff0c;当其他用户浏览该页面时&#xff0c;这些恶意脚本会被执行&#xff0c;从而造成安全威胁。这种漏洞通常出现在网站没有对用户输入进行充分过滤和转义的情况下&#xff0c;为存储型XSS。存储型XSS攻击是指攻击者在目标…

【MCAL】TC397+EB-tresos之SPI配置实战 - (同步/异步)

本篇文章首先从理论讲起&#xff0c;从AUTOSAR规范以及MCAL手册两个不同角度&#xff08;前者偏理论&#xff0c;后者偏实践&#xff09;介绍了SPI模块的背景概念与理论&#xff0c;帮助读者在实际配置之前能有个理论的框架。然后详细的介绍了在TC397平台使用EB tresos对SPI驱动…

数智化粮仓综合监控管理系统设计方案WORD-2023

关注智慧方案文库&#xff0c;学习9000多份智慧城市智慧医院&#xff0c;智慧水利&#xff0c;智能制造&#xff0c;数字化转型&#xff0c;智慧工厂&#xff0c;智慧矿山&#xff0c;智慧交通&#xff0c;智慧粮仓&#xff0c;工业互联网&#xff0c;数字孪生......持续更新热…

SpringCloud Alibaba】(十三)学习 RocketMQ 消息队列

目录 1、MQ 使用场景与选型对比1.1、MQ 的使用场景1.2、引入 MQ 后的注意事项1.3、MQ 选型对比 2、下载、安装 RocketMQ 及 RocketMQ 控制台2.1、下载安装 RocketMQ2.2、测试 RocketMQ 环境2.3、RocketMQ 控制台【图形化管理控制台】2.3.1、下载、安装2.3.2、验证 RocketMQ 控制…

【困难】 猿人学web第一届 第14题 备而后动-勿使有变

调试干扰 进入题目 打开开发者工具会进入一个无限 debugger; 向上查看堆栈&#xff0c;可以找到生成 debugger 的代码段 手动解混淆后可以知道 debugger 生成的方式 (function () {// 函数内的代码是不需要的&#xff0c;因为里面的代码不会执行 }[constructor](debugger)[call…