MQ（消息队列）相关知识

news2024/11/23 3:09:05

1. 什么是mq

消息队列是一种“先进先出”的数据结构
在这里插入图片描述

2. 应用场景

其应用场景主要包含以下3个方面

  • 应用解耦

系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。

在这里插入图片描述
使用消息队列解耦合，系统的耦合性就会提高了。比如物流系统发生故障，需要几分钟才能来修复，在这段时间内，物流系统要处理的数据被缓存到消息队列中，用户的下单操作正常完成。当物流系统回复后，
在这里插入图片描述

  • 流量削峰
    在这里插入图片描述
    应用系统如果遇到系统请求流量的瞬间猛增，有可能会将系统压垮。有了消息队列可以将大量请求缓存起来，分散到很长一段时间处理，这样可以大大提到系统的稳定性和用户体验。
    在这里插入图片描述
    一般情况，为了保证系统的稳定性，如果系统负载超过阈值，就会阻止用户请求，这会影响用户体验，而如果使用消息队列将请求缓存起来，等待系统处理完毕后通知用户下单完毕，这样总不能下单体验要好。
    处于经济考量目的：
    业务系统正常时段的QPS如果是1000，流量最高峰是10000，为了应对流量高峰配置高性能的服务器显然不划算，这时可以使用消息队列对峰值流量削峰
  • 数据分发
    在这里插入图片描述
    通过消息队列可以让数据在多个系统更加之间进行流通。数据的产生方不需要关心谁来使用数据，只需要将数据发送到消息队列，数据使用方直接在消息队列中直接获取数据即可。
    3. MQ的优点和缺点
    优点：解耦、削峰、数据分发
    在这里插入图片描述
    缺点包含以下几点：
  • 系统可用性降低
    系统引入的外部依赖越多，系统稳定性越差。一旦MQ宕机，就会对业务造成影响。
    如何保证MQ的高可用？
  • 系统复杂度提高
    MQ的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过MQ进行异步调用。
    如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？
  • 一致性问题
    A系统处理完业务，通过MQ给B、C、D三个系统发消息数据，如果B系统、C系统处理成功，D系统处理失败。
    如何保证消息数据处理的一致性？
    在这里插入图片描述
    结论:
    (1)中小型软件公司，建议选RabbitMQ.一方面，erlang语言天生具备高并发的特性，而且他的管理界面用起来十分方便。正所谓，成也萧何，败也萧何！他的弊端也在这里，虽然RabbitMQ是开源的，然而国内有几个能定制化开发erlang的程序员呢？所幸，RabbitMQ的社区十分活跃，可以解决开发过程中遇到的bug，这点对于中小型公司来说十分重要。不考虑rocketmq和kafka的原因是，一方面中小型软件公司不如互联网公司，数据量没那么大，选消息中间件，应首选功能比较完备的，所以kafka排除。但是rocketmq已经交给apache管理，所以rocketmq的未来发展趋势看好。
    (2)大型软件公司，根据具体使用在rocketMq和kafka之间二选一。一方面，大型软件公司，具备足够的资金搭建分布式环境，也具备足够大的数据量。针对rocketMQ,大型软件公司也可以抽出人手对rocketMQ进行定制化开发，毕竟国内有能力改JAVA源码的人，还是相当多的。至于kafka，根据业务场景选择，如果有日志采集功能，肯定是首选kafka了。具体该选哪个，看使用场景

选择rocketmq，基于两点考虑：

  1. 延迟消息简单高效
    1.RabbitMQ 死信队列也可以达到延迟效果
  2. 完善的事务消息功能

Rocketmq的基本概念

  • Producer：消息的发送者；举例：发信者
  • Consumer：消息接收者；举例：收信者
  • Broker：暂存和传输消息；举例：邮局–>真正存数据的
  • NameServer：管理Broker；举例：各个邮局的管理机构==>注册中心
  • Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息
  • Message Queue：相当于是Topic的分区；用于并行发送和接收消息
    在这里插入图片描述

rocketmq消息类型

按照发送的特点分：
1. 同步发送

  1. 同步发送，线程阻塞，投递completes阻塞结束
  2. 如果发送失败，会在默认的超时时间3秒内进行重试，最多重试2次
  3. 投递completes不代表投递成功，要check SendResult.sendStatus来判断是否投递成功
  4. SendResult里面有发送状态的枚举：SendStatus，同步的消息投递有一个状态返回值的
public enum SendStatus {
  SEND_OK, // 发送成功
    FLUSH_DISK_TIMEOUT,// 刷盘超时。当Broker设置的刷盘策略为同步刷盘时才可能出现这种异常状态。异步刷盘不会出现
    FLUSH_SLAVE_TIMEOUT,// Slave同步超时。当Broker集群设置的Master-Slave的复制方式为同步复制时才可能出现这种异常状态。异步复制不会出现
    SLAVE_NOT_AVAILABLE;// 没有可用的Slave。当Broker集群设置为Master-Slave的复制方式为同步复制时才可能出现这种异常状态。异步复制不会出现
}
  1. retry的实现原理:只有ack的SendStatus=SEND_OK才会停止retry

注意事项：发送同步消息且Ack为SEND_OK，只代表该消息成功的写入了MQ当中，并不代表该消息成功的被Consumer(消息的接收方)消费了

2. 异步发送

  1. 异步调用的话，当前线程一定要等待异步线程回调结束再关闭producer(消息的发送者)，因为是异步的，不会阻塞,提前关闭producer会导致未回调链接就断开了
  2. 异步消息不retry(重试)，投递失败回调onException()方法，只有同步消息才会retry,源码参考DefaultMQProducerImpl.class
  3. 异步发送一般用于链路耗时较长，对 RT 响应时间较为敏感的业务场景，例如用户视频上传后通知启动转码服务，转码完成后通知推送转码结果等。

3. 单向发送

  1. 消息不可靠，性能高，只负责往服务器发送一条消息，不会重试也不关心是否发送成功
  2. 此方式发送消息的过程耗时非常短，一般在微秒级别
    下表概括了三者的特点和主要区别。

在这里插入图片描述

按照使用功能特点分：
1. 普通消息（订阅）–>不能保证顺序
普通消息是我们在业务开发中用到的最多的消息类型，生产者需要关注消息发送成功即可，消费者消费到消息即可，不需要保证消息的顺序，所以消息可以大规模并发地发送和消费，吞吐量很高，适合大部分场景。
2. 顺序消息–>并发没有那么高
顺序消息分为分区顺序消息和全局顺序消息，全局顺序消息比较容易理解，也就是哪条消息先进入，哪条消息就会先被消费，符合我们的FIFO，很多时候全局消息的实现代价很大，所以就出现了分区顺序消息。分区顺序消息的概念可以如下图所示：
在这里插入图片描述
3. 延时消息 - 订单超时库存归还–>性能高
延迟的机制是在 服务端实现的，也就是Broker收到了消息，但是经过一段时间以后才发送服务器按照1-N定义了如下级别： “1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h”；若要发送定时消息，在应用层初始化Message消息对象之后，调用Message.setDelayTimeLevel(int level)方法来设置延迟级别，按照序列取相应的延迟级别，例如level=2，则延迟为5s

msg.setDelayTimeLevel(2);
SendResult sendResult = producer.send(msg);

实现原理

  1. 发送消息的时候如果消息设置了DelayTimeLevel,那么该消息会被丢到不同ScheduleMessageService.SCHEDULE_TOPIC这个Topic里面
  2. 根据DelayTimeLevel选择对应的queue
  3. 再把真实的topic和queue信息封装起来，set到msg里面
  4. 然后每个SCHEDULE_TOPIC_XXXX的每个DelayTimeLevelQueue，有定时任务去刷新，是否有待投递的消息
  5. 每 10s 定时持久化发送进度

4. 事务消息
云消息队列 RocketMQ 版
消息队列RocketMQ版提供的分布式事务消息适用于所有对数据最终一致性有强需求的场景。本文介绍消息队列RocketMQ版事务消息的概念、优势、典型场景、交互流程以及使用过程中的注意事项。
概念介绍

  • 事务消息：消息队列RocketMQ版提供类似X或OpenXA的分布式事务功能，通过消息队列RocketMQ版事务消息能达到分布式事务的最终一致。
  • 半事务消息：暂不能投递的消息，发送方已经成功地将消息发送到了消息队列RocketMQ版服务端，但是服务端未收到生产者对该消息的二次确认，此时该消息被标记成“暂不能投递”状态，处于该种状态下的消息即半事务消息。
  • 消息回查：由于网络闪断、生产者应用重启等原因，导致某条事务消息的二次确认丢失，消息队列RocketMQ版服务端通过扫描发现某条消息长期处于“半事务消息”时，需要主动向消息生产者询问该消息的最终状态（Commit或是Rollback），该询问过程即消息回查。

分布式事务消息的优势
消息队列RocketMQ版分布式事务消息不仅可以实现应用之间的解耦，又能保证数据的最终一致性。同时，传统的大事务可以被拆分为小事务，不仅能提升效率，还不会因为某一个关联应用的不可用导致整体回滚，从而最大限度保证核心系统的可用性。在极端情况下，如果关联的某一个应用始终无法处理成功，也只需对当前应用进行补偿或数据订正处理，而无需对整体业务进行回滚。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1333550.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

python dash 写一个登陆页 4

python dash 写一个登陆页 4

界面 代码： 这里引入了dash_bootstrap_components 进行界面美化 ，要记一些className，也不是原来说的不用写CSS了。 from dash import Dash, html, dcc, callback, Output, Input, State import dash_bootstrap_components as dbcapp Dash(…
阅读更多...
Git安装及基本操作

Git安装及基本操作

1.安装Git 配置用户 git config --global user.name "用户名" git config --global user.email "邮箱"配置完成后查看配置 git config -l生成SSH秘钥 ssh-keygen -t rsa -C “邮箱” 输入完成后需要按3次Enter键 $ ssh-keygen -t rsa -C "邮箱&quo…
阅读更多...
【MySQL学习笔记009】事务

【MySQL学习笔记009】事务

一、事务简介 事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败。 二、事务操作 1、操作1 查看/设置事务提交方式 select a…
阅读更多...
基于Hexo+GitHub Pages 的个人博客搭建

基于Hexo+GitHub Pages 的个人博客搭建

基于HexoGitHub Pages 的个人博客搭建 步骤一：安装 Node.js 和 Git步骤二：创建Github Pages 仓库步骤二：安装 Hexo步骤三：创建 Hexo 项目步骤四：配置 Hexo步骤五：创建新文章步骤六：生成静态文件…
阅读更多...
c语言：从函数中返回指针

c语言：从函数中返回指针

return关键词可以从被调函数中返回一个值到主调函数。现在我们尝试让它返回一个指针到主调函数中。 #include <stdio.h> int* func() { int n 100; return &n; } int main() { int* p func(); printf("%d\n", *p); return 0; } 我们在函数 func 中定义…
阅读更多...
【FPGA 器件比较】Altera -- Xilinx

【FPGA 器件比较】Altera -- Xilinx

比较以下市场前二名的产品线及定位 应用场景XilinxAltera高性能VersalAgilex F/I性能Virtex / Kintex / Artix / Zynq UltraScaleAgilex F/I / Stratix 10中档Virtex / Kintex / Zynq ~ 7 / UltraScaleStratix 10 / Arria 10低成本Artix-7 Sparton-7Cyclone 10 如上表&#x…
阅读更多...
sql_lab之sqli中的head头注入，less18

sql_lab之sqli中的head头注入，less18

报错注入中的head注入&#xff08;less-18&#xff09; 1.输入用户名和密码123 123显示登录错误 2.输入用户名和密码123’ 123显示登录错误 则证明不是普通报错注入&#xff0c;因为有用户名和密码框&#xff0c;如果不是普通报错注入则尝试head注入 3.用burp进行爆破&#x…
阅读更多...
1865_发动机控制器ECU

1865_发动机控制器ECU

Grey 全部学习内容汇总&#xff1a; GitHub - GreyZhang/g_ECU_hacking: some learning notes about ECU(engine control unit) hacking. 发动机控制器ECU ECU有多种解释&#xff0c;这里的解释主要是指发动机控制器。这一份笔记&#xff0c;整理了发动机控制器的基本功能以…
阅读更多...
网线制作，集线器、交换机、路由器的介绍以及路由器的设置

网线制作，集线器、交换机、路由器的介绍以及路由器的设置

目录 一. 网线制作 1.1 制作材料 1.2 网线标准 1.3 网线做法 二. 集线器、交换机、路由器介绍 前言 简介 简单来说 三. 路由器的设置 设置1 设置2 设置3 设置4 无线设置 一. 网线制作 1.1 制作材料 网线 …
阅读更多...
实现打印一个数字金字塔。例如：输入5，图形如下图所示

实现打印一个数字金字塔。例如：输入5，图形如下图所示

1*12**123***1234**** 12345*****#include<stdio.h> void main() {int i,j,l,n,k;scanf("%d",&n);/**********Program**********//********** End **********/ } 当我们拿到这个题目的时候可以看见题目给了我们五个变量&#xff0c;其中n是我们输入的数…
阅读更多...
pip 常用指令 pip install 命令用法介绍

pip 常用指令 pip install 命令用法介绍

&#x1f4d1;pip 常用命令归类整理 pip install 是一个 Python 包管理器命令&#xff0c;用于安装 Python 包。pip 是 Python 的一个重要工具&#xff0c;可以用来安装、升级和卸载 Python 包。 pip install 命令的一些常见参数有 -r&#xff1a;从一个需求文件中安装所有的…
阅读更多...
vue 实现签字功能

vue 实现签字功能

1、安装&#xff1a;npm install vue-esign --save 2、main.js文件中全局引入&#xff1a; // 签字 import vueEsign from vue-esign Vue.use(vueEsign) 3、页面内容 <vue-esign ref"esign" :width"800" :height"300" :isCrop"isCro…
阅读更多...
vue3(六)-基础入门之自定义组件与插槽、ref通信

vue3(六)-基础入门之自定义组件与插槽、ref通信

一、全局组件 html: <div id"app"><mytemplace></mytemplace> </div>javascript: <script>const { createApp } Vueconst app createApp({})app.component(mytemplace, {template: <div><button>返回</button>…
阅读更多...
kubelet源码学习（一）：kubelet工作原理、kubelet启动过程

kubelet源码学习（一）：kubelet工作原理、kubelet启动过程

本文基于Kubernetes v1.22.4版本进行源码学习 1、kubelet工作原理 1&#xff09;、kubelet核心工作 kubelet的工作核心就是一个控制循环&#xff0c;即&#xff1a;SyncLoop&#xff08;图中的大圆圈&#xff09;。而驱动这个控制循环运行的事件&#xff0c;包括&#xff1a;P…
阅读更多...
2023航天推进理论基础考试划重点（W老师）-液体火箭发动机1

2023航天推进理论基础考试划重点（W老师）-液体火箭发动机1

适用于期末周求生欲满满的西北工业大学学生。 1、液体火箭发动机的基本组成及功能是什么&#xff1f; 推力室组件、推进剂供应系统、阀门与调节器、发动机总装元件等组成。 2、液体火箭发动机的分类和应用是什么&#xff1f;3、液体火箭发动机系统、分系统的概念是什么&…
阅读更多...
算法复杂度-BigO表示法

算法复杂度-BigO表示法

1.时间复杂度--大O表示法 算法的渐进时间复杂度&#xff0c;T(n)O(f(n)) T&#xff08;n&#xff09;表示算法的渐进时间复杂度 f&#xff08;n&#xff09;表示代码执行的次数 O&#xff08;&#xff09;表示正比例关系 2.常用的时间复杂度量级 3.举例 &#xff08;1&am…
阅读更多...
Vue CLI 设置 publicPath：打包后的应用可部署在任意路径

Vue CLI 设置 publicPath：打包后的应用可部署在任意路径

前言 领导要重新部署多个应用环境&#xff0c;且不受路径层级影响。 于是找到了 Vue CLI 配置 publicpath 配置说明 下图所示&#xff1a; / &#xff1a;默认值&#xff0c;应用部署在根路径上&#xff1b;./&#xff1a;注意前面加了一个点&#xff0c;应用可部署在任意路…
阅读更多...
Qt designer界面和所有组件功能的详细介绍（全！！！）

Qt designer界面和所有组件功能的详细介绍（全！！！）

PyQt5和Qt designer的详细安装教程&#xff1a;https://blog.csdn.net/qq_43811536/article/details/135185233?spm1001.2014.3001.5501 目录 1. 界面介绍2. Widget Box 常用组件2.1 Layouts&#xff08;布局&#xff09;2.2 Spacers&#xff08;间隔器&#xff09;2.3 Item V…
阅读更多...
代码随想录刷题题Day21

代码随想录刷题题Day21

刷题的第二十一天&#xff0c;希望自己能够不断坚持下去&#xff0c;迎来蜕变。&#x1f600;&#x1f600;&#x1f600; 刷题语言&#xff1a;C Day21 任务 ● 216.组合总和III ● 17.电话号码的字母组合 1 组合总和III 216.组合总和III 思路&#xff1a; 在[1,2,3,4,5,6,…
阅读更多...
P5 RV1126编码测试Demo

P5 RV1126编码测试Demo

目录 前言 01 测试Demo大致流程图 02 代码分析 2.1 VI设备初始化 2.2 使能通道 —— RK_MPI_VI_EnableChn 2.3 VI 和 VENC绑定 2.4 创建 编码线程 前言 从本章开始我们将要学习嵌入式音视频的学习了 &#xff0c;使用的瑞芯微的开发板 &#x1f3ac; 个人主页&#xff1a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023