消息中间件是什么?有什么用?常见的消息中间件有哪些?

news2024/11/28 4:49:46

1.什么是消息中间件?

消息中间件基于队列模型在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统。

2.现实中的痛点:

1.Http请求基于请求与响应的模型,在高并发的情况下,客户端发送大量的请求达到服务器端有可能会导致我们服务器端处理请求堆积。

2.Tomcat服务器处理每个请求都有自己独立的线程,如果超过最大线程数会将该请求缓存到队列中,如果请求堆积过多的情况下,有可能会导致tomcat服务器崩溃的问题。

所以一般都会在nginx入口实现限流,整合服务保护框架。

3.http请求处理业务逻辑如果比较耗时的情况下,容易造成客户端一直等待,阻塞等待过程中会导致客户端超时发生重试策略,有可能会引发幂等性问题。

注意事项:接口是为http协议的情况下,最好不要处理比较耗时的业务逻辑,耗时的业务逻辑应该单独交给多线程或者是mq处理。

3.消息中间件的作用:

可以实现支撑高并发、异步解耦、流量削峰、降低耦合度。

3.1 支撑高并发

在高并发环境下,如果消息的处理速度跟不上消息的生成速度,就会导致消息队列堆积,进而影响系统的稳定性和可用性。为了解决这个问题,引入消息限流策略是非常必要的。

消息限流是一种通过控制消息的生成速率和处理速率来平衡生产者和消费者之间的关系。通过设置合理的限流参数,可以控制系统的负载,避免资源耗尽和系统崩溃的风险。

RabbitMQ与消息限流策略的结合

1、预取计数(prefetch count):RabbitMQ中的预取计数可以控制消费者从队列中获取消息的数量。通过合理设置预取计数,可以平衡生产者和消费者之间的速率差异。当消费者处理完预取的消息后,才会继续从队列中获取新的消息,这样可以避免消息的堆积。

2、限制连接数和通道数:在RabbitMQ中,可以通过限制连接数和通道数来控制消息的生成速度和处理速度。通过限制连接数,可以限制生产者的连接数,控制消息的生成速度;通过限制通道数,可以提高消费者的处理速度,避免系统负载过高。

3、延迟队列(dead-letter queue):延迟队列是一种特殊的队列,用于存放无法立即处理的消息。当消息到达延迟队列后,可以设置一个延迟时间,在延迟时间过后再将消息重新发送给消费者进行处理。通过延迟队列,可以有效控制消息的处理速率,尤其适用于对实时性要求不高的场景。

3.2 异步解耦

应用场景:一般用于用户注册后,需要发送注册邮件和注册短信

传统做法:

1.串行方式

串行的方式就是将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。这有一个问题是,邮件,短信并不是必须的,它只是一个通知,而这种做法让客户端等待没有必要等待的东西。

2.并行方式

将注册信息写入数据库后,同时执行发送邮件,发送短信,以上三个任务完成后,返回给客户端,并行的方式能提高处理的时间。

假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间100ms。虽然并性已经提高的处理时间,但是,前面说过邮件和短信对我正常的使用网站没有任何影响,客户端没有必要等着其发送完成才显示注册成功,应该是写入数据库后就返回。

3.消息队列的方式

引入消息队列之后就可以异步处理发送注册邮件和注册短信的业务,在注册信息写入数据库之后,这些不妨碍用户使用的业务,先加入到消息队列当中等待处理。

由此可见引入消息队列之后,响应时间=数据库写入时间+写入消息队列的时间,消息队列中的消息可以等待前面的消息处理完再处理。

3.3 降低耦合度

应用场景:商城活动时,下单高峰时期,用户下单,订单业务模块调用库存业务模块的接口。

这种情况下就会存在订单业务和库存业务高度耦合的问题,一旦我们的库存业务使用不了了,那我i们的订单业务也就无法使用了。引入消息队列就可以解决这一问题:

订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功。

库存系统:订阅下单的消息,获取下单消息,进行库操作。

就算库存系统出现故障,消息队列也能保证消息的可靠投递,不会导致消息丢失。

3.4 流量削峰

应用场景:流量削峰一般用于秒杀活动中。秒杀活动,一般会因为流量过大,导致应用挂掉,为了解决这个问题,一般在应用前端加入消息队列。

作用:

1、可以控制活动人数,超过限制就会直接丢弃掉后来的订单

2、可以缓解短时间的高流量(超出服务器承受范围)压垮服务器

1、用户的请求,服务器收到之后,首先写入消息队列,加入消息队列长度超过最大值,则直接抛弃用户请求或跳转到错误页面。

2、秒杀业务根据消息队列中的请求信息,再做后续处理。

3.5 消息队列优缺点

关于消息队列的优点也就是上面列举的,就是在特殊场景下有其对应的好处,解耦、异步、削峰。

缺点有以下几个:

1.系统可用性降低:系统引入的外部依赖越多,越容易挂掉。本来你就是 A 系统调用 BCD 三个系统的接口就好了,人 ABCD 四个系统好好的,没啥问题,你偏加个 MQ 进来,万一 MQ 挂了咋整,MQ 一挂,整套系统崩溃的,你不就完了?如何保证消息队列的高可用,可以点击这里查看。

2.系统复杂度提高:硬生生加个 MQ 进来,你怎么[保证消息没有重复消费]?怎么[处理消息丢失的情况]?怎么保证消息传递的顺序性?头大头大,问题一大堆,痛苦不已。

3.一致性问题:A 系统处理完了直接返回成功了,人都以为你这个请求就成功了;但是问题是,要是 BCD 三个系统那里,BD 两个系统写库成功了,结果 C 系统写库失败了,咋整?你这数据就不一致了。

4. 常见的消息中间件

在介绍常见的消息中间件的方式的时候先介绍一下实现MQ的两种方式:AMQP,JMS

4.1 AMQP和JMS

AMQP全称Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计,基于此协议的客户端与消息中间件传递消息,不受客户端/中间件不同产品、不同开发语言等条件的限制。该协议是一种二进制协议,提供客户端应用于消息中间件之间异步、安全、高效的交互。相对于我们常见的REST API,AMQP更容易实现,可以降低开销,同时灵活性高,可以轻松的添加负载平衡和高可用性的功能,并保证消息传递,在性能上AMQP协议也相对更好一些。(官方解释)

通俗来说,在异步通讯中,消息不会立刻到达接收方,而是被存放到一个容器中,当满足一定的条件之后,消息会被容器发送给接收方,这个容器即消息队列,而完成这个功能需要双方和容器以及其中的各个组件遵守统一的约定和规则,AMQP就是这样的一种协议,消息发送与接收的双方遵守这个协议可以实现异步通讯。这个协议约定了消息的格式和工作方式。

JMS即Java消息服务(Java Message Service)应用程序接口,是一个 Java 平台中关于面向消息中间件(MOM)的API,用于在两个应用程序间或分布式系统中发送消息,进行异步通信。Java消息服务是一个与具体平台无关的API,绝大多数MOM提供商都对JMS提供支持。简单的理解:两个应用程序之间需要进行通信,使用一个JMS服务,进行中间的转发,通过JMS 的使用,可以解除两个程序之间的耦合。

两者间的区别和联系:

  • JMS是定义了统一的接口,来对消息操作进行统一;AMQP是通过规定协议来统一数据交互的格式
  • JMS限定了必须使用Java语言;AMQP只是协议,不规定实现方式,因此是跨语言的。
  • JMS规定了两种消息模型;而AMQP的消息模型更加丰富

4.2 常见的MQ产品

现在主流的消息中间件就4种:kafka、ActiveMQ、RocketMQ、RabbitMQ

ActiveMQ:基于JMS

RabbitMQ:基于AMQP协议,erlang语言开发,稳定性好

RocketMQ:基于JMS,阿里巴巴产品,目前交由Apache基金会

Kafka:分布式消息系统,高吞吐量

接下来看一下这四种中间件之间有什么区别?

4.2.1 ActiveMQ

ActiveMQ现在来说已经算是一个比较过时的产品了,以前早期的项目使用的都是这个MQ,但是现在用的不多了。官网的更新频率已经变慢了,好久才会更新一次。

它的单机吞吐量是万级的,一些小的项目已经够用了,但是对于高并发的情况下已经不行了

在可用性上看,它使用的是主从架构实现的,具有高可用性;

在消息可靠性上看,有较低的概率是会丢掉数据的

综合来看,后续介绍的RabbitMQ完全可以代替掉这个

4.2.2 RabbitMQ

RabbitMQ出现后,大多数国内的公司选择抛弃ActiveMQ选择RabbitMQ,基本代替了ActiveMQ的位置,而且社区比较活跃。

它的单机吞吐量也是万级的,对于高并发的情况,它也是难以胜任的。

在可用性上,它使用的是镜像集群的模式,可以保证高可用性

在消息的可靠性上,它是可以保证不丢数据的

同时它还支持一些消息中间件的高级功能,如:消息重试、死信队列等

但是RabbitMQ的开发语言是erlang,国内很少有人精通erlang,所以经常无法阅读源码,对于大多数,中小型公司,不需要面对数据上的挑战,使用它还是非常合适的,但是对于BAT大公司来说,它就不太适合了。

4.2.3 RocketMQ

MQ-RocketMQ,它是阿里开源的消息中间件,久经沙场,非常靠谱。

它支持高吞吐量,单机可达到10万级,能承受互联网的高并发的挑战。

在可用性上,使用的是分布式架构,可以搭建大规模的集群,性能很高。

在可靠性上,通过一定的配置可以达到数据的绝对不丢失。

同时,Rocket-MQ支撑大量的高级功能,如:延迟消息,事物消息、消息回溯、死信队列等。

它非常适用于Java体系的架构中,因为使用Java语言进行开发的,所以可以通过阅读源码的方式去了解更深的底层原理。

目前来看,它没有什么特别大的缺点,可以支持高并发下的技术挑战,可以基于它实现分布式事务,大型互联网公司和中小型公司都可以选择使用它来作为消息中间件使用。

4.2.4 Kafka

kafka的吞吐量被公认为中间件中的翘楚,单机可以支持十几万的并发,相当强悍。

在高可用上同样支持分布式集群部署。

在消息可靠性上,如果保证异步的性能,可能会出现消息丢失的情况,因为它保存消息时是先存到磁盘缓冲区的,如果机器出现故障,缓冲区的数据是可能丢失的。

它的功能非常的单一,就是消息的接收与发送,因此不适合应用于许多场景。

它在行业内主要应用于大数据领域,使用它进行用户行为日志的采集和计算,来实现比如“猜你喜欢”的功能。

所以,如果没有大数据的需求,一般不会选择它。

4.2.5总结

图片转自https://www.cnblogs.com/qingbaizhinian/p/14476728.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1670878.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C# WinForm —— 19 PictureBox 介绍

1. 简介 PictureBox 主要用于显示图像,也可以给它注册单击事件,来把它变成一个按钮 2. 常用属性 属性解释(Name)控件ID,在代码里引用的时候会用到,一般以 pixB 开头BackColor控件的背景色BackgroundImage控件的背景图像BorderStylePictur…

开放式耳机什么品牌最好?2024五款新晋爆款产品推荐!

​如今的耳机市场天下三分,有线入耳式耳机、蓝牙无线入耳式耳机以及开放式耳机,传统的有线入耳式耳机戴着不稳就算了,线很容易揉成一团,看着就头大;无线入耳式的耳机,同样面临着戴着不稳的问题,…

如何在群晖NAS中开启FTP并实现使用公网地址远程访问传输文件

文章目录 1. 群晖安装Cpolar2. 创建FTP公网地址3. 开启群晖FTP服务4. 群晖FTP远程连接5. 固定FTP公网地址6. 固定FTP地址连接 本文主要介绍如何在群晖NAS中开启FTP服务并结合cpolar内网穿透工具,实现使用固定公网地址远程访问群晖FTP服务实现文件上传下载。 Cpolar内…

Nginx内网环境开启https

文章目录 前言一、open-ssl1. 验证2. 安装3.生成ssl证书 一、nginx1. 验证支持模块2. 安装必要模块2.1 重新编译nginx2.2 替换原文件 3. 配置https 总结 前言 nginx开启https前提: 服务器支持open-sslnginx 包含--with-http_ssl_module --with-stream --with-stre…

JavaScript原理篇——Promise原理及笔试题实战演练

Promise 是 JavaScript 中用于处理异步操作的对象,它代表了一个可能还没有完成的操作的最终完成或失败,以及其结果值。Promise 对象有三种状态: Pending(进行中):初始状态,既不是成功&#xff0…

前端js面试题--从字符串中删除删除注释代码

问题:从字符串中删除删除注释代码 描述: solution(weex,rex # and react\nflutter\nnative ssss !hybrid app, [#, !]) 写一个solution函数清除后面参数数组里面的字符串 打印效果 代码1 思路: 将字符全凡是有去掉标志符号的全部添加\n…

flutter 使用Scrollbar 时出现 滚动条不置顶问题

Flutter 使用 CupertinoScrollbar 、Scrollbar 与 ListView.builder 结合使用时, 当把 ListView.builder 边距设置为 padding: const EdgeInsets.all(0) 的时候, Scrollbar 的滚动条不置顶。 如图:右侧边上的滚动条 解决方法: …

什么是.faust勒索病毒?应该如何防御?

faust勒索病毒详细介绍 faust勒索病毒是一种新型的勒索软件,最早出现在2018年。该病毒通过加密计算机系统中的文件并要求支付赎金来解锁文件,从而获取经济利益。与传统的勒索软件相比,faust勒索病毒采用了更加先进的加密算法和隐藏技术&#…

浅析视频汇聚EasyCVR视频融合云平台在机场安防智能检测建设中的应用

一、背景 机场作为国家交通枢纽和对外开放的窗口,其安全运行直接关系到乘客的生命安全、国家形象以及社会经济稳定。随着全球航空业的快速发展和人们出行需求的持续增长,机场作为重要的交通枢纽,其客流量和货运量均呈现出快速增长的态势。然而…

【鸿蒙+全国产瑞芯微】智慧楼宇解决方案 | 如何实现多场景下智慧化、精细化楼宇管理?

随着数字化、智能化与工作生活的联结日渐紧密,聚焦人性化服务,以数字和科技匹配多重需求,加速商业楼宇智能化转型的脚步,逐步形成智慧楼宇产品矩阵。 方案亮点 01/数字标牌——形象展示 企业文化宣传、公告通知等 播放内容统一远…

实时追踪维修进度,报修管理小程序让你省心又省力!

随着生活、工作节奏的日益加快,日常的售后报修、故障报修处理流程给我们带来种种困扰。我们都知道大多数企业、个人用户还在使用传统报修方式,如电话报修、纸质报修单等方式,不仅效率低下,而且难以追踪维修进度,给我们…

C# 使用Queue高效检索树行数据符合条件的数据,并返回完整树形数据示例

最近有项目需要加载大型树数据,数据大概3W条 后端使用C# NET6 前端使用Vue3 elementuiplus 虚拟tree 》解决大型树数据加载 遇到的问题是后端在检索数据时,要返回匹配数据的完整树目录 1.因为单条数据没有存放完整路径,需要通过父级ID逐…

第六节笔记及作业----Lagent AgentLego 智能体应用搭建

关于 Agent 的相关理论 大语言模型存在一些局限性,比如会出现幻觉问题、有时效性问题以及可靠性问题。智能体的定义是具备感知、决策和行动能力的实体。智能体主要由感知部分、大脑部分和动作部分组成。智能体有多种类型,如 ReAct 类型(侧重…

事务性邮件邮箱API发送邮件的要点有哪些?

事务性邮件邮箱API发送邮件怎么使用?API的使用方式? 使用邮箱API进行事务性邮件的发送,不仅能确保信息的准确传达,还能大大提高工作效率。那么,在使用事务性邮件邮箱API发送邮件时,我们应该注意哪些要点呢…

triton之gemm

一 原理 如果不采用group gemm的话,采用单流执行,则具体的硬件执行调度如下所示: gemm0,gemm1,gemm2同时分配任务给sm做 第一轮:gemm0、gemm1和gemm2的0-4分给4个sm去做,都计算完成 第二轮:gemm0在上一轮已经计算完毕,gemm1和gemm2的45分给sm0,sm1去做,在这一轮…

RelationMap图谱--VUE,真实项目提供mock数据

RelationMap官网&#xff1a; 在线配置官网&#xff08;可以把数据放进去&#xff0c;直接看效果&#xff09; VUE2 效果&#xff1a;左侧列表栏&#xff0c;点击右侧显示对应的图谱 代码&#xff1a;按照代码直接贴过去&#xff0c;直接出效果 relationMap/index.vue <te…

1W、2W 3KVAC隔离 宽电压输入 交直两用AC/DC 电源模块 ——TP01(02)AZ 系列

TP01(02)AZ为客户提供一款超小体积模块式开关电源&#xff0c;该系列模块电源输出功率为1W、2W&#xff0c;具有极低的空载损耗&#xff0c;低漏电流仅0.1mA&#xff0c;小体积&#xff0c;隔离耐压高达3KV等特点。产品安全可靠&#xff0c;EMC 性能好&#xff0c;EMC 及安全规…

MQTT 5.0 报文解析 04:PINGREQ 与 PINGRESP

欢迎阅读 MQTT 5.0 报文系列 的第四篇文章。在上一篇中&#xff0c;我们已经介绍了 MQTT 5.0 中的 SUBSCRIBE 报文和 UNSUBSCRIBE 报文。现在&#xff0c;我们将介绍用于维持连接的控制报文&#xff1a;PINGREQ 和 PINGRESP。 除了用于连接、发布和订阅的控制报文&#xff0c;…

【Linux基础】Vim保姆级一键配置教程(手把手教你把Vim打造成高效率C++开发环境)

目录 一、前言 二、安装Vim 三、原始Vim编译器的缺陷分析 四、Vim配置 &#x1f95d;预备知识----.vimrc 隐藏文件 &#x1f34b;手动配置 Vim --- &#xff08;不推荐&#xff09; &#x1f347;自动化一键配置 Vim --- (强烈推荐) ✨功能演示 五、共勉 一、前言 Vim作为…

半小时搞懂STM32面经知识——ADC

1.ADC 1.1 ADC是什么&#xff1f; 将连续变量的模拟信号转换为离散变量的数字信号 1.2 ADC的位数&#xff1f;&#xff08;采样精度&#xff09; F1和F4都具有3个ADC&#xff0c;F1可提供21个输入通道&#xff0c;F4可以提供24个输入通道。 F4的ADC支持12位&#xff0c;10位…