RocketMQ第一节(MQ的初步了解)

news2025/4/13 5:16:34

目录

 

1:什么是消息队列

2:MQ的基础模型

3:MQ的作用

3.1:MQ用来解耦

3.2: 削峰填谷

4:MQ怎么选


1:什么是消息队列

MQ全称是Message Queue (消息队列),是消息传输中间件,用在分布式系统中消息传输过程中保存消息的容器。

2:MQ的基础模型

生产者将消息发送到消息队列,消息队列保存消息,消息队列将消息发送给消费者,又或者消费者去消息队列拉取消息。生产者和消费者称为客户端,相对应的MQ就是服务端。

3:MQ的作用

3.1:MQ用来解耦

在微服务中分布式系统中,我们直接调用的存在调用链路复杂,使用MQ能解耦各个系统,降低耦合性,比如订单系统的下单和减库存。使用mq,下单在订单系统完成,减库存操作发送到MQ,提高并发量。

解耦之前

解耦之后

解耦带来的好处就是速度的提升:

之前请求时间:50ms*4=200ms

之后请求时间

3.2: 削峰填谷

系统没有使用mq的直接操作数据的时候,最大并发量是1000/S,当出现大并发的时候5000/S的时候,系统报错,比如数据库连接池不够用等错误。我们把这5000/S的请求打到MQ,这就是削峰。

MQ的消费者以固定的速度消费消息,比如2000/S。将MQ积压的消息消费完毕,这就是填谷。

4:MQ怎么选

市面上免费的MQ产品主要有RocketMQ、ActiveMQ、Kafka和RabbitMQ。

这几种MQ怎么选择呢?我们需要知道他们的技术特点然后结合自己的需求来选择。

我们列出这四种MQ的技术特点,然后根据需求选择。

Kafka的优缺点

优点:

  1. 高吞吐量:即使在非常廉价的机器上,Kafka也能做到每秒处理几十万条消息,而它的延迟最低只有几毫秒。

  2. 低延迟:延迟可以控制在ms以内。

  3. 持久性:Kafka可以将消息直接持久化在普通磁盘上,且磁盘读写性能优异。

  4. 扩展性。Kafka集群支持热扩展,Kaka集群启动运行后,用户可以直接向集群中添加。

  5. 容错性。Kafka会将数据备份到多台服务器节点中,即使当某个服务器节点失效时,Zookeeper将通知生产者和消费者从而使用其他的节点,也不会影响整个系统的功能。

  6. 支持多种客户端语言。Kafka支持Java、.NET、PHP、Python等多种语言。

缺点:

  1. 重复消息:Kafka保证每条消息至少送达一次,虽然几率很小,但一条消息可能被送达多次。

  2. 消息乱序:Kafka某一个固定的Partition内部的消息是保证有序的,如果一个Topic有多个Partition,partition之间的消息送达不保证有序。

  3. 复杂性:Kafka需要Zookeeper的支持,Topic一般需要人工创建,部署和维护比一般MQ成本更高。

  4. topic 从几十到几百个时候,吞吐量会大幅度下降,在同等机器下,Kafka 尽量保证 topic 数量不要过多,如果要支撑大规模的 topic,需要增加更多的机器资源。

RabbitMQ的优缺点

优点:

  1. 持久化:RabbitMQ可以保证所在的服务器宕机后,消息不会丢失。

  2. 高可用:部分机器宕机了还可以继续使用。

  3. 高级功能:如消息重试、死信队列等

缺点:

  1. 首先是RabbitMQ吞吐量比较低,大概在每秒几万的样子,这样像对于大型电商促销秒杀就不能胜任。

  2. 集群线性扩展比较麻烦。

  3. 开发语言是erlang,懂得人不是很多,无法对其改造。

RocketMQ的优缺点

优点:

  1. 高吞吐量:大概普通机器有十万QPS往上。

  2. 消息可靠性:

    • 生产者的可靠性保证:生产者发送消息后返回SendResult,如果isSuccess返回true,则表示消息已经确认发送到服务器并被服务器接收保存。整个发送过程是一个同步过程。

    • 服务器的可靠性:消息生产者发送的消息,RocketMQ服务收到后在做必要的校验和检查之后马上保存到磁盘,写入成功后返回给生产者。因此可以确认每条发送结果为成功的消息都会被消息服务器写入磁盘。

    • 消费者的可靠性:消费者是一条一条顺序消费的,之后在成功消费一条后才会消费吓一跳。如果在消费某一条消息时失败则会重试消费这条消息,默认为5次,如果超过最大次数仍然无法消费,则将消息保存到本地,后台线程继续重试消费,主线程则会继续往后走,消费队列后面的消息。

  3. 消息持久性RocketMQ收到消息后,会将消息持久化到文件,并利用Linux文件系统内存来提高性能

  4. 消息实时性:RocketMQ采取长轮询+PULL模式保证消息的实时性

  5. 消息堆积:支持10亿级别的消息堆积,不会因为消息堆积影响性能

  6. 高级功能:如延迟消息、消息回朔等

  7. 使用的java开发

缺点:

  1. 消息重复:对于消费者来说,通过拉取方式将消息保存到本地,消费完再向服务器返回,在网络异常的情况下可能会出现重复。

  2. 消息过滤:

  • 服务器端过滤:减少不必要消息传输,但是会增加服务器负担

  • 客户端过滤:根据客户端需求来定制消息,缺点是客户端会收到对它来说没用的消息,如果客户端无法承载这么多消息就会导致故障



 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/470397.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

FT2000+ qemu kvm 64C64G 通过频繁设置CPU online 状态导致虚拟机假死测试用例

宿主机配置 虚拟机配置文件 <domain typekvm> //如果是Xen&#xff0c;则type‘xen’<name>redflag1</name> //虚拟机名称&#xff0c;同一物理机唯一<uuid>44748c15-7c00-4817-8724-675a27c3f821</uuid> //同一物理机唯一&#xff0c;可用uu…

图形界面GUI相关概念GLX/Wayland/X11/DRM/DRI

1. GUI图形界面是什么 GUI是graphical user interface的缩写&#xff0c;图形用户接口&#xff0c;实现了基本的WIMP&#xff08;windows&#xff0c;icons&#xff0c;menus&#xff0c;pointer&#xff09;。一个GUI的基本组成&#xff1a;display server实现windowing syst…

传统制造企业如何数字化转型?中国减速机Top 1企业给出这份答案

‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 数字中国建设正在如火如荼地展开&#xff0c;百业千行也都在寻求自身业务与数字化的深度融合。 2022年制造业增加值占GDP比重约为30%&#xff0c;在数字经济赋能新发展的当下&#xff0c;制造业成为数字技术重点实施落地的载…

2023/4/27总结

第一周任务 - Virtual Judge (vjudge.net) 1.这道题目穷举即可 最多90次 #include<stdio.h> int getLucky(int x) {int a[10],i,n,tx,max0,min10;for(i0;t;i){a[i]t%10;t/10;if(a[i]>max) maxa[i];if(a[i]<min) mina[i];}return max-min; } int slove(int l,int r…

Layui 2.8.1 正式发布,朴实归来

Layui 是一套开源免费的 Web UI 组件库&#xff0c;采用自身轻量级模块化规范&#xff0c;遵循原生态的 HTML/CSS/JavaScript 开发模式&#xff0c;极易上手&#xff0c;拿来即用。其风格简约轻盈&#xff0c;而内在雅致丰盈&#xff0c;甚至包括文档在内的每一处细节都经过精心…

docker部署harbor

Harbor介绍 以Docker为代表的容器技术的出现&#xff0c;改变了传统的交付方式。通过把业务及其依赖的环境打包进Docker镜像&#xff0c;解决了开发环境和生产环境的差异问题&#xff0c;提升了业务交付的效率。如何高效地管理和分发Docker镜像&#xff1f;是众多企业需要考虑…

Shenll编程之循环语句与函数

循环语句 一、for循环二、continue跳出循环continue二次跳出循环 三、break终止循环 循环是一种控制流程的结构&#xff0c;用于重复执行一段代码 遍历是一种数据操作的过程&#xff0c;用于访问并处理数据构成中的每个元素 在某些情况下&#xff0c;循环和遍历可以结合使用&am…

c++标准模板(STL)(std::array)(二)

定义于头文件 <array> template< class T, std::size_t N > struct array;(C11 起) std::array 是封装固定大小数组的容器。 此容器是一个聚合类型&#xff0c;其语义等同于保有一个 C 风格数组 T[N] 作为其唯一非静态数据成员的结构体。不同于 C 风格数…

苹果id密码忘记了怎么重新设置?请收好这份攻略!

案例&#xff1a;怎么重新设置apple ID密码&#xff1f; 【9敏&#xff01;想下载美颜相机&#xff0c;结果忘记苹果id密码了&#xff0c;有什么方法重新设置吗&#xff1f;】 在日常使用中&#xff0c;我们有时候会遇到忘记苹果ID密码的问题&#xff0c;这时候需要重新设置苹…

车联网OTA安全实践

摘要&#xff1a; 近年来&#xff0c;智能汽车已成为全球汽车产业发展的战略方向&#xff0c;汽车技术与工程核心逐渐从传统硬件层面转移到软件层面&#xff0c;汽车行业已经踏上了软件定义汽车&#xff08;SDV&#xff09;的变革之路。 在SDV的大趋势下&#xff0c;汽车零部件…

界面控件DevExpress WinForm的垂直网格,让数据展示更灵活(二)

DevExpress WinForm Vertical Grid&#xff08;垂直网格&#xff09;组件设计用于提供UI灵活性&#xff0c;它允许显示数据集中的单个行&#xff0c;或在其90度反向网格容器中显示多个数据集行。此外&#xff0c;开发者还可以将其用作属性网格&#xff0c;就像在Visual Studio …

VueBaiDuMap百度地图组件常用案例

VueBaiDuMap获取可视区边界点坐标_毛三仙的博客-CSDN博客【代码】VueBaiDuMap获取可视区边界点坐标。百度地图&#xff0c;左上角左下角右上角右下角坐标https://blog.csdn.net/m0_74149462/article/details/130420983?csdn_share_tail%7B%22type%22%3A%22blog%22%2C%22rType%…

《springboot实战》 第十二章 SpringBoot整合swagger-bootstrap-ui

前言 SpringBoot整合swagger&#xff0c;使用swagger-bootstrap-ui美化页面。 1、环境配置 1.1、导入依赖包 <dependency><groupId>io.springfox</groupId><artifactId>springfox-boot-starter</artifactId><version>3.0.0</version…

不得不说的结构型模式-代理模式

目录 代理模式&#xff1a; 下面是一个简单的C代码案例 下面是面试中可能遇到的问题&#xff1a; 代理模式&#xff1a; 代理模式是一种结构型设计模式&#xff0c;它通过引入一个代理对象来控制对另一个对象的访问。代理对象充当原始对象的中介&#xff0c;通过拦截对原始…

倾斜摄影超大场景的三维模型的顶层合并的点云抽稀处理技术分析

倾斜摄影超大场景的三维模型的顶层合并的点云抽稀处理技术分析 倾斜摄影超大场景的三维模型的顶层合并需要进行点云抽稀处理&#xff0c;以减小数据量和提高数据处理和展示性能。以下是几种常用的点云抽稀处理技术&#xff1a; 1、体素栅格化&#xff1a;将点云数据转换为3D体…

【TCP 协议】报文格式,数据可靠传输的机制(一)

哈喽&#xff0c;大家好~我是你们的老朋友&#xff1a;保护小周ღ 本期为大家带来的是网络编程的 TCP 传输控制协议的概念 &#xff0c;首先会讲解 TCP 协议的报文格式&#xff0c;在学习报文格式之后&#xff0c;会学习两种 TCP 保证数据可靠传输的机制&#xff0c;确认应答…

getType() 和 getGenericType()的区别

处理泛型时会经常用到这两个方法&#xff0c;但是二者的区别是什么&#xff1f; 先看看官方的解释&#xff1a; getType 》&#xff1a;Returns a Class object that identifies the declared type for the field represented by this Field object. 返回字段对象声明类型的…

nodejs+python+php+springboot+vue 婚庆公司服务网站管理系统

管理员模块 &#xff08;1&#xff09;信息管理模块&#xff1a;对商家和个人的查看&#xff0c;修改。 &#xff08;2&#xff09;留言管理模块&#xff1a;对留言进行管理&#xff0c;确定是否能进行发布&#xff0c;对留言进行回复。 &#xff08;3&#xff09;权限管理&…

Git常用命令2

git commit --amend 有时候我们提交完了才发现漏掉了几个文件没有添加&#xff0c;或者提交信息写错了。 此时&#xff0c;可以运行带有 --amend 选项的提交命令来重新提交,这个命令会将暂存区中的文件提交。 如果自上次提交以来你还未做任何修改&#xff08;例如&#xff0c;…

【C++入门】一篇搞懂auto关键字

个人主页&#xff1a;平行线也会相交 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 平行线也会相交 原创 收录于专栏【C之路】 目录 作用不那么大的场景auto真正的价值注意点auto不能推导的场景范围for范围for的使用条件 作用不那么大的场景 在C中推出了…