RocketMQ 原理介绍及详细安装教程

news2025/2/21 23:41:51

一、为什么选择RocketMQ

Apache RocketMQ 自诞生以来，因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商广泛采用。历经十余年的大规模场景打磨，RocketMQ 已经成为业内共识的金融级可靠业务消息首选方案，被广泛应用于互联网、大数据、移动互联网、物联网等领域的业务场景。

1、RocketMQ优缺点

RocketMQ 优点：

  • 单机吞吐量：十万级
  • 可用性：非常高，分布式架构
  • 消息可靠性：经过参数优化配置，消息可以做到 0 丢失
  • 功能支持：MQ 功能较为完善，还是分布式的，扩展性好
  • 支持 10 亿级别的消息堆积，不会因为堆积导致性能下降
  • 源码是 Java，方便结合公司自己的业务进行二次开发
  • 天生为金融互联网领域而生，对于可靠性要求很高的场景，尤其是电商里面的订单扣款，以及业务削峰，在大量交易涌入时，后端可能无法及时处理的情况
  • RoketMQ 在稳定性上可能更值得信赖，这些业务场景在阿里双11已经经历了多次考验

RocketMQ 缺点：

  • 支持的客户端语言不多，目前仅支持 Java 及 C++，而且 C++ 还不成熟
  • 没有在 MQ 核心中去实现 JMS 等接口，有些系统要迁移需要修改大量代码

2、各消息队列性能对比

特性ActiveMqRabbitMQRocketMQKafka
开发语言javaerlangjavascala
单机吞吐量万级万级10万级10万级
时效性ms级us级ms级ms级
可用性高(主从架构)高(主从架构)非常高(分布式架构)非常高(分布式架构)
功能特性成熟的产品，在很多公司得到应用；有较多的文档；各种协议支持较好基于erlang开发，所以并发能力很强，性能极其好，延时很低;管理界面较丰富MQ功能比较完备，扩展性佳只支持主要的MQ功能，像一些消息查询，消息回溯等功能没有提供，毕竟是为大数据准备的，在大数据领域应用广。

二、RocketMQ基本概念了解

在了解rocketmq之前有必要对rocketmq的相关概念混个脸熟

主题（Topic）

Apache RocketMQ 中消息传输和存储的顶层容器，用于标识同一类业务逻辑的消息。主题通过TopicName来做唯一标识和区分。

消息类型（MessageType）

Apache RocketMQ 中按照消息传输特性的不同而定义的分类，用于类型管理和安全校验。 Apache RocketMQ 支持的消息类型有普通消息、顺序消息、事务消息和定时/延时消息。

消息队列（MessageQueue）

队列是 Apache RocketMQ 中消息存储和传输的实际容器，也是消息的最小存储单元。 Apache RocketMQ 的所有主题都是由多个队列组成，以此实现队列数量的水平拆分和队列内部的流式存储。队列通过QueueId来做唯一标识和区分。

消息（Message）

消息是 Apache RocketMQ 中的最小数据传输单元。生产者将业务数据的负载和拓展属性包装成消息发送到服务端，服务端按照相关语义将消息投递到消费端进行消费。

消息视图（MessageView）

消息视图是 Apache RocketMQ 面向开发视角提供的一种消息只读接口。通过消息视图可以读取消息内部的多个属性和负载信息，但是不能对消息本身做任何修改。

消息标签（MessageTag）

消息标签是Apache RocketMQ 提供的细粒度消息分类属性，可以在主题层级之下做消息类型的细分。消费者通过订阅特定的标签来实现细粒度过滤。

消息位点（MessageQueueOffset）

消息是按到达Apache RocketMQ 服务端的先后顺序存储在指定主题的多个队列中，每条消息在队列中都有一个唯一的Long类型坐标，这个坐标被定义为消息位点。

消费位点（ConsumerOffset）

一条消息被某个消费者消费完成后不会立即从队列中删除，Apache RocketMQ 会基于每个消费者分组记录消费过的最新一条消息的位点，即消费位点。

消息索引（MessageKey）

消息索引是Apache RocketMQ 提供的面向消息的索引属性。通过设置的消息索引可以快速查找到对应的消息内容。

生产者（Producer）

生产者是Apache RocketMQ 系统中用来构建并传输消息到服务端的运行实体。生产者通常被集成在业务系统中，将业务消息按照要求封装成消息并发送至服务端。

事务检查器（TransactionChecker）

Apache RocketMQ 中生产者用来执行本地事务检查和异常事务恢复的监听器。事务检查器应该通过业务侧数据的状态来检查和判断事务消息的状态。

事务状态（TransactionResolution）

Apache RocketMQ 中事务消息发送过程中，事务提交的状态标识，服务端通过事务状态控制事务消息是否应该提交和投递。事务状态包括事务提交、事务回滚和事务未决。

消费者分组（ConsumerGroup）

消费者分组是Apache RocketMQ 系统中承载多个消费行为一致的消费者的负载均衡分组。和消费者不同，消费者分组并不是运行实体，而是一个逻辑资源。在 Apache RocketMQ 中，通过消费者分组内初始化多个消费者实现消费性能的水平扩展以及高可用容灾。

消费者（Consumer）

消费者是Apache RocketMQ 中用来接收并处理消息的运行实体。消费者通常被集成在业务系统中，从服务端获取消息，并将消息转化成业务可理解的信息，供业务逻辑处理。

消费结果（ConsumeResult）

Apache RocketMQ 中PushConsumer消费监听器处理消息完成后返回的处理结果，用来标识本次消息是否正确处理。消费结果包含消费成功和消费失败。

订阅关系（Subscription）

订阅关系是Apache RocketMQ 系统中消费者获取消息、处理消息的规则和状态配置。订阅关系由消费者分组动态注册到服务端系统，并在后续的消息传输中按照订阅关系定义的过滤规则进行消息匹配和消费进度维护。

消息过滤

消费者可以通过订阅指定消息标签（Tag）对消息进行过滤，确保最终只接收被过滤后的消息合集。过滤规则的计算和匹配在Apache RocketMQ 的服务端完成。

重置消费位点

以时间轴为坐标，在消息持久化存储的时间范围内，重新设置消费者分组对已订阅主题的消费进度，设置完成后消费者将接收设定时间点之后，由生产者发送到Apache RocketMQ 服务端的消息。

消息轨迹

在一条消息从生产者发出到消费者接收并处理过程中，由各个相关节点的时间、地点等数据汇聚而成的完整链路信息。通过消息轨迹，您能清晰定位消息从生产者发出，经由Apache RocketMQ 服务端，投递给消费者的完整链路，方便定位排查问题。

消息堆积

生产者已经将消息发送到Apache RocketMQ 的服务端，但由于消费者的消费能力有限，未能在短时间内将所有消息正确消费掉，此时在服务端保存着未被消费的消息，该状态即消息堆积。

事务消息

事务消息是Apache RocketMQ 提供的一种高级消息类型，支持在分布式场景下保障消息生产和本地事务的最终一致性。

定时/延时消息

定时/延时消息是Apache RocketMQ 提供的一种高级消息类型，消息被发送至服务端后，在指定时间后才能被消费者消费。通过设置一定的定时时间可以实现分布式场景的延时调度触发效果。

顺序消息

顺序消息是Apache RocketMQ 提供的一种高级消息类型，支持消费者按照发送消息的先后顺序获取消息，从而实现业务场景中的顺序处理。

三、领域模型概述

Apache RocketMQ 是一款典型的分布式架构下的中间件产品，使用异步通信方式和发布订阅的消息传输模型。 Apache RocketMQ 产品具备异步通信的优势，系统拓扑简单、上下游耦合较弱，主要应用于异步解耦，流量削峰填谷等场景。

1、Apache RocketMQ领域模型

在这里插入图片描述
如上图（官方图）所示，Apache RocketMQ 中消息的生命周期主要分为消息生产、消息存储、消息消费这三部分。
生产者生产消息并发送至 Apache RocketMQ 服务端，消息被存储在服务端的主题中，消费者通过订阅主题消费消息。

2、通信方式介绍

分布式系统架构思想下，将复杂系统拆分为多个独立的子模块，例如微服务模块。此时就需要考虑子模块间的远程通信，典型的通信模式分为以下两种：

一种是同步的RPC远程调用
在这里插入图片描述
同步RPC调用模型下，不同系统之间直接进行调用通信，每个请求直接从调用方发送到被调用方，然后要求被调用方立即返回响应结果给调用方，以确定本次调用结果是否成功。 注意 此处的同步并不代表RPC的编程接口方式，RPC也可以有异步非阻塞调用的编程方式，但本质上仍然是需要在指定时间内得到目标端的直接响应。

一种是基于中间件代理的异步通信方式
在这里插入图片描述

异步消息通信模式下，各子系统之间无需强耦合直接连接，调用方只需要将请求转化成异步事件（消息）发送给中间代理，发送成功即可认为该异步链路调用完成，剩下的工作中间代理会负责将事件可靠通知到下游的调用系统，确保任务执行完成。该中间代理一般就是消息中间件。

异步通信的优势

  • 系统拓扑简单由于调用方和被调用方统一和中间代理通信，系统是星型结构，易于维护和管理。
  • 上下游耦合性弱上下游系统之间弱耦合，结构更灵活，由中间代理负责缓冲和异步恢复。 上下游系统间可以独立升级和变更，不会互相影响。
  • 容量削峰填谷基于消息的中间代理往往具备很强的流量缓冲和整形能力，业务流量高峰到来时不会击垮下游。

3、消息传输模型介绍

主流的消息中间件的传输模型主要为点对点模型和发布订阅模型。

点对点模型
在这里插入图片描述
点对点模型也叫队列模型，具有如下特点：

  • 消费匿名：消息上下游沟通的唯一的身份就是队列，下游消费者从队列获取消息无法申明独立身份。
  • 一对一通信：基于消费匿名特点，下游消费者即使有多个，但都没有自己独立的身份，因此共享队列中的消息，每一条消息都只会被唯一一个消费者处理。因此点对点模型只能实现一对一通信。

发布订阅模型
在这里插入图片描述
发布订阅模型具有如下特点：

  • 消费独立：相比队列模型的匿名消费方式，发布订阅模型中消费方都会具备的身份，一般叫做订阅组（订阅关系），不同订阅组之间相互独立不会相互影响。
  • 一对多通信：基于独立身份的设计，同一个主题内的消息可以被多个订阅组处理，每个订阅组都可以拿到全量消息。因此发布订阅模型可以实现一对多通信。

点对点模型和发布订阅模型对比
点对点模型和发布订阅模型各有优势，点对点模型更为简单，而发布订阅模型的扩展性更高。 Apache RocketMQ 使用的传输模型为发布订阅模型，因此也具有发布订阅模型的特点。

四、RocketMQ简要工作流程

在这里插入图片描述

NameServer： NameServer 是专为 RocketMQ 设计的轻量级名称服务，具有简单、可集群横吐扩展、无状态，节点之间互不通信等特点。

Broker集群： Broker用于接收生产者发送消息，或者消费者消费消息的请求。一个Broker集群由多组Master/Slave组成，Master可写可读，Slave只可以读，Master将写入的数据同步给Slave。每个Broker节点，在启动时，都会遍历NameServer列表，与每个NameServer建立长连接，注册自己的信息，之后定时上报。

Producer集群： 消息的生产者，通过NameServer集群获得Topic的路由信息，包括Topic下面有哪些Queue，这些Queue分布在哪些Broker上等。Producer只会将消息发送到Master节点上，因此只需要与Master节点建立连接。

Consumer集群： 消息的消费者，通过NameServer集群获得Topic的路由信息，连接到对应的Broker上消费消息。注意，由于Master和Slave都可以读取消息，因此Consumer会与Master和Slave都建立连接。

五、RocketMQ安装启动

我们以windows机器为例，linux也是一样

1、下载

下载地址：
https://archive.apache.org/dist/rocketmq/5.0.0/
https://www.apache.org/dyn/closer.cgi?path=rocketmq/5.0.0/rocketmq-all-5.0.0-bin-release.zip

我们选择5.0解压缩版本
在这里插入图片描述

放到自己的工作目录解压：
在这里插入图片描述

2、配置环境变量修改堆内存

配置环境变量
在这里插入图片描述

修改堆内存大小（这个可以根据机器适当调整，也可不做调整）

进去到bin目录，修改runserver.cmd 和 runbroker.cmd 的启动脚本
在这里插入图片描述
在这里插入图片描述

3、启动NameServer

在bin目录下进入cmd模式，执行 start mqnamesrv.cmd

在这里插入图片描述
我们可以看到启动之后报了一个错，找不到或无法加载主类
解决办法：
编辑runbroker.cmd 为 %CLASSPATH% 增加 双引号
在这里插入图片描述

大家需要注意一点，rocketmq的安装路径一定不要有空格，否则还会提示找不到主类（我上面的截图中因为有空格，所以又失败了，大家也检查下自己的安装路径）

再次启动：
这次成功了
在这里插入图片描述

4、启动Broker

bin目录下进入cmd
执行如下命令 （autoCreateTopicEnable=true 允许自动创建topic）

mqbroker.cmd -n localhost:9876 autoCreateTopicEnable=true

看到如下提示标识启动成功
在这里插入图片描述

六、安装rocketmq-console管理的UI工具

rocketmq-console下载地址：
https://github.com/apache/rocketmq-externals

修改application.properties配置文件：
在这里插入图片描述
在这里插入图片描述

启动项目：
1、执行命令进行打包（首先电脑要安装maven并配置环境变量）

mvn clean package -Dmaven.test.skip=true

在这里插入图片描述

看到目录下生成了target文件夹表示打包成功
在这里插入图片描述

进到target目录，
执行启动命令

java -jar rocketmq-console-ng-1.0.0.jar

在这里插入图片描述

浏览器访问 http://localhost:8080/#/

在这里插入图片描述

七、演示

1、发送消息

如果没有主题先新增主题，点击发送消息
在这里插入图片描述

在这里插入图片描述

2、消费者接收消息

执行命令，启动消费者监听

set NAMESRV_ADDR=localhost:9876
tools.cmd org.apache.rocketmq.example.quickstart.Consumer

可以看到我们上面发送的消息
在这里插入图片描述

管理端查看消息：
在这里插入图片描述

分割线-----------------------------------------------------------------------------------------------------------

创作不易，三连支持一下吧 👍

最后的最后送大家一句话

白驹过隙，沧海桑田

与君共勉

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/183777.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

python使用pywin32库将ppt导出为高清图片

python使用pywin32库将ppt导出为高清图片

python使用pywin32库将ppt导出为高清图片 作者：虚坏叔叔 博客：https://xuhss.com 早餐店不会开到晚上，想吃的人早就来了！😄 一、安装库 需要安装pywin32库 pip install pywin32二、代码原理 WPS高清图片导出需要会…
阅读更多...
Fisco Bcos区块链四（WeBase结点前置服务）

Fisco Bcos区块链四（WeBase结点前置服务）

文章目录区块链开荒技术文档：https://fisco-bcos-documentation.readthedocs.io/zh_CN/latest/index.html5、WeBASE节点前置服务1、前提条件2、拉取代码3. 编译代码4. 修改配置（1）进入dist目录（2）进入conf目录复制配置…
阅读更多...
一些常见代码如from __future__ import ...的功能

一些常见代码如from __future__ import ...的功能

1. 有一些代码在一开始会通过from __future__ import...导入模块。 __future__是什么？ 随着python版本的升级，一些功能也会产生变化，__future__中包括了一些新版本的功能，通过导入__future__中的模块，可以在旧pyth…
阅读更多...
IPSec

IPSec

IPSec是网际层实现IP分组端到端安全传输的机制，由一组安全协议组成。 鉴别首部（Authentication Header，AH）和封装安全净荷（Encapsulating Security Payload，ESP）是其中两个协议，AH和…
阅读更多...
如何云同步vscode的配置到码云(gitee)上

如何云同步vscode的配置到码云(gitee)上

目录 🔥 写在前面 一、安装插件 二、创建Gist 👉 如何获取Gist ID 👉 如何进入代码片段管理页面 三、创建私人令牌 四、插件配置 五、插件使用 👉 上传配置 ：命令为 upload setting 👉 下载配置 …
阅读更多...
基于语义分割Ground Truth（GT）转换yolov5图像分割标签（路面积水检测例子）

基于语义分割Ground Truth（GT）转换yolov5图像分割标签（路面积水检测例子）

基于语义分割Ground Truth（GT）转换yolov5图像分割标签（路面积水检测例子） 概述 随着开发者在issues中对 用yolov5做分割任务的呼声高涨，yolov5团队真的在帮开发者解决问题，v6.0版本之后推出了最新的解决方…
阅读更多...
2、等价类划分

2、等价类划分

如何划分等价类 在给定了输入或外部条件之后&#xff0c;等价类的划分原则如下&#xff1a; 如果输入条件规定了一个取值范围&#xff08;例如&#xff0c;“数量可以是1到999”&#xff09;&#xff0c;那么就应确定出一个有效等价类&#xff08;1<数量<999&#xff0…
阅读更多...
【大唐杯备考】——5G网络架构的演进趋势（学习笔记）

【大唐杯备考】——5G网络架构的演进趋势（学习笔记）

&#x1f4d6; 前言&#xff1a;本期介绍5G网络架构的演进趋势。 目录&#x1f552; 1. 5G网络架构概述&#x1f552; 2. 4G网络架构概述&#x1f552; 3. 核心网架构演进&#xff08;了解&#xff09;&#x1f558; 3.1 2G核心网&#x1f558; 3.2 3G、4G核心网&#x1f558; …
阅读更多...
Golang - 如何编写Go代码

Golang - 如何编写Go代码

Golang - 如何编写Go代码 今天学习下如何在Go模块中开发一个简单的Package包&#xff0c;并介绍Go相关工具&#xff0c;以及如何获取、构建、安装模块等使用方法。本文中的案例需要使用Go 1.13及以上版本。 代码组织 Go程序以package包的形式组织&#xff0c;package包是同一…
阅读更多...
Vue11-事件修饰符

Vue11-事件修饰符

结论&#xff1a;前三最常用 1.prevent 此时点击链接&#xff0c;除了会提示我是一个超链接信息外&#xff0c;a标签还会默认后进行链接跳转&#xff0c;此时为了阻止默认跳转事件&#xff0c;可以加prevent属性实现。此时只有弹框提示是信息&#xff0c;链接不会进行跳转 2.st…
阅读更多...
Aqua Data Studio 22.1.x Crack

Aqua Data Studio 22.1.x Crack

Aqua Data Studio 数据库 IDE 的优势 使用单一数据库工具管理大量数据源的多项任务 轻松开发、执行和共享 SQL 语句 通过复制和粘贴在类似 Excel 的网格中查看、过滤和编辑查询结果 创建可视化和仪表板以通过拖放来分析数据 比较架构、数据、查询结果、文件和文件夹 将数据库逆…
阅读更多...
流量录制工具怎么选？看完这篇文章就懂了

流量录制工具怎么选？看完这篇文章就懂了

流量录制&#xff1a;在不影响用户正常使用的前提下&#xff0c;获取线上用户的真实请求和服务响应结果&#xff0c;将其保存或者转发到目标应用。 采用不同的流量录制手段&#xff0c;可以采集不同传输阶段的流量。 01、流量复制方式 1、基于应用层的复制&#xff1a; 优点…
阅读更多...
Linux串口调试助手

Linux串口调试助手

前言 基于网上资料对相关概念做整理汇总&#xff0c;部分内容引用自文后文章。 在linux下使用串口终端有两个选择&#xff1a; 基于命令行的minicom图形界面的putty&#xff08;xshell没有linux版本&#xff09;1 概述 1.1 Linux的串口设备 Linux下的串口和windows不同&…
阅读更多...
移动web媒体查询

移动web媒体查询

移动web媒体查询媒体查询媒体查询使用场景-1媒体查询使用场景-2媒体查询使用场景-3Bootstrap栅格系统row 类列偏移列嵌套移动web阶段重点知识媒体查询 使用媒体查询做响应式页面,为Bootstrap 做铺垫。 body {background-color: gray; }/* 大于等于768px 为粉色 */ media (min…
阅读更多...
注意力提示

注意力提示

人类的注意力是有限的、有价值和稀缺的资源。 受试者使用非自主性和自主性提示有选择性地引导注意力。前者基于突出性&#xff0c;后者则依赖于意识。 注意力机制与全连接层或者汇聚层的区别源于增加的自主提示。 由于包含了自主性提示&#xff0c;注意力机制与全连接的层或…
阅读更多...
MiG Calendar 6.9.3 for Java Crack

MiG Calendar 6.9.3 for Java Crack

将日历功能添加到您的 Java 应用程序。 使用 MiG Calendar&#xff0c;您可以毫不费力地将任何类型的基于时间的可视化添加到您的应用程序中。您可以创建任何东西&#xff0c;从完整的日历应用程序&#xff08;如 Outlook 或 Apple 的 iCal&#xff09;到电视节目表或航班信息应…
阅读更多...
居家办公 01 - 组网

居家办公 01 - 组网

# 第一步 - 安装虚拟机 vmbox安装&#xff1a;https://www.virtualbox.org/wiki/Downloads # 第二步 - 修改配置 1. 配置虚拟机网络 网卡1&#xff1a;Host-Only&#xff0c;仅主机与虚拟机网络互通 网卡2&#xff1a;NAT&#xff0c;虚拟机访问互联网 2. 配置虚拟机网络 v…
阅读更多...
Lazada、速卖通、沃尔玛、eBay等跨境电商平台怎么做好测评自养号？

Lazada、速卖通、沃尔玛、eBay等跨境电商平台怎么做好测评自养号？

现在亚马逊平台不仅会将产品和店铺进行排名&#xff0c;还会将进listing行排名&#xff0c;不同的排名有不同的影响因素&#xff0c;接下来跟随大家一起去了解清楚亚马逊影响listing排名的因素是什么&#xff1f; 1、卖家权重 亚马逊卖家权重与亚马逊控制的卖家指标相关&…
阅读更多...
大数据技术架构(组件)9——Hive：数学函数

大数据技术架构(组件)9——Hive：数学函数

1.4.2、数学函数注意&#xff1a;当传入值为NULL的时候&#xff0c;返回值大多数也是NULL1.4.2.1、abs作用&#xff1a;返回绝对值select abs(-1),abs(1);1.4.2.2、acos-->从Hive0.13.0作用&#xff1a;如果 -1<a<1 或 NULL&#xff0c;则返回 a 的反余弦值。select a…
阅读更多...
[MySQL]-主从同步实战-系统OOM

[MySQL]-主从同步实战-系统OOM

[MySQL]-主从同步实战-系统OOM 森格 | 2023年1月 本文主要描述了在主从同步过程中&#xff0c;主库非人为重启导致的主从瞬间中断情况的排查及解决。 文章目录[MySQL]-主从同步实战-系统OOM一、问题发现1.1 背景1.2 问题发现二、问题分析2.1 MySQL日志2.2 系统日志三、问题解决…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023