RocketMQ 主题与队列的协同作用解析(既然队列存储在不同的集群中,那要主题有什么用呢?)---管理命令、配置安装

news2025/4/26 2:36:28

 学习之前呢需要会使用linux的基础命令

一.RocketMQ 主题与队列的协同作用解析

在 RocketMQ 中,‌主题(Topic)‌与‌队列(Queue)‌的协同设计实现了消息系统的逻辑抽象与物理存储分离。虽然队列实际存储在不同集群的 Broker 节点上,但主题作为逻辑层面的核心单元,仍具有不可替代的作用:

1. ‌主题是消息的逻辑分类与路由标识
  • 逻辑聚合‌:主题将同一类业务消息聚合为逻辑单元(例如订单消息归入 OrderTopic),生产者只需关注发送到哪个主题,无需感知底层队列的物理分布。
  • 路由依据‌:消息通过主题名称路由到对应集群的队列中。例如,生产者发送到 PaymentTopic 的消息会被自动分配到该主题关联的队列(可能分布在多个集群)。
  • 跨集群协同‌:若队列分布在多个集群,主题的元数据(如队列分布规则)由 NameServer 统一管理,确保生产者/消费者能准确找到目标队列。

2. ‌主题实现消息的订阅与消费隔离
  • 订阅关系管理‌:消费者通过订阅主题来接收消息,而非直接绑定队列。即使队列分布在多个集群,消费者组仍可通过主题名称统一订阅,RocketMQ 自动完成队列分配和负载均衡。
  • 权限控制‌:主题支持独立的权限配置(如读写权限),实现不同业务消息的访问隔离。例如,财务系统仅能访问 FinanceTopic,与订单系统隔离。
  • Tag 过滤扩展‌:在主题基础上,通过 Tag 进一步细分消息类型(如 OrderTopic:TagA),消费者可选择性订阅特定 Tag,减少无关消息处理。

3. ‌主题为运维提供统一管理入口
  • 队列动态扩展‌:当集群扩容时,通过调整主题的队列数量(如从 8 队列增至 16 队列),新队列可自动分配到新增集群的 Broker,无需修改业务代码。
  • 监控与告警‌:主题级别的监控指标(如消息堆积量、消费 TPS)便于快速定位问题。例如,InventoryTopic 的消费延迟告警可直接关联到库存业务。
  • 数据生命周期‌:主题支持独立的消息保留策略(如保存 3 天),不同业务可按需配置,避免全局策略的局限性。
4. ‌主题与队列的协同模型
维度主题(Topic)队列(Queue)
定位逻辑分类单元,定义消息身份与权限物理存储单元,实际承载消息数据
扩展性通过增加队列数量实现横向扩展依赖 Broker 集群扩容提升单队列容量
消费模式支持集群消费(单队列单消费者)或广播消费仅作为存储载体,不直接决定消费模式
运维操作配置权限、Tag 规则、保留策略等调整副本数、存储路径、故障迁移等

实际场景示例

  • 场景‌:电商系统的订单消息(OrderTopic)需要支持每秒 10 万条吞吐量。
  • 实现‌:
    1. 创建 OrderTopic 并设置 32 个队列。
    2. 将队列分布在 4 个集群的 Broker 节点上(每个集群 8 队列)。
    3. 消费者组订阅 OrderTopic,RocketMQ 自动将 32 个队列均分给消费者实例。
    4. 当某个集群故障时,NameServer 将故障队列的路由指向其他集群的副本队列,保障高可用

小结

主题的核心价值在于‌逻辑抽象‌,它屏蔽了底层队列的物理复杂性,同时提供业务层面的统一管理入口。队列的分布式存储解决的是‌性能与可靠性问题‌,而主题则定义了消息的‌业务语义与协作规则‌,两者共同构成 RocketMQ 高并发、高可用的基石。

二.RocketMQ管理命令 

1、updateTopic

作用:修改或创建一个Topic

命令:mqadmin updateTopic -b | -c [-h] [-n ] [-o ] [-p ] [-r ] [-s ] -t [-u ] [-w ]

参数:

  • -n: name server地址列表
  • -c: cluster 名称,表示topic 建在该集群
  • -t: 设置topic名称
  • -h: 打印help信息
  • -o: 设置topic是否为有序的 取值:true、false(默认)
  • -p: 设置topic的权限

示例: 

 mqadmin updateTopic -n localhost:9876 -c DefaultCluster -t testtopic

2、deleteTopic

作用:从broker和nameserver删除topic 

命令:mqadmin deleteTopic -c [-h] [-n ] -t

参数:

  • -n: name server地址列表
  • -c: cluster 名称,表示topic 建在该集群
  • -t: 设置topic名称
  • -h: 打印help信息

示例

mqadmin deleteTopic -n localhost:9876 -c DefaultCluster -t testtopic

3、topicList

作用:从nameserver列出所有topic

命令:mqadmin topicList [-c] [-h] [-n ]

参数:

  • -n: name server地址列表
  • -c: cluster 名称,表示topic 建在该集群
  • -h: 打印help信息

示例

mqadmin topicList -n localhost:9876

4、topicStatus

作用:检查topic的状态信息

命令:mqadmin topicStatus [-h] [-n ] -t

参数:

  • -n: name server地址列表
  • -c: cluster 名称,表示topic 建在该集群
  • -t: 设置topic名称
  • -h: 打印help信息

 示例

mqadmin topicStatus -n localhost:9876 -t testtopic

5、cleanUnusedTopic

作用:清理未使用的topic

命令:mqadmin cleanUnusedTopic [-b ] [-c ] [-h] [-n ]

参数:

  • -n: name server地址列表
  • -b: broker地址
  • -c: 集群名称
  • -h: 打印help信息

6关闭namesrv和broker服务

mqshutdown namesrv

mqshutdown broker

三.RocketMQ安装与配置 

1、首先修改环境变量 

vim /etc/profile
# 文件末尾追加改信息
export ROCKETMQ_HOME=/usr/local/rocketmq
export PATH=$PATH:$ROCKETMQ_HOME/bin
# 生效环境变量
source /etc/profile

2、解压文件

unzip rocketmq-all-5.1.4-bin-release.zip

我们上传安装包至opt目录下,使用该命令将其解压至opt目录下,最后使用mv命令对其进行位置移动和改名-----/usr/local/rocketmq

# 解压到当前目录(/opt)
unzip rocketmq-all-5.0.0-bin-release.zip

# 将解压后的目录移动到/usr/local
mv rocketmq-all-5.0.0-bin-release /usr/local/

# 改名
mv rocketmq-all-5.0.0-bin-release rocketmq

 进入bin目录如下

3、启动NameServer 

nohup sh mqnamesrv &

 

4、启动broker 

nohup sh ./mqbroker -n localhost:9876 & 

使用jps命令查看后发现broker未启动

启动成功后的输出结果 

使用 cat nohup.out 查看日志如下

 很常见的问题

1、java.lang.IllegalAccessError: class org.apache.rocketmq.common.UtilAll (in unnamed module @0x58acb723) cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not export sun.nio.ch to unnamed module 

解决:添加启动参数

修改runbroker文件,添加红色参数 $JAVA ${JAVA_OPT} --add-exports=java.base/sun.nio.ch=ALL-UNNAMED $@

2、堆空间初始值太大也报错 

修改文件runbroker.sh(将光标位置修改为如下数字即可)

通过上述修改,将初始堆内存512M,最大堆内存设置为512M,新生代(Java中用于存储创建对象的部分)设置为256M,修改完成后便可以正常启动以及查看日志。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2342885.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

从岗位依附到能力生态:AI革命下“什么叫就业”的重构与价值

在人工智能(AI)技术深刻重塑社会生产关系的当下,“就业”这一概念正经历着从“职业绑定”到“能力变现”的范式转移。本文将从传统就业观的解构、AI赋能艺术教育的价值逻辑、以及未来就业形态的进化方向三个维度,探讨技术驱动下就业的本质变革,并揭示AI技术如何通过教育创…

海外版高端Apple科技汽车共享投资理财系统

这一款PHP海外版高端Apple、科技汽车、共享投资理财系统phplaravel框架。

企业为何要禁止“片断引用开源软件代码”?一文看透!

开篇故事:一段“开源代码”引发的百亿级灾难 某电商平台为快速上线新功能,从GitHub复制了一段“高性能加密算法”代码到支付系统中。 半年后,黑客通过该代码中的隐藏后门,盗取百万用户信用卡信息。 事后调查:这段代…

【C++指南】告别C字符串陷阱:如何实现封装string?

🌟 各位看官好,我是egoist2023! 🌍 种一棵树最好是十年前,其次是现在! 💬 注意:本章节只详讲string中常用接口及实现,有其他需求查阅文档介绍。 🚀 今天通过了…

国内ip地址怎么改?详细教程

在中国,更改IP地址需要遵守规则,并确保所有操作合规。在特定情况下,可能需要修改IP地址以满足不同需求或解决特定问题。以下是一些常见且合法的IP地址变更方法及注意事项: 一、理解IP地址 IP地址是设备在网络中的唯一标识&#x…

模式设计简介

设计模式简介 设计模式是软件开发中经过验证的最佳实践解决方案,它是针对特定问题的通用解决方案,能够帮助开发者提升代码的可维护性、可扩展性和复用性。设计模式并非具体的代码实现,而是一种解决问题的思路和方法论,它源于大量的实践经验总结,旨在解决软件开发过程中反…

众趣科技X世界读书日丨数字孪生技术赋能图书馆空间智慧化运营

4月23日,是第30个“世界读书日”,不仅是庆祝阅读的日子,更是思考知识传播未来的契机。 图书馆作为主要传播图书的场所,在科技的发展中,图书馆正面临前所未有的挑战,联合国数据显示,全球近30%的…

MySQL 事务(详细版)

目录 一、事务简介 1、事务的概念 2、事务执行的案例 3、对于事务的理解 二、事务操作 (一)未控制事务 (二)控制事务一 (三)控制事务二 三、事务四大特性 四、并发事务问题 五、事务隔离…

c++之网络编程

网络编程:使得计算机程序能够在网络中发送和接受数据,从而实现分布式系统和网络服务的功能。 作用:使应用程序能够通过网络协议与其他计算机程序进行数据交换 基本概念 套接字(socket): 套接字是网络通信…

MySQL8的安装方法

概述: MySQL对于开发人员来说,并不陌生。但是很多朋友提起安装MySQL就很头疼,如果一不小心安装失败,再现安装第二遍就变得更加头疼。今天给大家分享一个比较非常简单好安装的方法,并且删除或者卸载也都非常容易 下载…

CF每日4题

1500左右的做到还是有点吃力 2093E 1500 二分答案 题意:给定一个长度为 n 的数组,现在要把它切成 k 份,求每一份最小的MEX中的最大值。 就是找最大值,但是这个值是所有段最小的值采用二分答案,二分这个值&#xff0…

基于 Spring Boot 瑞吉外卖系统开发(七)

基于 Spring Boot 瑞吉外卖系统开发(七) 新增菜品页面 菜品管理页面提供了一个“新增菜品”按钮,单击该按钮时,会打开新增菜品页面。 菜品分类列表 首先要获取分类列表数据。 请求路径/category/list,请求方法GE…

二项式分布html实验

二项式分布html实验 本文将带你一步步搭建一个纯前端的二项分布 Monte-Carlo 模拟器。 只要一个 HTML 文件,打开就能运行: 动态输入试验次数 n、成功概率 p 与重复次数 m点击按钮立刻得到「模拟频数 vs 理论频数」柱状图随着 m 增大,两组柱状…

大模型如何作为reranker?

大模型如何作为reranker? 作者:爱工作的小小酥 原文地址:https://zhuanlan.zhihu.com/p/31805674335 只为了感动自己而去做一些事情纯属浪费时间。 ————爱工作的小小酥 引言 用于检索的模型中,我们最熟悉的就是单塔和双塔了&…

发放优惠券

文章目录 概要整体架构流程技术细节小结 概要 发放优惠券 处于暂停状态,或者待发放状态的优惠券,在优惠券列表中才会出现发放按钮,可以被发放: 需求分析以及接口设计 需要我们选择发放方式,使用期限。 发放方式分…

试完5个AI海报工具后,我投了秒出设计一票!

随着AI技术的不断发展,越来越多的AI生成工具进入了设计领域,海报生成工具成为了其中的重要一员。今天,我们将为大家介绍三款热门的AI海报生成工具,并进行对比分析,帮助大家选择最适合的工具。 1. 秒出设计:…

PH热榜 | 2025-04-25

1. LambdaTest Accessibility Testing Suite 标语:轻松点击,确保网站的包容性和合规性。 介绍:LambdaTest 的可访问性测试工具可以自动识别你的网站和网络应用中是否符合 WCAG(网页内容无障碍指南)标准。你可以设置定…

模方ModelFun是什么?如何安装?

摘要:本文主要介绍模方ModelFun的软件简介、特性、安装环境配置、插件及软件安装。 1.软件简介 模方是一款实景三维模型的场景修饰与单体化建模工具,是建模的后处理软件,包括网格模型编辑和单体化建模两大模块。 场景修饰模块可以对 OBJ、OSG…

[AI Workflow] 基于多语种知识库的 Dify Workflow 构建与优化实践

在实际应用中,基于用户提供的资料快速构建高质量的知识库,并以此背景精准回答专业问题,是提升人工智能系统实用性的重要方向。然而,在跨语种环境下(如中、日、英混合资料与提问),传统的知识检索和回答生成流程往往面临匹配不准确、信息检索不全面的问题。 本文将介绍一种…