【环境搭建】RocketMQ集群搭建

news2024/11/19 1:45:23

前置条件及效果图

img

条件：

两台服务器，个人是两台腾讯云服务器(其中嫖的朋友一个)；

版本：

  1. rocketmq-version:4.4.0
  2. rocketmq-console(mq控制台)
  3. Java：1.8
  4. maven:3.6.3

集群模式选择：

  1. 单master
  • 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。
  1. 多master
  • **优点：**配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
  • **缺点：**单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。
  1. 多master和多slave(同步)-----本次搭建的模式
  • **优点：**数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
  • **缺点：**性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。
  1. 多master和多slave(异步)
  • **优点：**即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
  • **缺点：**Master宕机，磁盘损坏情况下会丢失少量消息。

下载地址：

rocketMq下载地址：https://rocketmq.apache.org/download

搭建过程

序号IP角色架构模式
1xxxx.xxx.246nameserver、brokerserverMaster1、Slave2
2xxx.xxx…174nameserver、brokerserverMaster2、Slave1

配置Nameserver

NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。

作用：管理Broker；举例：各个邮局的管理机构

vim /etc/hosts
# nameserver
xxx.xxx.xxx.174 rocketmq-nameserver1
xxx.xxx.xxx.246 rocketmq-nameserver2

重启下网卡使得配置生效：

# 查看网卡名字
systemctl list-unit-files | grep -i network
# 根据名字重启
systemctl restart network

关闭防火墙，开放端口号：在腾讯云中我是开放了所有端口。

# 关闭防火墙
systemctl stop firewalld.service 
# 查看防火墙的状态
firewall-cmd --state 
# 禁止firewall开机启动
systemctl disable firewalld.service

配置环境变量

Java环境配置和maven的配置：https://www.cnblogs.com/xbhog/p/15213838.html

rocketMQ的配置：将下载的包上传至服务器，获得其对应路径，进行配置

vim /etc/profile

#set rocketmq 在profile文件的末尾加入如下命令
ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-4.4.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

配置生效：

source /etc/profile

配置主从节点(xxx.xxx.xxx.246服务器)

保证一主一从：

xxx.xxx.xxx.246服务器修改的配置文件：broker-b.properties，broker-a-s.properties

xxx.xxx.xxx.174服务器修改的配置文件：broker-a.properties，broker-b-s.properties

创建所需要的存储路径：

主节点的文件创建：

mkdir -p /home/ubuntu/rocketmq/store
mkdir /home/ubuntu/rocketmq/store/commitlog
mkdir /home/ubuntu/rocketmq/store/consumequeue
mkdir /home/ubuntu/rocketmq/store/index

从节点的文件创建：

mkdir -p /home/ubuntu/rocketmq/store-s
mkdir /home/ubuntu/rocketmq/store-s/commitlog
mkdir /home/ubuntu/rocketmq/store-s/consumequeue
mkdir /home/ubuntu/rocketmq/store-s/index

注意的是，主节点和从节点使用的文件不能一样，否则启动不了。

进入路径：/rocketmq-all-4.4.0-bin-release/conf/2m-2s-sync(同步配置文件)

img

主配置文件：broker-b.properties

下面的配置的时候只需要修改以下几点：

  1. brokerIP1：(配置服务器的外网地址)非常重要，否则启动以后，在mq-console会出现内网地址
  2. namesrvAddr：配置两台服务器的外网地址加端口号
  3. brokerRole=SYNC_MASTER（主节点）
  4. storePathRootDir
  5. commitLog 存储路径
  6. storePathConsumeQueue 消费队列存储路径存储路径
  7. storePathIndex 消息索引存储路径
  8. storeCheckpoint 文件存储路径
  9. abort 文件存储路径
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#非常重要，否则启动以后，在mq-console会出现内网地址
brokerIP1=xxx.xxx.xxx.246
#nameServer地址，分号分割
namesrvAddr=xxx.xxx.xxx.246:9876;xxx.xxx.xxx.174:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/ubuntu/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/home/ubuntu/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/ubuntu/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/ubuntu/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/ubuntu/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/ubuntu/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH

从配置文件：broker-a-s.properties

下面的配置的时候只需要修改以下几点：

  1. brokerIP1：(配置服务器的外网地址)非常重要，否则启动以后，在mq-console会出现内网地址
  2. namesrvAddr：配置两台服务器的外网地址加端口号
  3. brokerRole=SLAVE(从节点)
  4. storePathRootDir
  5. commitLog 存储路径
  6. storePathConsumeQueue 消费队列存储路径存储路径
  7. storePathIndex 消息索引存储路径
  8. storeCheckpoint 文件存储路径
  9. abort 文件存储路径
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
brokerIP1=xxx.xxx.xxx.246
#nameServer地址，分号分割
namesrvAddr=xxx.xxx.xxx.246:9876;xxx.xxx.xxx.174:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/ubuntu/rocketmq/store-s
#commitLog 存储路径
storePathCommitLog=/home/ubuntu/rocketmq/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/ubuntu/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/home/ubuntu/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/home/ubuntu/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/home/ubuntu/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

启动服务

在xxx.xxx.xxx.246服务器上执行启动操作：

首先需要修改启动脚本文件(runbroker)：

cd rocketmq-all-4.4.0-bin-release/bin
vim runbroker.sh
# 替换原来的信息：原来大小是G
#===========================================================================================
# JVM Configuration
#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

同理修改启动脚本(runserver)

cd rocketmq-all-4.4.0-bin-release/bin
vim runserver.sh
# 替换原来的信息：原来大小是G
#===========================================================================================
# JVM Configuration
#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

启动nameserve:

cd rocketmq-all-4.4.0-bin-release/bin

nohup sh mqnamesrv &

启动broker,并设置启动日志的存放地址(启动前需要创建日志路径):

nohup sh mqbroker -c ./conf/2m-2s-sync/broker-b.properties >./broker-b.log &
nohup sh mqbroker -c ./conf/2m-2s-sync/broker-a-s.properties >./broker-a-s.log &

查看启动效果（启动成功）：

root@VM-4-11-ubuntu:/home/ubuntu/rocketmq-all-4.4.0-bin-release# jps
796522 NamesrvStartup
2081303 BrokerStartup
2080501 BrokerStartup

服务器(xxx.xxx.xxx.174)相关操作如上。

客户端搭建请求集群

集群监控平台搭建

RocketMQ有一个对其扩展的开源项目incubator-rocketmq-externals，这个项目中有一个子模块叫rocketmq-console，这个便是管理控制台项目了，先将incubator-rocketmq-externals拉到本地，因为我们需要自己对rocketmq-console进行编译打包运行。

git clone https://github.com/apache/rocketmq-externals
cd rocketmq-console
mvn clean package -Dmaven.test.skip=true

打包前需要在rocketmq-console中配置下namesrv集群地址,

cd \rocketmq-console\src\main\resources

# 编辑application.properties
server.contextPath=
server.port=8080

### SSL setting
#server.ssl.key-store=classpath:rmqcngkeystore.jks
#server.ssl.key-store-password=rocketmq
#server.ssl.keyStoreType=PKCS12
#server.ssl.keyAlias=rmqcngkey

#spring.application.index=true
spring.application.name=rocketmq-console
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
spring.http.encoding.force=true
logging.config=classpath:logback.xml
#if this value is empty,use env value rocketmq.config.namesrvAddr  NAMESRV_ADDR | now, you can set it in ops page.default localhost:9876
rocketmq.config.namesrvAddr=xxx.xxx.xxxx.174:9876;xxx.xxx.xxx.246:9876
#if you use rocketmq version < 3.5.8, rocketmq.config.isVIPChannel should be false.default true
rocketmq.config.isVIPChannel=
#rocketmq-console's data path:dashboard/monitor
rocketmq.config.dataPath=/tmp/rocketmq-console/data
#set it false if you don't want use dashboard.default true
rocketmq.config.enableDashBoardCollect=true
#set the message track trace topic if you don't want use the default one
rocketmq.config.msgTrackTopicName=
rocketmq.config.ticketKey=ticket

#Must create userInfo file: ${rocketmq.config.dataPath}/users.properties if the login is required
rocketmq.config.loginRequired=false

生成jar包，上传服务器，

启动：nohup java -jar rocketmq-console-ng-1.0.1.jar >./rockermq-console.log &

img

请求地址为：http://xx.xxx.xxx.246:8080/#/cluster

客户端请求

pom.xml配置

<properties>
    <java.version>1.8</java.version>
    <rocketmq-spring-boot-starter-version>2.0.3</rocketmq-spring-boot-starter-version>
</properties>
<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
    <!--rocket-->
    <dependency>
        <groupId>org.apache.rocketmq</groupId>
        <artifactId>rocketmq-client</artifactId>
        <version>4.9.3</version>
    </dependency>
    <dependency>
        <groupId>org.apache.rocketmq</groupId>
        <artifactId>rocketmq-spring-boot-starter</artifactId>
        <version>${rocketmq-spring-boot-starter-version}</version>
    </dependency>
</dependencies>
# application.properties
rocketmq.name-server=xxx.xxx.xxx.174:9876;xxx.xxx.xxx.246:9876
rocketmq.producer.group=my-group

img

结果：Receive message：hello springboot rocketmq

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/112696.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Django】第三课 基于Django超市订单管理系统开发

【Django】第三课 基于Django超市订单管理系统开发

概念 本文在上一文之上&#xff0c;针对管理员&#xff0c;经理&#xff0c;普通员工身份的用户操作供应商管理模块功能。 功能实现 供应商管理模块属于业务功能&#xff0c;这里管理员不具备操作权限&#xff0c;而经理具备与供应商之间谈合作的实际需要&#xff0c;因此经…
阅读更多...
Linux | 进程理解，fork | 进程地址空间

Linux | 进程理解，fork | 进程地址空间

文章目录冯诺依曼体系结构的理解为什么要有内存的存在&#xff1f;操作系统的管理进程的理解系统调用接口进程的查看fork进程状态Linux进程具体的状态孤儿进程总结进程优先级怎样修改优先级&#xff1f;进程其他概念进程抢占进程地址空间利用代码验证地址区域验证堆区和栈区的增…
阅读更多...
python3GUI--音乐播放器(精简版)By:PyQt5（附下载地址）

python3GUI--音乐播放器(精简版)By:PyQt5（附下载地址）

文章目录一&#xff0e;前言二&#xff0e;预览1.主界面2.歌单页3.歌词页4.播放列表5.mini6.设置三&#xff0e;心得1.解耦2.体验优化3.歌词显示四&#xff0e;总结一&#xff0e;前言 传送门&#xff1a; 1.python3GUI–打造一款音乐播放器By:PyQt5&#xff08;附下载地址&am…
阅读更多...
LD_PRELOAD劫持

LD_PRELOAD劫持

在前面UUCTF的uploadinject题&#xff0c;遇到了 LD_PRELOAD劫持&#xff0c;之前没遇见过&#xff0c;刚好借此机会学一学。不能小瞧这个变量&#xff0c;它甚至可以弹shell&#xff0c;绕过disable_functions&#xff0c;非常危险。下面来介绍一下这个变量&#xff0c;以及怎…
阅读更多...
XDocReport使用入门

XDocReport使用入门

XDocReport 简介 XDocReport是GitHub上根据麻省理工学院许可证开源的Wrod导出框架。XDocReport可以根据ODT、Doc、Docx文档模板通过模板引擎语法&#xff08;Freemarker、Velocity&#xff09;转换为另外一种格式文档&#xff08;Doc、Docx、XHTML、PDF&#xff09;。 XDocR…
阅读更多...
防沉迷管理系统

防沉迷管理系统

开发工具(eclipse/idea/vscode等)&#xff1a; 数据库(sqlite/mysql/sqlserver等)&#xff1a; 功能模块(请用文字描述&#xff0c;至少200字)&#xff1a; 1、用户模块 1.1注册&#xff1a;用户通过注册生产账号&#xff0c;并在数据库存储数据 1.2登录&#xff1a;用户登录后…
阅读更多...
k8s学习-CKA真题-k8s升级（kubeadm、kubelet、kubectl等）

k8s学习-CKA真题-k8s升级（kubeadm、kubelet、kubectl等）

目录题目解析命令准备工作升级组件升级kubectl、kubelet收尾结果killer 模拟环境题目解析解题参考题目 解析 结合博主当前环境&#xff0c;调整后题目为&#xff1a; 现有的 Kubernetes 集权正在运行的版本是 1.23.6&#xff0c;仅将主节点上的所有 kubernetes 控制面板和组件…
阅读更多...
【语音处理】基于加权压力匹配方法（WPMM）的声音系统研究（Matlab代码实现）

【语音处理】基于加权压力匹配方法（WPMM）的声音系统研究（Matlab代码实现）

&#x1f468;‍&#x1f393;个人主页&#xff1a;研学社的博客 &#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜…
阅读更多...
【小程序】案例 - 本地生活（列表页面）

【小程序】案例 - 本地生活（列表页面）

1. 演示页面效果以及主要功能 页面导航并传参 上拉触底时加载下一页数据 下拉刷新列表数据 2. 列表页面的 API 接口 以分页的形式&#xff0c;加载指定分类下商铺列表的数据&#xff1a; 接口地址 https://www.escook.cn/categories/:cate_id/shops URL 地址中的 :cate…
阅读更多...
博泰应宜伦：智能汽车上攻时刻，需要“国家级”平台登场

博泰应宜伦：智能汽车上攻时刻，需要“国家级”平台登场

作者 | 张祥威 编辑 | 王博汽车智能化转型的道路上&#xff0c;有个问题可能并非杞人忧天&#xff0c;而是值得整个行业警醒的。那就是&#xff1a; 中国的智能汽车发展&#xff0c;是否会被国外“卡脖子”&#xff1f; 卡脖子的担忧&#xff0c;其实也可以理解为&#xff0c;中…
阅读更多...
【Linux】shell及其运行原理

【Linux】shell及其运行原理

目录1.什么是shell2.shell的功能3.shell的感性理解4.为什么不安装图形化界面1.什么是shell shell &#xff1a; 操作系统内核的外壳 通常来讲&#xff0c;计算机硬件是由运算器、控制器、存储器、输入/输出设备等硬件共同组成的&#xff0c;而让各种硬件设备各司其职且能协同运…
阅读更多...
【基础强训】day3

【基础强训】day3

一、选择题 &#x1f4a6;第1题&#xff1a; 以下程序的输出结果是&#xff08;&#xff09; #include <stdio.h> main() { char a[10] {1, 2, 3, 4, 5, 6, 7, 8, 9, 0}, *p; int i; i 8; p a i; printf("%s\n", p - 3); } A 6 B 6789 C 6 D 789 B 先定义…
阅读更多...
阳了之后，python实用工具之：疫情信息快速查看

阳了之后，python实用工具之：疫情信息快速查看

嗨害大家好鸭&#xff01;我是小熊猫&#xff01;&#xff08;阳了个阳版&#xff09; &#xff08;先给大家消消毒&#xff09; 不好意思&#xff0c;很久没给大家更新了… 主要是小熊猫我不小心阳了… 大家要多注意自己的身体健康 多喝点热水 这个真的是个好东西 在家里稍…
阅读更多...
深度学习—00入门 神经网络 pytorch

深度学习—00入门 神经网络 pytorch

1、深度学习简介 深度学习是机器学习的一个分支&#xff0c;简单来说就是通过人工神经网络&#xff0c;强行在业务的 输入 和 输出 之间&#xff0c;暴力耦合一个出一个数学模型。 1.1 深度学习特点 1、由于是暴力耦合出来的模型&#xff0c;自然模型可解释性很差&#xff0c…
阅读更多...
STM32 cubeMX配置OLED

STM32 cubeMX配置OLED

文章目录前言一、OLED的接线二、cubeMX的配置三、OLED的驱动代码四、OLED的使用总结前言 本篇文章主要介绍OLED的操作和使用。 一、OLED的接线 OLED一共有四根线这里我使用的是IIC的OLED显示屏。 VCC----3.3V或者5V GND-----GND SDA-----PB7 SCL-----PB6 二、cubeMX的配置 …
阅读更多...
TFT-LCD屏幕触摸校准

TFT-LCD屏幕触摸校准

TFT-LCD屏幕触摸校准 触摸屏幕分类 1.电阻屏 电阻屏的主要部分是一块与显示器表面配合非常好的电阻薄膜屏&#xff0c;这是一种多层的复合薄膜&#xff0c;由一层玻璃或有机玻璃作为基层&#xff0c;表面涂有一层秀明的导电层&#xff0c;上面再盖有一层外表硬化处理、光滑防…
阅读更多...
通达信量化接口需要被程序化执行吗？

通达信量化接口需要被程序化执行吗？

其实通达信量化接口其实是量化交易模型的需要被执行的一种方式&#xff0c;但如果你交易者的策略模型采用比较中低频的交易执行方式&#xff0c;比如每天只交易一次&#xff0c;甚至每周或每月才轮动一次。那么小编认为通达信量化接口建议是否程序化执行也是一个非常重要的指标…
阅读更多...
UI自动化测试-selenium元素定位

UI自动化测试-selenium元素定位

在使用Selenium和WebDriver进行UI自动化测试时&#xff0c;我们首先需要对元素定位&#xff0c;那么如何来定位元素呢&#xff1f; HTML 在进行元素定位之前&#xff0c;我们要对html代码有所了解。 <div classs_form><div classs_form_wrapper><div idlg>…
阅读更多...
菜鸟程序员，被无良HR欺骗，因祸得福，竟“意外”拿下美团offer

菜鸟程序员，被无良HR欺骗，因祸得福，竟“意外”拿下美团offer

前因后果 先讲述一下自己这次被无良HR欺骗坑惨的经历吧&#xff0c;面试的是一家上海某电商公司&#xff0c;给的薪资是不错。面试的时候&#xff0c;找我要了工资流水&#xff0c;然后给了我口头offer&#xff0c;就让我回去等了邮件了。回去之后就觉得offer没啥问题&#xff…
阅读更多...
tomcat工作任务训练

tomcat工作任务训练

文章目录1.安装jdk1.8 tomcat9.0 发布java项目部署java环境部署tomcat启动tomcat&#xff0c;测试访问上传项目安装数据库&#xff0c;建库建户web页面配置jpress测试写文章&#xff0c;上传附件2.tomcat多实例安装 比如 8080 8081 8082 发布3个论坛项目 war包也给你了tomcat多…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023