RocketMq集群搭建

news2024/11/16 10:32:08

  • 各个角色介绍：

    • producer：消息的发送者；举例：发信者
    • consumer：消息的接受者；举例：收信者
    • broker：暂存和传输消息；举例：邮局
    • NameServer：管理Broker；举例：各个邮局的管理机构
    • Topic：区分消息的种类；一个发送者可以发送消息给一个或多个Topic；一个消息的接受者可以订阅一个或多个Topic的消息
    • Message Queue：相当于Topic的分区；用于并行发送和接收消息

集群特点：

  • NameServer是一个几乎无状态的节点，可集群部署，节点之间无任何信息同步
  • Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Salve，但一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的Brokerld来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中所有节点建立长连接，定时注册Topic信息到所有的NameServer。
  • Producer与NameServer集群中的一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向Topic服务的Master建立长连接，并定时向Master发送心跳，Producer完全无状态，可集群部署。
  • Consumer与NameServer集群中的一个节点（随机选择），建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。

集群模式

1）单Master模式

这种方式风险较大，一旦Broker重启或宕机时，会导致整个服务的不可用。

2）多Master模式

一个集群无Slave，全是Master，这种模式的优缺点如下：

  • 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量信息，同步刷盘一条不丢），性能最高；
  • 缺点：单台机器宕机期间，这机器上未被消费的消息在机器恢复之前不可订阅，消息实时会收到影响。

3）多Master多Slave模式（异步）

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制的方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

  • 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应应用透明，不需要人工干预，性能同多Master模式几乎一样；
  • 缺点：Master宕机，磁盘损坏情况不会丢失少量信息。

4）多Master多Slave模式

每个Master配置一个Slave,有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的有缺点如下：

  • 优点：数据与服务都无单点故障，Master宕机的情况下，消息无延迟，服务可用性都非常高；
  • 缺点：性能比异步复制模式略低（大约10%左右），发现单个消息的RT会略高，且目前版本在节点宕机后，备机不能自动切换为主机。

开/关闭NameServe

#开启nameServe
nohup sh bin/mqnamesrv &
#关闭nameServe
sh bin/mqshutdown namesrv

开/关闭Broker

nohup sh bin/mqbroker -c 双主双从配置地址 &
sh bin/mqshutdown broker
Host添加信息

服务器信息：

192.168.25.135

192.168.25.138

vim /etc/hosts

配置如下：

#nameServer
192.168.25.135 rocket-nameserver1
192.168.25.138 rocket-nameserver2
#broker
192.168.25.135 rocket-master1
192.168.25.138 rocket-slave2
192.168.25.135 rocket-master2
192.168.25.138 rocket-slave1

配置完成后，重启网卡

systemctl restart network

环境变量配置

vim /etc/profile

在profile末尾加入如下命令

#set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-5.1.0-bin-release
PATH=$PATH:$ROCKET_HOME/bin
export ROCKETMQ_HOME PATH

输入:wq!保存并退出，并使得配置立刻生效：

source /etc/profile

创建消息存储路径

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index
broker配置文件

在这里插入图片描述

1）master1

服务器：192.168.25.135

vi /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-a.properties

修改配置如下：

#所属集群的名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示Master>0,表示Slave
brokerId=0
#nameServer地址，分号分隔
namersrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#在发送消息时，自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务监听的端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

slave2

服务器：192.168.25.135

vi /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-b-s.properties

修改配置：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/slave-store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/slave-store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/slave-store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/slave-store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/slave-store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/slave-store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

master2和slave1的配置与上述配置相似只需关注一下Broker对外服务监端口

服务启动

启动NameServe集群

分别在192.168.25.135和192.168.25.138

启动NameServe集群：

在192.168.25.135启动master1和slave2

启动Broker集群

master1:

cd /usr/local/rocketmq/bin
#nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties &
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-a.properties &

slave2:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &

在192.168.25.138上启动master2和slave1

master2：

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties &

slave1:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

部署到阿里云腾讯云服务器的
后边在broker主从文件配置中要加入如下配置

brokerIP1=服务器公网访问地址

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/446032.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

PWM输出实验

PWM输出实验

实验内容 使用TIM3来产生PWM输出 使用TIM3的通道2，把通道2重映射到PB5.产生PWM来控制DS0的亮度。 PWM简介 脉冲宽度调制（PWM），简称脉宽调制，是利用微处理器的数字输出来对模拟电路进行控制的一种有效方法。 脉冲波…
阅读更多...
excle表格打印相关问题

excle表格打印相关问题

ps：无论是打印word,还是打印excel, 最后最好都保存成pdf，再打印。 ps：无论是打印word,还是打印excel, 最后最好都保存成pdf，再打印。 ps：无论是打印word,还是打印excel, 最后最好都保存成pdf，再打印。 …
阅读更多...
Android修改头像之拍照、从相册选择、裁剪

Android修改头像之拍照、从相册选择、裁剪

手写一个修改头像的需求，头像图片支持手机拍照裁剪和从相册选择图片裁剪； 实现效果： 本节主要内容： 1）头像修改对话框实现； 2）调用系统相机拍照； 3）自定义图片裁剪页…
阅读更多...
centos7 配置LNMP环境

centos7 配置LNMP环境

文章目录 LNMP环境的搭建LNMP工作流程FastCGI接口配置LNMP部署环境配置环境测试安装 Discuz LNMP环境的搭建 随着我们 Nginx web 服务器的流行，又出现了我们叫做 LNMP 的一种新的 web 环境服务组合。LNMP 就是 Linux Nginx Mysql PHP 等首字母的缩写。现在&…
阅读更多...
STL学习+acwing 67 数字在排序数组中出现的次数

STL学习+acwing 67 数字在排序数组中出现的次数

题目链接 67. 数字在排序数组中出现的次数 传统暴力解法 class Solution { public:int getNumberOfK(vector<int>& nums , int k) {int c0;for(int i0;i<nums.size();i){if(nums[i]k)c;}return c;} };容器的应用 set和multiset两个容器有一个count函数 set 为…
阅读更多...
eBPF 虚拟机是如何工作的？

eBPF 虚拟机是如何工作的？

eBPF 是一个运行在内核中的虚拟机&#xff0c;很多人在初次接触它时&#xff0c;会把它跟系统虚拟化&#xff08;比如 kvm&#xff09;中的虚拟机弄混。其实&#xff0c;虽然都被称为“虚拟机”&#xff0c;系统虚拟化和 eBPF 虚拟机还是有着本质不同的。 系统虚拟化基于 x86 …
阅读更多...
vue 中的事件修饰符介绍+示例说明

vue 中的事件修饰符介绍+示例说明

vue 中的事件修饰符介绍示例说明 Start 最近使用到 vue 的事件修饰符&#xff0c;发现由于时间太过久远&#xff0c;今天快速的过一下 vue 中的事件修饰符. 1. 官方文档 vue2 v-on 点击这里 vue3 v-on 点击这里 vue2中有关 v-on 的介绍 vue3中有关 v-on 的介绍 初步看下…
阅读更多...
Ribbon负载均衡·入门·壹

Ribbon负载均衡·入门·壹

文章目录 1 Ribbon概述1.1 什么是Ribbon1.2 Ribbon解决的问题1.3 什么是负载均衡 2 SpringCloud与Ribbon2.1 集成Ribbong工具类2.2 单独引入Ribbon 3 Ribbon实现负载均衡源码跟踪3.1 打开LoadBalanced3.2 发现Qualifier3.3 LoadBalancerAutoConfiguration自动装配类 1 Ribbon概…
阅读更多...
C++入门（后篇）

C++入门（后篇）

&#x1f525;&#x1f525;本章重内容 C入门 1.auto关键字(C11)auto的使用细则auto不能使用的场景 2.基于范围的for循环(C11)3.指针空值nullptr(C11) 1.auto关键字(C11) 在早期C/C中auto的含义是&#xff1a;使用auto修饰的变量&#xff0c;是具有自动存储器的局部变量&#…
阅读更多...
深入了解 Transformers – Part 1: 介绍 Transformer 模型

深入了解 Transformers – Part 1: 介绍 Transformer 模型

动动发财的小手&#xff0c;点个赞吧&#xff01; 自从最新的Large Language Models&#xff08;LLaM&#xff09;发布以来&#xff0c;如OpenAI的GPT系列、开源模型Bloom或谷歌发布的LaMDA等&#xff0c;Transformer展现出了巨大的潜力&#xff0c;成为了深度学习的前沿架构楷…
阅读更多...
easyexcel内容追加与单元格合并

easyexcel内容追加与单元格合并

这里的需求是&#xff0c;如果表格不存在&#xff0c;则新建表格&#xff0c;并填入数据&#xff0c;如果表格存在&#xff0c;那么就追加内容&#xff0c;并且支持单元格合并。 内容追加&#xff0c;需要分两种方式插入&#xff0c;第一种就是没有表格&#xff0c;需要生成表头…
阅读更多...
内网渗透之横向移动ipc

内网渗透之横向移动ipc

0x00 内网横向移动介绍 内网横向移动是什么 在内网渗透中&#xff0c;当攻击者获取到内网某台机器的控制权后&#xff0c;会以被攻陷的主机为跳板&#xff0c;通过收集域内凭证等各种方法&#xff0c;访问域内其他机器&#xff0c;进一步扩大资产范围。通过此类手段&#xff0…
阅读更多...
SpringCloud_Eureka服务的注册与发现

SpringCloud_Eureka服务的注册与发现

文章目录 一、微服务的理论1、微服务和分布式的区别2、微服务的拆分规范和原则 二、微服务的注册与发现(Eureka)1、Spring Cloud Eureka的概念2、构建聚合父工程3、搭建Eureka服务4、搭建Eureka服务的提供者5、创建Eureka服务的消费者 三、Eureka的其他功能1、服务的剔除和自保…
阅读更多...
DC-6靶机通关详解

DC-6靶机通关详解

信息收集 漏洞发现 发现无法访问web 加个hosts 这题类似那个dc2还是dc3,网站长的一样 wordPress5.1.1 上wpscan扫 enumrate一下user 看看能不能弱口令 测了wp给的那几个用户,都不能弱口令,dirsearch也没扫到什么有价值的路径 尝试ssh弱口令 没爆出来,回官网看了下描述 确实…
阅读更多...
基于药效团的药物设计（Pharmacophore Construction）

基于药效团的药物设计（Pharmacophore Construction）

基于药效团的药物设计&#xff08;Pharmacophore Construction&#xff09; 药效团模型不仅仅利用分子拓扑学相似性而且利用了基团的功能相似性&#xff0c;从而运用了生物电子等排体&#xff08;bioisosterism&#xff09;的概念使得模型更加可靠。基于药效团的虚拟筛选的方法…
阅读更多...
华为OD机试真题（Java），最小步骤数（100%通过+复盘思路）

华为OD机试真题（Java），最小步骤数（100%通过+复盘思路）

一、题目描述 一个正整数数组 设为nums&#xff0c;最大为100个成员&#xff0c;求从第一个成员开始正好走到数组最后一个成员所使用的最小步骤数。 要求&#xff1a; 第一步 必须从第一元素起 且 1<第一步步长<len/2 (len为数组长度)&#xff1b;从第二步开始只能以所…
阅读更多...
Algo C++：课程介绍

Algo C++：课程介绍

目录 课程介绍前言1. 课程特色2. 课程前言3. 具备条件4. 预期的收获 课程介绍 前言 手写AI推出的全新面向AI算法的C课程 Algo C&#xff0c;链接。记录下个人学习笔记&#xff0c;仅供自己参考。 本次课程主要是课程介绍 课程大纲可看下面的思维导图 1. 课程特色 案例驱动 讲解…
阅读更多...
Kubernetes(k8s)

Kubernetes(k8s)

Kubernetes(k8s) 前言 ​ 在学习过程中&#xff0c;我们经常会遇到遗忘的问题。为了避免忘记&#xff0c;多复习是非常必要的。复习可以帮助我们巩固知识&#xff0c;加深记忆&#xff0c;提高学习效率。因此&#xff0c;我们应该养成良好的复习习惯&#xff0c;定期回顾所学…
阅读更多...
ai免费写作在线平台-ai免费伪原创文章生成器软件

ai免费写作在线平台-ai免费伪原创文章生成器软件

ai伪原创能检测出来吗 人工智能技术可以检测伪原创&#xff0c;但是不是所有的伪原创都可以被检测出来。 现在有许多自然语言处理&#xff08;NLP&#xff09;算法和技术可以用来检测伪原创内容&#xff0c;例如文本相似度比较算法&#xff0c;语气分析算法等。这些算法可以检…
阅读更多...
iptables移植+内核修改

iptables移植+内核修改

iptables移植&#xff0c;交叉编译后的文件&#xff0c;如果交叉编译工具一致可以直接使用-嵌入式文档类资源-CSDN文库 移植iptables过程中出现一些问题&#xff0c;这里记录一下 Iptables是用户态提供的更改过滤规则的便捷工具&#xff0c;通过使用这个工具&#xff0c;可以…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023