在当今大数据时代，消息队列系统成为了构建高可用、可扩展和可靠的分布式应用的重要组件之一。而Apache RocketMQ作为一款开源的分布式消息中间件，以其高吞吐量、低延迟和可靠性而备受青睐。为了满足大规模应用的需求，搭建RocketMQ集群是一种常见的部署方式。
本文将介绍如何在Linux系统上搭建RocketMQ双主双从集群。通过搭建双主双从集群，我们可以实现消息的高可用性和容错性，确保在单个Broker节点故障时仍能保持服务的正常运行。
首先，让我们了解一下RocketMQ集群的基本概念。RocketMQ集群由多个Broker节点组成，每个节点负责存储和传递消息。在双主双从集群中，我们将集群划分为两个主节点和两个从节点。主节点负责接收和处理消息的写入请求，而从节点则负责复制主节点的消息，并提供读取请求的服务。通过这种方式，我们可以实现消息的冗余备份和负载均衡，提高系统的可用性和性能。
这次我们要搭建的是双主双从集群异步除了这种集群官方还支持以下几种集群方式：
| 集群搭建方式 | 冗余备份 | 同步方式 | 写入性能 | 数据一致性 | 可用性 | 链接 |
|---|---|---|---|---|---|---|
| 单主单从集群 | 无 | 无 | 高 | 低 | 低 | 【Spring Cloud Alibaba】Linux安装RocketMQ |
| 多主多从集群 | 有 | 无 | 高 | 低 | 高 | |
| 双主双从集群异步 | 有 | 异步 | 高 | 低 | 高 | |
| 双主双从集群同步 | 有 | 同步 | 低 | 高 | 高 |
从上表可以看出，不同的集群搭建方式在冗余备份、同步方式、写入性能、数据一致性和可用性等方面存在差异。
- 冗余备份：单主单从集群没有冗余备份，其他集群搭建方式都有冗余备份。
- 同步方式：双主双从集群异步模式是异步复制，而双主双从集群同步模式和其他集群搭建方式是同步复制。
- 写入性能：单主单从集群和多主多从集群具有较高的写入性能，而双主双从集群异步模式的写入性能也较高，但双主双从集群同步模式的写入性能较低。
- 数据一致性：双主双从集群同步模式具有较高的数据一致性，其他集群搭建方式的数据一致性较低。
- 可用性：多主多从集群和双主双从集群（异步和同步模式）具有较高的可用性，而单主单从集群的可用性较低。
需要根据具体的业务需求和性能要求来选择适合的集群搭建方式。如果对于消息的可用性要求较高，可以选择多主多从集群或双主双从集群。如果对于写入性能要求较高，可以选择单主单从集群或双主双从集群异步模式。如果对于数据一致性要求较高，可以选择双主双从集群同步模式。
这次的搭建我们需要准备以下的服务器环境:
| ip | 角色 | 名称 |
|---|---|---|
| 192.168.65.130 | 从 | Linux003 |
| 192.168.65.131 | 从 | Linux004 |
| 192.168.65.132 | 主 | Linux001 |
| 192.168.65.133 | 主 | Linux002 |
文章目录
- 第一步，安装前的准备
- 第二步，启动NameServer
- 第三步，编辑双主节点配置文件
- Linux001:
- Linux002:
- Linux003：
- Linux004：
- 第四步，启动Broker
- Linux001:
- Linux002:
- Linux003:
- Linux004:
- 第五步，验证成果
第一步，安装前的准备
安装的这些步骤博主原来都写过。
安装jdk：Linux安装Java环境（OracleJDK）
安装并解压rockemq：【Spring Cloud Alibaba】Linux安装RocketMQ
关闭四台服务器的防火墙：
systemctl stop firewalld.service
第二步，启动NameServer
我们使用下面两台机器作为NameServer的集群
| ip | 角色 | 名称 |
|---|---|---|
| 192.168.65.132 | 主 | Linux001 |
| 192.168.65.133 | 主 | Linux002 |
两台机器执行一样的操作：
运行bin文件夹里面的mqnamesrv脚本
sh mqnamesrv
出现下面语句则启动成功
The Name Server boot success. serializeType=JSON
编写启动脚本后台运行
vim startupmqnamesrv.sh
添加内容如下
nohup sh bin/mqnamesrv &
运行启动脚本即可后台运行
第三步，编辑双主节点配置文件
| 配置文件 | 描述 | 分配 |
|---|---|---|
| broker-a.properties | Broker A主节点的配置文件，用于配置Broker A节点的相关参数和属性。 | Linux001 |
| broker-a-s.properties | Broker A从节点的安全配置文件，用于配置Broker A节点的安全相关参数和属性。 | Linux003 |
| broker-b.properties | Broker B主节点的配置文件，用于配置Broker B节点的相关参数和属性。 | Linux002 |
| broker-b-s.properties | Broker B从节点的安全配置文件，用于配置Broker B节点的安全相关参数和属性。 | Linux004 |
Linux001:
vim 2m-2s-async/broker-a.properties
配置NameServer的地址为
namesrvAddr=192.168.65.132:9876;192.168.65.133:9876
- brokerClusterName=DefaultCluster：指定Broker所属的集群名称，这里设置为"DefaultCluster"。
- brokerName=broker-a：指定Broker的名称，这里设置为"broker-a"。
- brokerId=0：指定Broker的唯一标识符，这里设置为0。
- deleteWhen=04：指定消息文件的删除时间，这里设置为04，表示消息文件在存储超过4天后会被删除。
- fileReservedTime=48：指定消息文件的保留时间，这里设置为48，表示消息文件在不活动超过48小时后会被删除。
- brokerRole=ASYNC_MASTER：指定Broker的角色，这里设置为ASYNC_MASTER，表示该Broker是双主双从集群中的异步主节点。
- flushDiskType=ASYNC_FLUSH：指定消息刷盘方式，这里设置为ASYNC_FLUSH，表示消息异步刷盘到磁盘。
- namesrvAddr=192.168.65.132:9876;192.168.65.133:9876：指定NameServer的地址，这里设置了两个NameServer的地址，分别是192.168.65.132:9876和192.168.65.133:9876。
Linux002:
vim 2m-2s-async/broker-b.properties
Linux003：
vim 2m-2s-async/broker-a-s.properties
Linux004：
vim 2m-2s-async/broker-b-s.properties
第四步，启动Broker
Linux001:
vim startupmqbroker.sh
nohup sh bin/mqbroker -c /opt/rocketmq/rocketmq-all-4.9.1-bin-release/conf/2m-2s-async/broker-a.properties &
启动
sh startupmqbroker.sh
查看是否启动成功
ps -ef | grep rocket
Linux002:
vim startupmqbroker.sh
nohup sh bin/mqbroker -c /opt/rocketmq/rocketmq-all-4.9.1-bin-release/conf/2m-2s-async/broker-b.properties &
sh startupmqbroker.sh
ps -ef | grep rocket
Linux003:
vim startupmqbroker.sh
nohup sh bin/mqbroker -c /opt/rocketmq/rocketmq-all-4.9.1-bin-release/conf/2m-2s-async/broker-a-s.properties &
sh startupmqbroker.sh
ps -ef | grep rocket
Linux004:
vim startupmqbroker.sh
nohup sh bin/mqbroker -c /opt/rocketmq/rocketmq-all-4.9.1-bin-release/conf/2m-2s-async/broker-b-s.properties &
sh startupmqbroker.sh
ps -ef | grep rocket
第五步，验证成果
使用mqadmin命令查看集群环境：
sh mqadmin clusterList -n 127.0.0.1:9876
- Cluster Name：集群名称，这里是"DefaultCluster"。
- Broker Name：Broker节点名称，这里有两个节点，分别是"broker-a"和"broker-b"。
- BID：Broker节点的唯一标识符，0表示主节点，1表示从节点。
- Addr：Broker节点的地址和端口号。
- Version：RocketMQ的版本号，这里是"V491"。
- InTPS(LOAD)：消息的入站速率和负载情况。
- OutTPS(LOAD)：消息的出站速率和负载情况。
- PCWait(ms)：消息生产者和消费者的等待时间。
- Hour：Broker节点的运行时间。
- SPACE：消息存储空间的使用情况。
可以成功看到集群已经搭建成功！！
在本文中，我们详细介绍了如何在Linux上搭建RocketMQ双主双从集群。通过设置双主双从集群，我们可以实现高可用性、容错性、负载均衡和可扩展性。我们提供了逐步指南，包括下载和安装RocketMQ、配置集群、启动NameServer和Broker节点以及验证集群状态。我们还解释了双主双从集群与其他集群搭建方式的区别，以及不同模式的优势和适用场景。
搭建RocketMQ双主双从集群是构建可靠消息传递系统的重要一步。通过合理配置和调优，我们可以满足不同业务需求的可用性、一致性和性能要求。在实际应用中，我们应根据具体情况选择适合的集群搭建方式，并进行相应的配置和管理。
希望本文对大家在Linux上搭建RocketMQ双主双从集群有所帮助。如果大家有任何问题或疑问，请随时向我提问
