RabbitMQ
消息队列MQ
RabbitMQ简称MQ是一套实现了高级消息队列协议的开源消息代理软件,简单来说就是一个消息中间件。是一种程序对程序的通信方法,其服务器也是以高性能、健壮以及可伸缩性出名的Erlang语言编写而成
为什么使用MQ
在项目中,可将一些无需即时返回且耗时的操作提取出来,进行异步处理,而这种异步处理的方式大大的节省了服务器的请求响应时间,从而提高了系统的吞吐量,简单来说RabbitMQ就是一个消息队列中间件,用来保存消息和传递消息的一个容器。在此过程中充当一个中间人的作用
而队列的主要目的就是提供正确的路由来保证消息的传递;如果发送消息时消费者不可用的话,默认情况下该消息将会一直被存储在队列中,直到消费者消费为止
那么同时呢,如果设置了消息存活的时间,即消息的有效期。在此有效期间消息如果还没有被消费的话,那么该消息就会变成死信,由死信交换机接收。而绑定死信交换机的队列则称为死信队列
开发中消息队列通常有如下应用场景:
任务异步处理 将不需要同步处理的并且耗时长的操作由消息队列通知消息接收方进行异步处理,提高了应用程序的响应时间
应用程序解耦合 MQ相当于一个中介,生产方通过MQ与消费方交互,它将应用程序进行解耦合
常见作用:
1 耗时操作
2.解耦合
3.限流(削峰填谷)
常见的应用常见有:用户订单,库存处理;用户注册,发送手机短信邮件;商品秒杀和抢购等…
举个栗子:用户订单,库存处理。【服务间解耦】
使用MQ前:系统正常时,用户下单,订单系统调用库存系统进行删减操作,操作成功,将成返回消息,提醒下单成功。系统异常时,库存系统将无法访问,导致订单删减操作无法执行,最终导致下单失败。
使用MQ后:订单系统和库存系统之间不在互相影响,独立运行,达到了应用解耦的目的。订单系统只需要将下单消息写入MQ,就可以直接执行下一步操作。这时即使库存系统出现异常也不会影响订单系统的操作,且下单的库存删减记录,将会被永久保存到MQ中,直到库存系统恢复正常,从MQ中订阅下单消息,进行消费成功为止。
实现MQ的大致有两种主流方式:
AMQP、JMS
-
AMQP:AMQP高级消息队列协议,是一个进程间传递异步消息的网络协议,更准确的说是一种binary wire-level protocol(链接协议)。这是其和JMS的本质差别,AMQP不从API层进行限定,而是直接定义网络交换的数据格式
-
JMS:JMS即Java消息服务(JavaMessage Service)应用程序接口,是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信
AMQP 与 JMS 区别
-
JMS是定义了统一的接口,来对消息操作进行统一;AMQP是通过规定协议来统一数据交互的格式
-
JMS限定了必须使用Java语言;AMQP只是协议,不规定实现方式,因此是跨语言的
-
JMS规定了两种消息模式;而AMQP的消息模式更加丰富
-
JMS ①订阅模式 ②点对点消息模式
消息队列产品
目前市面上成熟主流的MQ有Kafka 、RocketMQ、RabbitMQ,这里我主要介绍RabbitMQ,其他的简单介绍一下
Kafka
Apache下的一个子项目,使用scala实现的一个高性能分布式Publish/Subscribe消息队列系统
- 快速持久化:通过磁盘顺序读写与零拷贝机制,可以在O(1)的系统开销下进行消息持久化
- 高吞吐:在一台普通的服务器上既可以达到10W/s的吞吐速率
- 高堆积:支持topic下消费者较长时间离线,消息堆积量大
- 完全的分布式系统:Broker、Producer、Consumer都原生自动支持分布式,依赖zookeeper自动实现复杂均衡
- 支持Hadoop数据并行加载:对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案
RocketMQ
(RocketMQ的前身是Metaq,当Metaq3.0发布时,产品名称改为RocketMQ)RocketMQ是一款分布式、队列模型的消息中间件
- 能够保证严格的消息顺序
- 提供丰富的消息拉取模式
- 高效的订阅者水平扩展能力
- 实时的消息订阅机制
- 支持事务消息
- 亿级消息堆积能力
RabbitMQ
- 可靠性(Reliablity):使用了一些机制来保证可靠性,比如持久化、传输确认、发布确认。
- 灵活的路由(Flexible Routing):在消息进入队列之前,通过Exchange来路由消息。对于典型的路由功能,Rabbit已经提供了一些内置的Exchange来实现。针对更复杂的路由功能,可以将多个Exchange绑定在一起,也通过插件机制实现自己的Exchange。
- 消息集群(Clustering):多个RabbitMQ服务器可以组成一个集群,形成一个逻辑Broker。
- 高可用(Highly Avaliable Queues):队列可以在集群中的机器上进行镜像,使得在部分节点出问题的情况下队列仍然可用。
- 多种协议(Multi-protocol):支持多种消息队列协议,如STOMP、MQTT等。
- 多种语言客户端(Many Clients):几乎支持所有常用语言,比如Java、.NET、Ruby等。
- 管理界面(Management UI):提供了易用的用户界面,使得用户可以监控和管理消息Broker的许多方面。
- 跟踪机制(Tracing):如果消息异常,RabbitMQ提供了消息的跟踪机制,使用者可以找出发生了什么。
- 插件机制(Plugin System):提供了许多插件,来从多方面进行扩展,也可以编辑自己的插件
安装RabbitMQ和erlang
环境:CentOS 8.0 64位
注意事项:每个RabbitMQ对应的erlang是有限制的,而且在centos8的环境下使用yum安装的话需要更新一下yum
环境配置
下载Centos-8.repo
# wget
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-8.repo
# curl
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-8.repo
生成缓存
yum makecache
安装erlang
由于 rabbitmq 是基于 erlang 语言开发的,所以必须先安装 erlang
安装依赖
yum -y install gcc glibc-devel make ncurses-devel openssl-devel xmlto perl wget gtk2-devel binutils-devel
下载
下载安装包(我是直接在官网下载好了拉到服务器去的)
erlang官网下载地址
[root@ims-jr-ap01-0001 ~]# cd /opt/
[root@ims-jr-ap01-0001 opt]# ls
[root@ims-jr-ap01-0001 opt]# mkdir rabbitmq
[root@ims-jr-ap01-0001 opt]# ls
rabbitmq
[root@ims-jr-ap01-0001 opt]# cd rabbitmq/
[root@ims-jr-ap01-0001 rabbitmq]# ls
otp_src_25.1.2.tar.gz
解压
[root@ims-jr-ap01-0001 rabbitmq]# tar -zxvf otp_src_25.1.2.tar.gz
最后为这样是成功
修改路径
[root@ims-jr-ap01-0001 rabbitmq]# mkdir /usr/local/soft
[root@ims-jr-ap01-0001 rabbitmq]# mv otp_src_25.1.2 /usr/local/soft/
切换目录
[root@ims-jr-ap01-0001 rabbitmq]# cd /usr/local/soft/otp_src_25.1.2/
创建安装的存放目录
[root@ims-jr-ap01-0001 otp_src_25.1.2]# mkdir ../erlang
配置安装路径
[root@ims-jr-ap01-0001 otp_src_25.1.2]# ./configure --prefix=/usr/local/soft/erlang
最后为这样是成功
安装
[root@ims-jr-ap01-0001 otp_src_25.1.2]# make install
查看一下是否安装成功
[root@ims-jr-ap01-0001 otp_src_25.1.2]# ll /usr/local/soft/erlang/bin
total 0
lrwxrwxrwx 1 root root 24 Jan 7 09:28 ct_run -> ../lib/erlang/bin/ct_run
lrwxrwxrwx 1 root root 26 Jan 7 09:28 dialyzer -> ../lib/erlang/bin/dialyzer
lrwxrwxrwx 1 root root 22 Jan 7 09:28 epmd -> ../lib/erlang/bin/epmd
lrwxrwxrwx 1 root root 21 Jan 7 09:28 erl -> ../lib/erlang/bin/erl
lrwxrwxrwx 1 root root 22 Jan 7 09:28 erlc -> ../lib/erlang/bin/erlc
lrwxrwxrwx 1 root root 25 Jan 7 09:28 escript -> ../lib/erlang/bin/escript
lrwxrwxrwx 1 root root 25 Jan 7 09:28 run_erl -> ../lib/erlang/bin/run_erl
lrwxrwxrwx 1 root root 24 Jan 7 09:28 to_erl -> ../lib/erlang/bin/to_erl
lrwxrwxrwx 1 root root 23 Jan 7 09:28 typer -> ../lib/erlang/bin/typer
添加环境变量
[root@ims-jr-ap01-0001 otp_src_25.1.2]# echo 'export PATH=$PATH:/usr/local/soft/erlang/bin' >> /etc/profile
刷新环境变量
[root@ims-jr-ap01-0001 otp_src_25.1.2]# source /etc/profile
进去查看下
命令:halt(). 退出(后面的.别忘记加了)
[root@ims-jr-ap01-0001 otp_src_25.1.2]# erl
Erlang/OTP 25 [erts-13.1.2] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:1]
Eshell V13.1.2 (abort with ^G)
1> halt().
[root@ims-jr-ap01-0001 otp_src_25.1.2]#
(以上为erlang 的安装)
安装RabbitMQ
需要查看 erlang 支持的 rabbitmq 版本号
版本号对照地址
下载及解压
RabbitMQ官方下载地址
我还是一样因为有下载包直接移进去的
[root@ims-jr-ap01-0001 otp_src_25.1.2]# cd /opt/rabbitmq/
[root@ims-jr-ap01-0001 rabbitmq]# ls
otp_src_25.1.2.tar.gz rabbitmq-server-generic-unix-3.11.6.tar.xz
解压(过程得解压两次)
[root@ims-jr-ap01-0001 rabbitmq]# xz -d rabbitmq-server-generic-unix-3.11.6.tar.xz
[root@ims-jr-ap01-0001 rabbitmq]# tar -xvf rabbitmq-server-generic-unix-3.11.6.tar
修改路径,切换目录
[root@ims-jr-ap01-0001 rabbitmq]# mv rabbitmq_server-3.11.6/ /usr/local/soft/
[root@ims-jr-ap01-0001 rabbitmq]# cd /usr/local/soft/
配置环境变量及刷新
[root@ims-jr-ap01-0001 soft]# echo 'export PATH=$PATH:/usr/local/soft/rabbitmq_server-3.11.6/sbin' >> /etc/profile
[root@ims-jr-ap01-0001 soft]# source /etc/profile
进入 sbin 目录
[root@ims-jr-ap01-0001 soft]# cd rabbitmq_server-3.11.6/sbin/
启动命令
[root@ims-jr-ap01-0001 sbin]# rabbitmq-server -detached
查看状态
[root@ims-jr-ap01-0001 sbin]# rabbitmqctl status
Status of node rabbit@ims-jr-ap01-0001 ...
Runtime
OS PID: 116387
OS: Linux
Uptime (seconds): 48
Is under maintenance?: false
RabbitMQ version: 3.11.6
RabbitMQ release series support status: supported
Node name: rabbit@ims-jr-ap01-0001
Erlang configuration: Erlang/OTP 25 [erts-13.1.2] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:1]
Crypto library: OpenSSL 1.1.1k FIPS 25 Mar 2021
Erlang processes: 278 used, 1048576 limit
Scheduler run queue: 1
Cluster heartbeat timeout (net_ticktime): 60
停止命令:[root@ims-jr-ap01-0001 sbin]# rabbitmqctl stop
开启web插件
[root@ims-jr-ap01-0001 sbin]# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@ims-jr-ap01-0001:
rabbitmq_management
The following plugins have been configured:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
Applying plugin configuration to rabbit@ims-jr-ap01-0001...
The following plugins have been enabled:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
started 3 plugins.
访问一下
[root@ims-jr-ap01-0001 sbin]# curl 10.149.2.95:15672
<!DOCTYPE html>
<html>
<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>RabbitMQ Management</title>
<script src="js/ejs-1.0.min.js" type="text/javascript"></script>
<script src="js/jquery-3.5.1.min.js"></script>
<script src="js/jquery.flot-0.8.1.min.js" type="text/javascript"></script>
<script src="js/jquery.flot-0.8.1.time.min.js" type="text/javascript"></script>
<script src="js/sammy-0.7.6.min.js" type="text/javascript"></script>
<script src="js/json2-2016.10.28.js" type="text/javascript"></script>
<script src="js/base64.js" type="text/javascript"></script>
<script src="js/global.js" type="text/javascript"></script>
<script src="js/main.js" type="text/javascript"></script>
<script src="js/prefs.js" type="text/javascript"></script>
<script src="js/formatters.js" type="text/javascript"></script>
<script src="js/charts.js" type="text/javascript"></script>
<script src="js/oidc-oauth/oidc-client-ts.js" type="text/javascript"></script>
<script src="js/oidc-oauth/helper.js"></script>
<link href="css/main.css" rel="stylesheet" type="text/css"/>
<link href="favicon.ico" rel="shortcut icon" type="image/x-icon"/>
<script type="application/javascript">
var oauth = oauth_initialize_if_required();
以上安装完成,开始配置用户权限
用户管理
查看所有用户
[root@ims-jr-ap01-0001 sbin]# rabbitmqctl list_users
Listing users ...
user tags
guest [administrator]
添加一个用户
[root@ims-jr-ap01-0001 sbin]# rabbitmqctl add_user renfy 123456
Adding user "renfy" ...
Done. Don't forget to grant the user permissions to some virtual hosts! See 'rabbitmqctl help set_permissions' to learn more.
这个提示是没有给用户权限
配置权限
[root@ims-jr-ap01-0001 sbin]# rabbitmqctl set_permissions -p "/" renfy ".*" ".*" ".*"
Setting permissions for user "renfy" in vhost "/" ...
查看权限
[root@ims-jr-ap01-0001 sbin]# rabbitmqctl list_user_permissions renfy
Listing permissions for user "renfy" ...
vhost configure write read
/ .* .* .*
设置tag
[root@ims-jr-ap01-0001 sbin]# rabbitmqctl set_user_tags renfy root
Setting tags for user "renfy" to [root] ...
[root@ims-jr-ap01-0001 sbin]# rabbitmqctl list_users
Listing users ...
user tags
guest [administrator]
renfy [root]
安全起见可以删除默认可以删除(我这里没删,但是删除命令写在下面了)
rabbitmqctl delete_user guest
配置完成重启一下 rabbitMQ 然后就可以用新账号进行登陆