【RabbitMQ】2 RabbitMQ介绍与架构

news2025/1/23 3:59:31

目录

  • 简介
  • 架构
  • Connection 和Channel关系
  • 工作流程
    • 生产者发送消息的流程
    • 消费者接收消息的过程
  • RabbitMQ数据存储
    • 存储机制
  • 安装和配置RabbitMQ
  • RabbitMQ常用操作命令

简介

RabbitMQ，俗称“兔子MQ”（可见其轻巧，敏捷），是目前非常热门的一款开源消息中间件，不管是互联网行业还是传统行业都广泛使用（最早是为了解决电信行业系统之间的可靠通信而设计）。

  1. 高可靠性、易扩展、高可用、功能丰富等
  2. 支持大多数（甚至冷门）的编程语言客户端。
  3. RabbitMQ遵循AMQP协议，自身采用Erlang（一种由爱立信开发的通用面向并发编程的语言）编写。
  4. RabbitMQ也支持MQTT等其他协议

RabbitMQ具有很强大的插件扩展能力，官方和社区提供了非常丰富的插件可供选择：https://www.rabbitmq.com/community-plugins.html

架构

在这里插入图片描述

在使用RabbitMQ的系统里有三个主要的组成部分：

  1. 生产者（producer）：负责发送消息的程序

  2. 队列（queue）：相当于在RabbitMQ中的邮箱。尽管消息在RabbitMQ和你的应用中流动，但消息只会存储在队列中。它本质上是一个很大的消息缓冲区。多个生产者可以发送消息到同一个队列，并且多个消费者可以接受同一个队列的消息。

  3. 消费者（consumer）：可以理解为接受者，是一个一直等待接受消息的程序。

另外还有四个主要的概念：

  1. 交换机（exchange）：生产者发送消息时经过交换机，交换机根据特定的模式（direct(默认)，fanout, topic, 和headers）转发消息到队列，不做消息存储 。
  2. 信道（channel）：程序和rabbitmq打交道的通道，消息发送到交换机和消息从队列到消费者，都需要经过信道。
  3. 绑定（binding）：将一个特定的 Exchange 和一个特定的 Queue 绑定起来。
  4. 虚拟主机（virtual host）：一个虚拟主机包含一组交换机、队列和绑定。RabbitMQ当中，用户只能在虚拟主机的粒度进行权限控制。

注意：

  • 生产者、消费者以及消息中间件很多时候并不在同一台机器上。

  • 同一个应用程序既可以是生产者也可以是消费者。

Connection 和Channel关系

生产者和消费者，需要与RabbitMQ Broker 建立TCP连接，也就是Connection 。一旦TCP 连接建立起来，客户端紧接着创建一个AMQP 信道（Channel），每个信道都会被指派一个唯一的ID。信道是建立在Connection 之上的虚拟连接， RabbitMQ 处理的每条AMQP 指令都是通过信道完成的。

在这里插入图片描述

为什么不直接使用TCP连接，而是使用信道？

RabbitMQ 采用类似NIO的做法，复用TCP 连接，减少性能开销，便于管理。当每个信道的流量不是很大时，复用单一的Connection 可以在产生性能瓶颈的情况下有效地节省TCP 连接资源。

当信道本身的流量很大时，一个Connection 就会产生性能瓶颈，流量被限制。需要建立多个Connection ，分摊信道。具体的调优看业务需要。

信道在AMQP 中是一个很重要的概念，大多数操作都是在信道这个层面进行的。

RabbitMQ 相关的API与AMQP紧密相连，比如channel.basicPublish 对应AMQP 的Basic.Publish命令。

工作流程

生产者发送消息的流程

  1. 生产者连接RabbitMQ，建立TCP连接( Connection)，开启信道（Channel）
  2. 生产者声明一个Exchange（交换器），并设置相关属性，比如交换器类型、是否持久化等
  3. 生产者声明一个队列井设置相关属性，比如是否排他、是否持久化、是否自动删除等
  4. 生产者通过 bindingKey （绑定Key）将交换器和队列绑定（ binding ）起来
  5. 生产者发送消息至RabbitMQ Broker，其中包含 routingKey （路由键）、交换器等信息
  6. 相应的交换器根据接收到的 routingKey 查找相匹配的队列。
  7. 如果找到，则将从生产者发送过来的消息存入相应的队列中。
  8. 如果没有找到，则根据生产者配置的属性选择丢弃还是回退给生产者
  9. 关闭信道。
  10. 关闭连接。

消费者接收消息的过程

  1. 消费者连接到RabbitMQ Broker ，建立一个连接(Connection ) ，开启一个信道(Channel) 。
  2. 消费者向RabbitMQ Broker 请求消费相应队列中的消息，可能会设置相应的回调函数， 以及做一些准备工作
  3. 等待RabbitMQ Broker 回应并投递相应队列中的消息， 消费者接收消息。
  4. 消费者确认( ack) 接收到的消息。
  5. RabbitMQ 从队列中删除相应己经被确认的消息。
  6. 关闭信道。
  7. 关闭连接。

RabbitMQ数据存储

存储机制

RabbitMQ消息有两种类型：

  1. 持久化消息和非持久化消息。
  2. 这两种消息都会被写入磁盘。

持久化消息在到达队列时写入磁盘，同时会内存中保存一份备份，当内存吃紧时，消息从内存中清除。这会提高一定的性能。

非持久化消息一般只存于内存中，当内存压力大时数据刷盘处理，以节省内存空间。

RabbitMQ存储层包含两个部分：队列索引和消息存储

在这里插入图片描述

队列索引：rabbit_queue_index

索引维护队列的落盘消息的信息，如存储地点、是否已被给消费者接收、是否已被消费者ack等。每个队列都有相对应的索引。

索引使用顺序的段文件来存储，后缀为.idx，文件名从0开始累加，每个段文件中包含固定的segment_entry_count 条记录，默认值是16384。每个index从磁盘中读取消息的时候，至少要在内存中维护一个段文件，所以设置queue_index_embed_msgs_below 值得时候要格外谨慎，一点点增大也可能会引起内存爆炸式增长。

消息存储：rabbit_msg_store

消息以键值对的形式存储到文件中，一个虚拟主机上的所有队列使用同一块存储，每个节点只有一个。存储分为持久化存储（msg_store_persistent）和短暂存储（msg_store_transient）。持久化存储的内容在broker重启后不会丢失，短暂存储的内容在broker重启后丢失。

store使用文件来存储，后缀为.rdq，经过store处理的所有消息都会以追加的方式写入到该文件中，当该文件的大小超过指定的限制（file_size_limit）后，将会关闭该文件并创建一个新的文件以供新的消息写入。文件名从0开始进行累加。在进行消息的存储时，RabbitMQ会在ETS（Erlang TermStorage）表中记录消息在文件中的位置映射和文件的相关信息。

消息（包括消息头、消息体、属性）可以直接存储在index中，也可以存储在store中。最佳的方式是较小的消息存在index中，而较大的消息存在store中。这个消息大小的界定可以通过queue_index_embed_msgs_below 来配置，默认值为4096B。当一个消息小于设定的大小阈值时，就可以存储在index中，这样性能上可以得到优化。一个完整的消息大小小于这个值，就放到索引中，否则放到持久化消息文件中。

读取消息时，先根据消息的ID（msg_id）找到对应存储的文件，如果文件存在并且未被锁住，则直接打开文件，从指定位置读取消息内容。如果文件不存在或者被锁住了，则发送请求由store进行处理。

删除消息时，只是从ETS表删除指定消息的相关信息，同时更新消息对应的存储文件和相关信息。在执行消息删除操作时，并不立即对文件中的消息进行删除，也就是说消息依然在文件中，仅仅是标记为垃圾数据而已。当一个文件中都是垃圾数据时可以将这个文件删除。当检测到前后两个文件中的有效数据可以合并成一个文件，并且所有的垃圾数据的大小和所有文件（至少有3个文件存在的情况下）的数据大小的比值超过设置的阈值garbage_fraction（默认值0.5）时，才会触发垃圾回收，将这两个文件合并，执行合并的两个文件一定是逻辑上相邻的两个文件。

安装和配置RabbitMQ

RabbitMQ的安装需要首先安装Erlang，因为它是基于Erlang的VM运行的。

RabbitMQ需要的依赖：socat和logrotate，logrotate操作系统中已经存在了，只需要安装socat就可以了。

RabbitMQ与Erlang的兼容关系详见：https://www.rabbitmq.com/which-erlang.htm

1、安装依赖：

yum install socat -y

2、安装Erlang

erlang-23.0.2-1.el7.x86_64.rpm下载地址：https://github.com/rabbitmq/erlang-rpm/releases/download/v23.0.2/erlang-23.0.2-1.el7.x86_64.rpm

首先将erlang-23.0.2-1.el7.x86_64.rpm上传至服务器，然后执行下述命令：

rpm -ivh erlang-23.0.2-1.el7.x86_64.rpm

3、安装RabbitMQ

rabbitmq-server-3.8.4-1.el7.noarch.rpm下载地址：

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.8.5/rabbitmq-server-3.8.5-1.el7.noarch.rpm

首先将rabbitmq-server-3.8.4-1.el7.noarch.rpm上传至服务器，然后执行下述命令：

rpm -ivh rabbitmq-server-3.8.4-1.el7.noarch.rpm

4、启用RabbitMQ的管理插件

rabbitmq-plugins enable rabbitmq_management

5、开启RabbitMQ

systemctl start rabbitmq-server
# 或者
rabbitmq-server
# 或者后台启动
rabbitmq-server -detached 1

6、添加用户

rabbitmqctl add_user root 123456

7、给用户添加权限

给root用户在虚拟主机"/"上的配置、写、读的权限

rabbitmqctl set_permissions root -p / ".*" ".*" ".*"

8、给用户设置标签

rabbitmqctl set_user_tags root administrator

9、打开浏览器，访问http:/IP地址:15672

界面如下

在这里插入图片描述

10、使用刚才创建的用户登录

在这里插入图片描述

RabbitMQ常用操作命令

# 前台启动Erlang VM和RabbitMQ 
rabbitmq-server 

# 后台启动 
rabbitmq-server -detached

# 停止RabbitMQ和Erlang VM 
rabbitmqctl stop 

# 查看所有队列 
rabbitmqctl list_queues 

# 查看所有虚拟主机 
rabbitmqctl list_vhosts 

# 在Erlang VM运行的情况下启动RabbitMQ应用 
rabbitmqctl start_app rabbitmqctl stop_app 

# 查看节点状态 
rabbitmqctl status 

# 查看所有可用的插件
rabbitmq-plugins list 
# 启用插件 
rabbitmq-plugins enable <plugin-name> 
# 停用插件 
rabbitmq-plugins disable <plugin-name>

# 添加用户 
rabbitmqctl add_user username password 
# 列出所有用户： 
rabbitmqctl list_users 
# 删除用户： 
rabbitmqctl delete_user username 
# 清除用户权限： 
rabbitmqctl clear_permissions -p vhostpath username 
# 列出用户权限： 
rabbitmqctl list_user_permissions username 
# 修改密码：
rabbitmqctl change_password username newpassword 
# 设置用户权限： 
rabbitmqctl set_permissions -p vhostpath username ".*" ".*" ".*" 

# 创建虚拟主机: 
rabbitmqctl add_vhost vhostpath 
# 列出所以虚拟主机: 
rabbitmqctl list_vhosts 
# 列出虚拟主机上的所有权限: 
rabbitmqctl list_permissions -p vhostpath 
# 删除虚拟主机: 
rabbitmqctl delete_vhost vhost vhostpath 

# 移除所有数据，要在 rabbitmqctl stop_app 之后使用: 
rabbitmqctl reset

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1383931.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【msvcr120.dll】修复电脑出现msvcr120.dll找不到的详细方法

【msvcr120.dll】修复电脑出现msvcr120.dll找不到的详细方法

“msvcr120.dll丢失”。那么&#xff0c;msvcr120.dll丢失是什么意思呢&#xff1f;msvcr120.dll丢失的原因是什么&#xff1f;msvcr120.dll的作用又是什么呢&#xff1f;当msvcr120.dll丢失时&#xff0c;会对计算机产生什么影响&#xff1f;本文将详细介绍这些问题&#xff0…
阅读更多...
鸿蒙Harmony是如何影响Android工程师的呢？

鸿蒙Harmony是如何影响Android工程师的呢？

其实鸿蒙在2019就已经出来了&#xff0c;那时候还是套壳Android的。从2023年9月的发布会上&#xff0c;华为宣布鸿蒙原生应用全面启动、HarmonyOS NEXT亮相以后&#xff0c;围绕着纯血鸿蒙展开的鸿蒙应用生态发展迅猛&#xff0c;目前已经有包括社交、金融、影音、游戏、资讯、…
阅读更多...
现代雷达车载应用——第3章 MIMO雷达技术 3.3节 汽车MIMO雷达测角

现代雷达车载应用——第3章 MIMO雷达技术 3.3节 汽车MIMO雷达测角

经典著作&#xff0c;值得一读&#xff0c;英文原版下载链接【免费】ModernRadarforAutomotiveApplications资源-CSDN文库。 3.3 汽车MIMO雷达测角 在发射天线和接收天线分别为Mt和Mr的汽车MIMO雷达中&#xff0c;可以合成一个由Mt*Mr个阵元组成的虚拟ULA&#xff0c;单元间…
阅读更多...
解决报错:AttributeError: module ‘torch‘ has no attribute ‘_six‘

解决报错:AttributeError: module ‘torch‘ has no attribute ‘_six‘

报错代码&#xff1a; if torch._six.PY3:import importlibimport importlib.utilimport sys这里的意思是判断你的python版本是否是python3&#xff0c;如果是PY37&#xff0c;就是判断你的python版本是不是python3.7&#xff0c;源码&#xff1a; PY37 sys.version_info[0]…
阅读更多...
NumPy：从初识到实战，探索Python科学计算的无限可能

NumPy：从初识到实战，探索Python科学计算的无限可能

NumPy 在浩瀚的Python编程世界中&#xff0c;有一个强大的库如星辰般璀璨&#xff0c;它是数据科学家、机器学习工程师乃至量化金融分析师手中的利器——NumPy&#xff0c;它以其高效的数据处理能力和便捷的矩阵运算机制&#xff0c;在科研与工程领域中占据着举足轻重的地位。…
阅读更多...
寄快递有没有什么省钱的小妙招？ 怎样寄快递才能省钱呢？

寄快递有没有什么省钱的小妙招？ 怎样寄快递才能省钱呢？

快递物流行业的快速崛起刺激了人们的消费欲望&#xff0c;其中典型的是每每到重大节日尤其是双十一或者双十二&#xff0c;消费市场异常火爆&#xff0c;这也使得快递行业加班加点的干也不追不上人们下单的速度。如今&#xff0c;互联网时代崛起&#xff0c;网购成为了大家最寻…
阅读更多...
码农的周末日常---一月的第二周

码农的周末日常---一月的第二周

上周总结 开发任务按规划完成 参加新版本的需求分析会议&#xff0c;基本了解新功能的实现 开始阅读一本新书《Head first Java》 2024/01/13 天气晴 温度适宜 蓝蓝的天&#xff0c;暖暖的阳光&#xff0c;不晒鞋可惜了&#xff0c;赶紧掏出我那正宗莆田和anta晒…
阅读更多...
高级分布式系统-第12讲 分布式控制经典理论

高级分布式系统-第12讲 分布式控制经典理论

控制器基础 分布式控制系统的设计&#xff0c;是指在给定系统性能指标的条件下&#xff0c;设计出控制器的控制规律和相应的数字控制算法。 PID控制器 根据偏差的比例&#xff08;Proportional&#xff09;、积分&#xff08;Integral&#xff09;、微分&#xff08;Derivati…
阅读更多...
MATLAB R2023a安装教程

MATLAB R2023a安装教程

鼠标右击软件压缩包&#xff0c;选择“解压到MATLAB.R2023a”。 打开解压后的文件夹&#xff0c;鼠标右击“R2023a_Windows_iso”选择“装载”。 鼠标右击“setup.exe”选择“以管理员身份运行”。 点击“高级选项”选择“我有文件安装密钥”。 点击“是”&#xff0c;然后点击…
阅读更多...
steam搬砖项目赚钱吗？低门槛副业月入5k真的假的？

steam搬砖项目赚钱吗？低门槛副业月入5k真的假的？

steam搬砖项目一开始默默无闻&#xff0c;现在越来越受欢迎&#xff0c;因为大家都看到了该项目的长期稳定性。 steam搬砖项目主要是搬csgo游戏装备和道具&#xff0c;从steam购买&#xff0c;在网易Buff上出售&#xff0c;赚取差价。只需少量投资&#xff0c;即可获得长期稳定…
阅读更多...
【线性表的基本操作实现及其应用 】

【线性表的基本操作实现及其应用 】

线性表的基本操作实现及其应用 1.实验目的 ⑴ 熟练掌握线性表的基本操作在两种存储结构上的实现&#xff0c;其中以熟悉各种链表的操作为重点。 ⑵ 巩固高级语言程序设计方法与技术&#xff0c;会用线性链表解决简单的实际问题。 2.实验原理与要求 ⑴ 按照数据结构实验任务书&…
阅读更多...
Docker安装Elasticsearch8详细步骤

Docker安装Elasticsearch8详细步骤

前面讲了Elasticsearch7的安装步骤&#xff0c;今天讲讲Elasticsearch8的安装&#xff0c;大同小异。 1、配置环境变量 .env 文件设置运行 docker-compose.yml 配置文件时使用的环境变量。 确保使用 ELASTIC_PASSWORD 和 KIBANA_PASSWORD 变量为 elastic 和 kibana_system 用…
阅读更多...
Python——函数的参数

Python——函数的参数

1.位置参数 位置参数可以在函数中设置一个或者多个参数&#xff0c;但是必须有对应个数的值传入该函数才能成功调用&#xff0c;例如&#xff1a; def power(x):return x*xprint(powr(5)) 如果传入的值与对应函数设置的位置参数不符合&#xff0c;则会报错&#xff1a; Traceba…
阅读更多...
《优化接口设计的思路》系列：第七篇—接口限流策略

《优化接口设计的思路》系列：第七篇—接口限流策略

系列文章导航 第一篇—接口参数的一些弯弯绕绕 第二篇—接口用户上下文的设计与实现 第三篇—留下用户调用接口的痕迹 第四篇—接口的权限控制 第五篇—接口发生异常如何统一处理 第六篇—接口防抖(防重复提交)的一些方式 第七篇—接口限流策略 本文参考项目源码地址&#xff…
阅读更多...
【EAI 006】ChatGPT for Robotics：将 ChatGPT 应用于机器人任务的提示词工程研究

【EAI 006】ChatGPT for Robotics：将 ChatGPT 应用于机器人任务的提示词工程研究

论文标题&#xff1a;ChatGPT for Robotics: Design Principles and Model Abilities 论文作者&#xff1a;Sai Vemprala, Rogerio Bonatti, Arthur Bucker, Ashish Kapoor 作者单位&#xff1a;Scaled Foundations, Microsoft Autonomous Systems and Robotics Research 论文原…
阅读更多...
第六站:C++面向对象

第六站:C++面向对象

面向对象的第一概念:类 类的构成: “类”&#xff0c;是一种特殊的“数据类型”&#xff0c;不是一个具体的数据。 类的设计: 创建一个类: class Human { public://公有的,对外的void eat();//方法,成员函数void sleep();void play();void work();string getName();//获取对内…
阅读更多...
元素、物质、原子、分子之间的关系。

元素、物质、原子、分子之间的关系。

问题描述&#xff1a;元素、物质、原子、分子之间的关系。 问题解答&#xff1a; 首先&#xff0c;元素是具有相同核电荷数的同一类原子的总称。例如&#xff0c;氢元素包含所有质子数为1的原子。 其次&#xff0c;物质是由元素组成的。物质可以由单一的元素构成&#xff0c…
阅读更多...
【书生·浦语】大模型实战营——第五课作业

【书生·浦语】大模型实战营——第五课作业

教程文档&#xff1a;https://github.com/InternLM/tutorial/blob/vansin-patch-4/lmdeploy/lmdeploy.md#tritonserver-%E6%9C%8D%E5%8A%A1%E4%BD%9C%E4%B8%BA%E5%90%8E%E7%AB%AF 视频链接&#xff1a; 作业&#xff1a; 基础作业 使用如下命令创建conda环境 conda create…
阅读更多...
【python入门】day28：记录用户登录日志

【python入门】day28：记录用户登录日志

演示 代码 #-*- coding:utf-8 -*- print(记录用户登录日志----------------------------) import time def show_info():print(输入提示数字,执行相应操作:0退出,1查看登录日志) def write_logininfo(username):#----------记录日志with open(log.txt,a,encodingutf-8)as file…
阅读更多...
基于SSM的网上订餐管理系统

基于SSM的网上订餐管理系统

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;Vue 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#xff1a;是 目录…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023