文章目录
- 1. 概述
- 2. 相关概念
- 2.1 RabbitMQ简介:
- 2.2核心概念
- 2.2.1 Message
- 2.2.2 Publisher
- 2.2.3 Exchange
- 2.2.4 Queue
- 2.2.5 Binding
- 2.2.6Connection
- 2.2.7 Channel
- 2.2.8 Consumer
- 2.2.9Virtual Host
- 2.2.10Broker
- 3.Docker安装rabbit MQ
- 4、RabbitMQ运行机制
- 4.1AMQP 中的消息路由
- 4.2 Exchange类型
- 4.2.1 Direct Exchange
- 4.2.2 Fanout Exchange
- 4.2.3 Topic Exchange
- 5.Springboot整合RabbitMQ
- 5.1 添加依赖
- 5.2 yml配置
- 5.3 主启动
- 5.4 创建交换机
- 5.5创建队列
- 5.6 交换机和队列进行绑定
- 5.7 发送消息
- 5.8 接收消息
- 5.9 监听消息
- 6.RabbitMQ消息确认机制-可靠抵达
- 6.1 可靠抵达-ConfirmCallback(服务收到消息就回调)
- 6.1.1步骤
- 6.2 可靠抵达-ReturnCallback
- 6.2.1 步骤
- 6.3 消息端确认
- 6.3.1 可靠抵达-Ack消息确认机制
- 6.3.1 具体实现
1. 概述
- 大多应用中,可通过消息服务中间件来提升系统异步通信、扩展解耦能力
- 消息服务中两个重要概念:
- 消息代理(message broker)和目的地(destination)
- 当消息发送者发送消息以后,将由消息代理接管,消息代理保证消息传递到指定目的地。
- 消息队列主要有两种形式的目的地
- 队列(queue):点对点消息通信(point-to-point)
- 主题(topic):发布(publish)/订阅(subscribe)消息通信
- 点对点式:
- 消息发送者发送消息,消息代理将其放入一个队列中,消息接收者从队列中获取消息内容,消息读取后被移出队列
- 消息只有唯一的发送者和接受者,但并不是说只能有一个接收者
- 发布订阅式:
- 发送者(发布者)发送消息到主题,多个接收者(订阅者)监听(订阅)这个主题,那么就会在消息到达时同时收到消息
- JMS(Java Message Service)JAVA消息服务: 基于JVM消息代理的规范。ActiveMQ、HornetMQ是JMS实现
- AMQP(Advanced Message Queuing Protocol)
- 高级消息队列协议,也是一个消息代理的规范,兼容JMS
- RabbitMQ是AMQP的实现
JMS(Java Message Service) | AMQP(Advanced Message Queuing Protocol) | |
---|---|---|
定义 | Java api | 网络线级协议 |
跨语言 | 否 | 是 |
跨平台 | 否 | 是 |
Model 提供两种消息模型: | 1. Peer-2-Peer 2. Pub/sub | 提供了五种消息模型: 1. direct exchange 2.fanout exchange 3. topic change 4. headers exchanges 5.ystem exchange 本质来讲,后四种和JMS的pub/sub模型没有太大差别,仅是在路由机制上做了更详细的划分; |
支持消息类型 | 多种消息类型: TextMessage MapMessage BytesMessage StreamMessage ObjectMessage Message (只有消息头和属性) | byte[] 当实际应用时,有复杂的消息,可以将消息序列化后发送。 |
综合评价 | JMS 定义了JAVA API层面的标准;在java体系中,多个client均可以通过JMS进行交互,不需要应用修改代码,但是其对跨平台的支持较差; | AMQP定义了wire-level层的协议标准;天然具有跨平台、跨语言特性。 |
- Spring支持
- spring-jms提供了对JMS的支持
- spring-rabbit提供了对AMQP的支持
- 需要ConnectionFactory的实现来连接消息代理
- 提供JmsTemplate、RabbitTemplate来发送消息
- @JmsListener(JMS)、@RabbitListener(AMQP)注解在方法上监听消息代理发布的消息
-@EnableJms、@EnableRabbit开启支持
- Spring Boot自动配置
• JmsAutoConfiguration
• RabbitAutoConfiguration
- 10、市面的MQ产品
• ActiveMQ、RabbitMQ、RocketMQ、Kafka
2. 相关概念
2.1 RabbitMQ简介:
RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue Protocol)的开源实现。
2.2核心概念
2.2.1 Message
消息,消息是不具名的,它由消息头和消息体组成。消息体是不透明的,而消息头则由一系列的可选属性组成,这些属性包括routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出该消息可能需要持久性存储)等。
2.2.2 Publisher
消息的生产者,也是一个向交换器发布消息的客户端应用程序。
2.2.3 Exchange
交换器,用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
Exchange有4种类型:direct(默认),fanout, topic, 和headers,不同类型的Exchange转发消息的策略有所区别
2.2.4 Queue
消息队列,用来保存消息直到发送给消费者。它是消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。
2.2.5 Binding
绑定,用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表。
Exchange 和Queue的绑定可以是多对多的关系。
2.2.6Connection
网络连接,比如一个TCP连接。
2.2.7 Channel
信道,多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接,AMQP 命令都是通过信道发出去的,不管是发布消息、订阅队列还是接收消息,这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销,所以引入了信道的概念,以复用一条 TCP 连接。
2.2.8 Consumer
消息的消费者,表示一个从消息队列中取得消息的客户端应用程序。
2.2.9Virtual Host
虚拟主机,表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器,拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础,必须在连接时指定,RabbitMQ 默认的 vhost 是 / 。
2.2.10Broker
表示消息队列服务器实体
3.Docker安装rabbit MQ
docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management
解释
- 4369, 25672 (Erlang发现&集群端口)
- 5672, 5671 (AMQP端口)
- 15672 (web管理后台端口)
- 61613, 61614 (STOMP协议端口)
- 1883, 8883 (MQTT协议端口)
官网:https://www.rabbitmq.com/networking.html
4、RabbitMQ运行机制
4.1AMQP 中的消息路由
AMQP 中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别,AMQP 中增加了 Exchange 和Binding 的角色。生产者把消息发布到 Exchange 上,消息最终到达队列并被消费者接收,而 Binding 决定交换器的消息应该发送到那个队列
4.2 Exchange类型
Exchange分发消息时根据类型的不同分发策略有区别,目前共四种类型:direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键,headers 交换器和 direct 交换器完全一致,但性能差很多,目前几乎用不到了,所以直接看另外三种类型:
4.2.1 Direct Exchange
消息中的路由键(routing key)如果和Binding 中的 binding key 一致, 交换器就将消息发到对应的队列中。路由键与队列名完全匹配,如果一个队列绑定到交换机要求路由键为“dog”,则只转发 routing key 标记为“dog”的消息,不会转发 “dog.puppy”,也不会转发“dog.guard” 等等。它是完全匹配、单播的模式。
4.2.2 Fanout Exchange
每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键,只是简单的将队列绑定到交换器上,每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播,每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。
4.2.3 Topic Exchange
topic 交换器通过模式匹配分配消息的路由键属性,将路由键和某个模式进行匹配,此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词,这些单词之间用点隔开。它同样也会识别两个通配符:符号“#”和符号“*”。#匹配0个或多个单词,*匹配一个单词。
5.Springboot整合RabbitMQ
5.1 添加依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
5.2 yml配置
spring:
rabbitmq:
host: 47.93.21.100
port: 5672
virtual-host: /
5.3 主启动
package com.atguigu.gulimall.order;
import org.mybatis.spring.annotation.MapperScan;
import org.springframework.amqp.rabbit.annotation.EnableRabbit;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
/**
* 引入rabbitMQ
* 1. 引入amqp场景 RabbitAutoConfiguration就会自动生效
* 2.给容器中配置了 rabbitTemplate、amqpAdmin、CachingConnectionFactory、 RabbitMessagingTemplate
* 所有的属性都是
* @ConfigurationProperties(prefix = "spring.rabbitmq")
* 3.给配置文件添加 spring.rabbitmq信息
* 4. @EnableRabbit 开启功能
*/
@EnableRabbit
@SpringBootApplication
@MapperScan("com.atguigu.gulimall.order.dao")
public class GulimallOrderApplication {
public static void main(String[] args) {
SpringApplication.run(GulimallOrderApplication.class, args);
}
}
5.4 创建交换机
代码执行之前
测试代码
@SpringBootTest
@Slf4j
public class GulimallOrderApplicationTests {
@Autowired
private AmqpAdmin amqpAdmin;
/**
* 1. 如何创建 exchange queue binding
* 使用 AmqpAdmin进行创建
* 2. 如何收发消息
*/
@Test
public void createExchange(){
/**
* 声明一个交换机
* 参数1:交换机的名字
* 参数2:是否持久化
* 参数3:是否自动删除
*/
DirectExchange directExchange = new DirectExchange("hello-java-exchange",true,false);
amqpAdmin.declareExchange(directExchange);
log.debug("exchange创建成功");
}
}
5.5创建队列
代码执行之前的队列
执行代码
/**
* 创建队列
*/
@Test
public void createQueue(){
/**
* 声明一个队列
* 参数1:队列名字
* 参数2:是否持久化
* 参数3:是否排他性
* 参数4:是否自动删除
*/
Queue queue = new Queue("hello-java-queue", true, false, false);
amqpAdmin.declareQueue(queue);
log.debug("队列创建成功");
}
执行代码后的队列
5.6 交换机和队列进行绑定
代码
@Test
public void bing(){
/**
* String destination 目的地
* DestinationType destinationType 目的地类型
* String exchange 交换机
* String routingKey 路由key
* Map<String, Object> arguments 自定义参数
*/
Binding binding = new Binding("hello-java-queue",
Binding.DestinationType.QUEUE,
"hello-java-exchange",
"hello",
null);
amqpAdmin.declareBinding(binding);
log.debug("绑定创建成功");
}
效果
5.7 发送消息
- 配置发送的消息为JSON数组
package com.atguigu.gulimall.order.config;
import org.springframework.amqp.support.converter.Jackson2JsonMessageConverter;
import org.springframework.amqp.support.converter.MessageConverter;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class MyRabbitConfig {
@Bean
public MessageConverter messageConverter(){
return new Jackson2JsonMessageConverter();
}
}
- 发送消息
@Autowired
private RabbitTemplate rabbitTemplate;
/**
* 发送消息
*/
@Test
public void sendMessage(){
//1. 发送消息 如何消息是个对象 我们会使用序列化机制 将对象写出去 对象必须实现serializable
String message = "hello word";
OrderReturnReasonEntity reasonEntity = new OrderReturnReasonEntity();
reasonEntity.setId(1L);
reasonEntity.setCreateTime(new Date());
reasonEntity.setName("哈哈");
//2.发送的消息可以是个对象
rabbitTemplate.convertAndSend("hello-java-exchange","hello",reasonEntity);
log.debug("发送消息成功");
}
5.8 接收消息
/**
* queues 声明需要监听所有的队列
* org.springframework.amqp.core.Message
* 参数可以写以下类型 可以单选或者多选
* 1. Message 原生消息详细信息 头+体
* 2.T<发送消息的类型>
* 3.Channel当前传输数据的通道 com.rabbitmq.client.Channel;
*
*/
@RabbitListener(queues = {"hello-java-queue"})
public void receiveMessage(Message message,
OrderReturnReasonEntity entity,
Channel channel){
System.out.println(message);
System.out.println("接收到的消息"+entity);
System.out.println(channel);
}
5.9 监听消息
监听消息使用@RabbitListener
必须有@EnableRabbit
@RabbitListener
使用的类、方法上(监听哪些队列即可)
@EnableRabbit
标在方法上,区分不同的消息
@Service("orderItemService")
@RabbitListener(queues = {"hello-java-queue"})
public class OrderItemServiceImpl extends ServiceImpl<OrderItemDao, OrderItemEntity> implements OrderItemService {
/**
* queues 声明需要监听所有的队列
* org.springframework.amqp.core.Message
* 参数可以写以下类型 可以单选或者多选
* 1. Message 原生消息详细信息 头+体
* 2.T<发送消息的类型>
* 3.Channel当前传输数据的通道 com.rabbitmq.client.Channel;
*
* Queue:可以很多人都来监听,只要收到消息,队列删除消息 而且只能一个人收到消息
* 场景:
* 1. 订单服务启动多个
*/
// @RabbitListener(queues = {"hello-java-queue"})
@RabbitHandler
public void receiveMessage1(Message message,
OrderReturnReasonEntity entity,
Channel channel) throws InterruptedException {
// System.out.println("接收到的消息"+message+",消息内容"+entity);
System.out.println("消息处理完成"+entity.getName());
}
@RabbitHandler
public void receiveMessage2(Message message,
OrderEntity entity,
Channel channel) throws InterruptedException {
// System.out.println("接收到的消息"+message+",消息内容"+entity);
System.out.println("消息处理完成"+entity.getOrderSn());
}
}
6.RabbitMQ消息确认机制-可靠抵达
保证消息不丢失,可靠抵达,可以使用事务消息,性能下降250倍,为此引入确认机制
- publisher confirmCallback 确认模式
- publisher returnCallback 未投递到 queue 退回模式
- consumer ack机制
6.1 可靠抵达-ConfirmCallback(服务收到消息就回调)
- spring.rabbitmq.publisher-confirms=true
- 在创建 connectionFactory 的时候设置 PublisherConfirms(true) 选项,开启confirmcallback 。
- CorrelationData:用来表示当前消息唯一性。
- 消息只要被 broker 接收到就会执行 confirmCallback,如果是 cluster 模式,需要所有broker 接收到才会调用 confirmCallback。
- 被 broker 接收到只能表示 message 已经到达服务器,并不能保证消息一定会被投递 到目标 queue 里。所以需要用到接下来的 returnCallback 。
6.1.1步骤
- 设置spring.rabbitmq.publisher-confirms=true
spring.rabbitmq.publisher-confirms=true
- 配置回调函数
package com.atguigu.gulimall.order.config;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.amqp.support.converter.Jackson2JsonMessageConverter;
import org.springframework.amqp.support.converter.MessageConverter;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import javax.annotation.PostConstruct;
@Configuration
public class MyRabbitConfig {
@Autowired
RabbitTemplate rabbitTemplate;
@Bean
public MessageConverter messageConverter(){
return new Jackson2JsonMessageConverter();
}
/**
* 定制RabbitTemplate
* 1.服务接收到消息就回调
* 1. spring.rabbitmq.publisher-confirms=true
* 2.设置确认回调
*/
@PostConstruct //MyRabbitConfig对象构建完成之后执行此方法
public void initRabbitTemplate(){
//设置确认回调
rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
/**
*
* @param correlationData 当前消息的唯一关联数据(这个是消息的唯一id)
* @param ack 消息是否成功收到
* @param cause 失败的原因
*/
@Override
public void confirm(CorrelationData correlationData, boolean ack, String cause) {
System.out.println("confirm......correlationData:["+correlationData+"],ack=>["+ack+"],cause"+cause);
}
});
}
}
6.2 可靠抵达-ReturnCallback
- spring.rabbitmq.publisher-returns=true
- spring.rabbitmq.template.mandatory=true
- confrim 模式只能保证消息到达 broker,不能保证消息准确投递到目标 queue 里。在有 些业务场景下,我们需要保证消息一定要投递到目标 queue 里,此时就需要用到return 退回模式。
- 这样如果未能投递到目标 queue 里将调用 returnCallback ,可以记录下详细到投递数 据,定期的巡检或者自动纠错都需要这些数据。
6.2.1 步骤
- 改写配置
#开启发送端消息抵达队列的确认
spring.rabbitmq.publisher-returns=true
#只有抵达队列 以异步发送优先回调ReturnCallback
spring.rabbitmq.template.mandatory=true
- 增加配置类
//消息抵达队列的确认回调
rabbitTemplate.setReturnCallback(new RabbitTemplate.ReturnCallback() {
/**
* 只有消息没有投递给指定的队列 就会触发这个失败的回调
* @param message 投递失败的消息详细信息
* @param replyCode 回复的状态码
* @param replyText 回复的文本内容
* @param exchange 当时这个消息发送给那个交换机
* @param routingKey 当时这个消息发送给那个队列
*/
@Override
public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
System.out.println( "FailMessage:["+message+"]==>replayCode]"+replyCode+"]==>replayText["+replyText+"]==>exchange["+exchange+"]===>routingKey["+routingKey+"]");
}
});
6.3 消息端确认
默认是自动确认的,只要消息被接收到,客户端会自动确认,服务器端就会移除这个消息
存在的问题: 收到很多消息,自动回复ack,只要一个消息处理成功,如何突然宕机会发生消息丢失
手动确认模式: 只要我们没有明确告诉MQ,货物被接收,没有ack,消息一直是unack状态。及时consumer宕机,消息不会丢失,会重新变成ready,下一次新的consumer连接进来就发给他
6.3.1 可靠抵达-Ack消息确认机制
- 原理
- 消费者获取到消息,成功处理,可以回复Ack给Broker
- basic.ack用于肯定确认;broker将移除此消息
- basic.nack用于否定确认;可以指定broker是否丢弃此消息,可以批量
- basic.reject用于否定确认;同上,但不能批量
- 默认自动ack,消息被消费者收到,就会从broker的queue中移除
- queue无消费者,消息依然会被存储,直到消费者消费
- 消费者收到消息,默认会自动ack。但是如果无法确定此消息是否被处理完成,或者成功处理。我们可以开启手动ack模式
- 消息处理成功,ack(),接受下一个消息,此消息broker就会移除
- 消息处理失败,nack()/reject(),重新发送给其他人进行处理,或者容错处理后ack
- 消息一直没有调用ack/nack方法,broker认为此消息正在被处理,不会投递给别人,此时客户端断开,消息不会被broker移除,会投递给别人
6.3.1 具体实现
- 修改配置文件
#收到ack消息
spring.rabbitmq.listener.simple.acknowledge-mode=manual
- 修改消息的接收端
@RabbitHandler
public void receiveMessage1(Message message,
OrderReturnReasonEntity entity,
Channel channel) throws InterruptedException {
// System.out.println("接收到的消息"+message+",消息内容"+entity);
System.out.println("消息处理完成"+entity.getName());
long deliveryTag = message.getMessageProperties().getDeliveryTag();
System.out.println("deliveryTag==>"+deliveryTag);
//签收货物非批量模式
try{
if(deliveryTag %2 ==0) {
//收货
channel.basicAck(deliveryTag, false);
System.out.println("签收了:" + deliveryTag);
}else {
//退货
/**
*long deliveryTag 标记
* boolean multiple 是否批量
* boolean requeue 是否重新入队
*/
channel.basicNack(deliveryTag,false,true);
System.out.println("没有签收"+deliveryTag);
}
}catch (Exception e) {
message.getMessageProperties();
}
}