RabbitMQ-持久化

news2024/11/25 22:46:37
  一、介绍

         如何保证RabbitMQ服务停掉以后生产者发送过来的消息不丢失。默认情况下RabbitMQ退出或由于某种原因崩溃时,他将忽视队列和消息,除非告知它不要这样做。确保消息不丢失需要做两件事情:将队列和消息都标记为持久化

  二、队列持久化

        再声明队列的时候把durable参数改为true即可

boolean durable = true; //让队列持久化
channel.queueDeclare(TASK_QUEUE_NAME,durable,false,false,null);

        但是需要注意的是,如果之前声明的队列不是持久化的,需要把原先的队列先删除,或者重新创建一个持久化队列,不然会出现错误

        删除之后

       重启之后

  三、消息持久化

         需要在消息生产者修改代码,MessageProperties.PERSISTENT_TEXT_PLAIN添加这个属性

channel.basicPublish("",QUEUE_NAME, MessageProperties.PERSISTENT_TEXT_PLAIN,message.getBytes());

        将消息标注为持久化并不能完全保证不会丢失消息,尽管它告诉RabbitMQ将消息保存到磁盘,但是依然存在当消息刚刚准备存储在磁盘的时候,但是还没有存储完,消息还在缓存的一个间隔点。此时并没有真正写入磁盘。持久性保证并不强,仅使用于简单任务队列。

  四、不公平分发

         设置参数(在消费端)

 //设置不公平分发
int prefetchCount = 1;
channel.basicQos(prefetchCount);
  五、预取值
//轮询
//int prefetchCount = 0;
//设置不公平分发
//int prefetchCount = 1;
//预取值
int prefetchCount = 2;
channel.basicQos(prefetchCount);
  六、发布确认

     1、开启发布确认(默认没有开启)

//开启发布确认
channel.confirmSelect();

     2、单个确认发布

          这是一种简单的确认方式,它是一种同步确认发布的方式,也就是发布一个消息之后只有它被确认发布后,后续的消息才能继续发布,waitForConfirmsOrDie(long)这个方法只有在消息被确认的时候才返回,如果在指定时间范围内这个消息没有被确认那么它将抛出异常。

         缺点:发布速度特别慢,最多提供每秒不超过数百条发布消息的吞吐量。

    3、批量确认发布

         单个确认发布非常慢,而与单个确认发布相比,先发布一批消息然后一起确认可以极大提高吞吐量,缺点就是:当发生故障导致发布出现问题时,无法确定哪个消息出现问题了。我们必须将整个批处理保存在内存中,以记录重要的消息后重新发布。当然这种方案仍然是同步的,一样阻塞消息的发布。

    4、异步确认发布

         逻辑比较复杂,但性价比较高,可靠性和效率都比较好;是利用回调函数来达到消息可靠性传递的,这个中间件也是通过回调函数来保证是否投递成功。

/**
 * @author
 * @date 
 * 发布确认模式
 *     1、单个确认
 *     2、批量确认
 *     3、异步批量确认
 */
public class ConfirmMessage {

    public static final int MESSAGE_COUNT = 1000;

    public static void main(String[] args) throws Exception {
        //1、单个确认   558ms
        //publishMessageIndividually();
        //2、批量确认   121ms
        //publicMessageBatch();
        //3、异步发布确认   40ms
        publishMessageAsync();

    }
    //单个确认
    public static void publishMessageIndividually() throws Exception {
        Channel channel = RabbitMqUtil.getChannel();
        //队列声明
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        //开始时间
        long begin = System.currentTimeMillis();
        //批量发消息
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i+"";
            channel.basicPublish("",queueName,null,message.getBytes());
            System.out.println();
            boolean flag = channel.waitForConfirms();
            if(flag){
                System.out.println("消息发送成功");
            }
        }
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("发布"+MESSAGE_COUNT+"个单独确认消息耗时"+(end-begin));
    }
    //批量发布确认
    public static void publicMessageBatch() throws Exception {
        Channel channel = RabbitMqUtil.getChannel();
        //队列声明
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        //开始时间
        long begin = System.currentTimeMillis();
        //批量确认消息大小
        int batchSize = 100;
        //批量发消息  批量发布确认
        for (int i = 1; i <= MESSAGE_COUNT; i++) {
            String message = i+"";
            channel.basicPublish("",queueName,null,message.getBytes());

            //判断达到100条消息的时候,批量确认一次
            if(i%batchSize == 0){
                //发布确认
                channel.waitForConfirms();
            }
        }
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("发布"+MESSAGE_COUNT+"个批量确认消息耗时"+(end-begin));
    }
    //异步发布确认
    public static void publishMessageAsync() throws Exception {
        Channel channel = RabbitMqUtil.getChannel();
        //队列声明
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        //开始时间
        long begin = System.currentTimeMillis();
        //消息确认成功 回调函数
        ConfirmCallback ackCallback = (deliveryTag, multiple) ->{
            System.out.println("确认的消息:"+deliveryTag);
        };
        //消息确认失败 回调函数
        /**
         * 1、消息的标识
         * 2、是否为批量确认
         */
        ConfirmCallback nackCallback = (deliveryTag, multiple) ->{
            System.out.println("未确认的消息:"+deliveryTag);
        };
        //准备消息的监听器 监听哪些消息发送成功了 哪些消息发送失败了、
        /**
         * 1、监听哪些消息确认成功了
         * 2、监听哪些消息确认失败了
         */
        channel.addConfirmListener(ackCallback,nackCallback);

        //批量发消息  异步发布确认
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i+"";
            channel.basicPublish("",queueName,null,message.getBytes());
        }
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("发布"+MESSAGE_COUNT+"个异步确认消息耗时"+(end-begin));
    }
}

       5、如何处理异步未确认消息

            把未确认的消息放到一个基于内存的能被发布线程访问的队列,比如说用ConcurrentLinkedQueue这个队列在confirm callbacks与发布线程之间进行消息的传递


    //异步发布确认
    public static void publishMessageAsync() throws Exception {
        Channel channel = RabbitMqUtil.getChannel();
        //队列声明
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        /**
         * 线程安全有序的一个哈希表 适用于高并发情况
         * 1、轻松的将序号与消息进行关联
         * 2、轻松的批量删除条目 只要给到序号
         * 3、支持高并发
         */
        ConcurrentSkipListMap<Long,String> outstandingConfirm = new ConcurrentSkipListMap<>();
        //消息确认成功 回调函数
        ConfirmCallback ackCallback = (deliveryTag, multiple) ->{
            if(multiple){
                //2、删除已经确认的消息 剩下就是为确认的消息
                ConcurrentNavigableMap<Long, String> confirmed =
                        outstandingConfirm.headMap(deliveryTag);
                confirmed.clear();
            }else{
                outstandingConfirm.remove(deliveryTag);
            }

            System.out.println("确认的消息:"+deliveryTag);

        };
        //消息确认失败 回调函数
        /**
         * 1、消息的标识
         * 2、是否为批量确认
         */
        ConfirmCallback nackCallback = (deliveryTag, multiple) ->{
            //3、打印未确认的消息有哪些
            String message = outstandingConfirm.get(deliveryTag);

            System.out.println("未确认的消息:"+message+"未确认的消息标记:"+deliveryTag);
        };
        //准备消息的监听器 监听哪些消息发送成功了 哪些消息发送失败了、
        /**
         * 1、监听哪些消息确认成功了
         * 2、监听哪些消息确认失败了
         */
        channel.addConfirmListener(ackCallback,nackCallback);
        //开始时间
        long begin = System.currentTimeMillis();
        //批量发消息  异步发布确认
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i+"";
            channel.basicPublish("",queueName,null,message.getBytes());
            //1、记录所有要发送的消息
            outstandingConfirm.put(channel.getNextPublishSeqNo(),message);
        }
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("发布"+MESSAGE_COUNT+"个异步确认消息耗时"+(end-begin));
    }

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/336541.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

(1分钟速通面试) SLAM中的最小二乘问题

最小二乘拟合问题 求解超定方程首先写这篇博客之前说一个背景&#xff0c;这个最小二乘拟合问题是我在去年面试实习的时候被问到的&#xff0c;然后当时是非常的尴尬&#xff0c;没有回答上来里面的问题。Hhh 所以这篇博客来进行一个补充学习一下下。感觉这个最小二乘问题还是比…

根据报告20%的白领在一年内做过副业,你有做副业吗?

现在大部分人收入单一&#xff0c;收入都是来源于本职工作&#xff0c;当没有了工作就没有了收入的来源&#xff0c;而生活压力又很大&#xff0c;各种开支&#xff0c;各种消费。所以很多人想要增加收入来源&#xff0c;增加被动收入&#xff0c;同时通过副业提升自己的价值和…

LeetCode·每日一题·1223.掷骰子模拟·记忆化搜索

作者&#xff1a;小迅链接&#xff1a;https://leetcode.cn/problems/dice-roll-simulation/solutions/2103471/ji-yi-hua-sou-suo-zhu-shi-chao-ji-xiang-xlfcs/来源&#xff1a;力扣&#xff08;LeetCode&#xff09;著作权归作者所有。商业转载请联系作者获得授权&#xff0…

libxlsxwriter中文报错问题

libxlsxwriter库在windows系统下VS中存在中文输入报错问题。这在小白关于libxlsxwriter的第一篇博客libxlsxwriter初体验里有所阐述。当时小白给出的解决方案是将文件编码修改成不带签名的utf-8。后来在使用中&#xff0c;小白发现这样并没有完全解决问题。有的中文可以正常写入…

VHDL语言基础-时序逻辑电路-触发器

目录 触发器&#xff1a; D触发器&#xff1a; 触发器的VHDL描述&#xff1a; 触发器的仿真波形如下&#xff1a;​编辑 时钟边沿检测的三种方法&#xff1a; 方法一: 方法二&#xff1a; 方法三&#xff1a; 带有Q非的D触发器&#xff1a; 带有Q非的D触发器的描述&am…

微信小程序 Springboot高校课堂教学管理系统-java

小程序端 学生在小程序端进行注册并且进行登录。 填写自己的个人信息进行注册 登录成功后可以看到有首页、课程资源、测试、互动论坛、我的功能模块。 课程资源学生可以点击想要查看的资源进行观看。 课程分类学生可以按照自己想要的分类进行搜索并且进行观看。 互动论坛可以查…

四种方式的MySQL安装过程 数据库(2)

目录 1. 仓库安装&#xff1a; 1.1 卸载数据库软件&#xff1a; 2. 本地安装&#xff1a; 2.1 卸载数据库软件&#xff1a; 3. 容器安装&#xff1a; 4. 源码安装&#xff1a; 4.1 使用systemctl命令启动进程 1. 仓库安装&#xff1a; &#xff08;1&#xff09;查看版本…

超级详细GitBook和GitLab集成步骤【linux环境】

介绍 本文主要是在 gitlab 上集成 gitbook 实现提交时 gitbook 自动刷新部署 &#xff0c;以及在 linux 环境上搭建 gitlab gitbook,集成 GitLab CI 实现一个企业级或个人的 Wiki 系统 环境准备 1.一台 linux 服务器 2.安装 node 以及 npm 环境 (这里注意 node 环境不要过高 不…

CS反制之批量伪装上线

分析原理&#xff1a; 我们利用Wireshark抓包工具分析一下Cobalt Strike的上线过程是怎么样的 点击木马&#xff0c;主机上线并抓包 查看数据包 可以看到cookie是一串非对称RSA加密类型&#xff0c;需要一个私钥Private Key才能对其进行解密 我们对Cookie解密看看&#xff…

Django框架之系列二

为什么要搭建虚拟环境? 在开发过程中, 当需要使用python的某些工具包/框架时需要联网安装 比如联网安装Django框架django的1.11.11版本 sudo pip install django1.11.11提示&#xff1a;使用如上命令, 会将Django安装到/usr/local/lib/python2.7/dist-packages路径下问题&…

常见的10种网络安全攻击类型

1. DoS 和 DDoS 攻击DoS 是 Denial of Service 的简称&#xff0c;即拒绝服务。单一的 DoS 攻击一般是采用一对一方式的&#xff0c;通过制造并发送大流量无用数据&#xff0c;造成通往被攻击主机的网络拥塞&#xff0c;耗尽其服务资源&#xff0c;致使被攻击主机无法正常和外界…

57 长短期记忆网络(LSTM)【动手学深度学习v2】

57 长短期记忆网络&#xff08;LSTM&#xff09;【动手学深度学习v2】 深度学习学习笔记 学习视频&#xff1a;https://www.bilibili.com/video/BV1JU4y1H7PC/?spm_id_fromautoNext&vd_source75dce036dc8244310435eaf03de4e330 长短期记忆网络&#xff08;LSTM&#xff09…

Element UI框架学习篇(四)

Element UI框架学习篇(四) 1 准备工作 1.0 创建Emp表并插入相应数据的sql语句 /*MySQL数据库*/SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS 0;-- ---------------------------- -- Table structure for emp -- ---------------------------- DROP TABLE IF EXISTS emp; CRE…

为什么需要内存对齐

内存对齐 为什么需要内存对齐&#xff1f; 平台原因&#xff1a;不是所有的硬件平台都能访问任意内存地址上的任意数据&#xff0c;某些硬件平台只能在某些地址处取某些特定类型的数据&#xff0c;否则抛出硬件异常。为了同一个程序可以在多平台运行&#xff0c;需要内存对齐…

阻塞式队列-生产者消费者模型

1.阻塞队列是什么 阻塞队列是一种特殊的队列. 也遵守 "先进先出" 的原则. 阻塞队列能是一种线程安全的数据结构, 并且具有以下特性: 当队列满的时候, 继续入队列就会阻塞, 直到有其他线程从队列中取走元素.当队列空的时候, 继续出队列也会阻塞, 直到有其他线程往队…

HLNet代码debug记录

昨天跑HLNet的代码&#xff0c;配环境的时候又双叒叕遇到了一些问题&#xff0c;记录一下&#xff1a; 1.error: identifier “AT_CHECK“ is undefined 出现在python setup.py build develop的时候 参照https://blog.csdn.net/sinat_29957455/article/details/113334944 根据报…

如何在腾讯云服务器上安装Jupyter Notebook示例?

Jupyter简介及服务器端安装 首先&#xff0c;服务器端安装Jupyter。 sudo pip3 install jupyterlab&#xff1a; 启动Jupyter服务 # 设置jupyter web的密码jupyter-notebook password# 创建jupyter工作目录mkdir ~/jupyter_workspace# 启动jupyter (两次ctrlc停止服务)jup…

图解LeetCode——剑指 Offer 32 - III. 从上到下打印二叉树 III

一、题目 请实现一个函数按照之字形顺序打印二叉树&#xff0c;即&#xff1a;第一行按照从左到右的顺序打印&#xff0c;第二层按照从右到左的顺序打印&#xff0c;第三行再按照从左到右的顺序打印&#xff0c;其他行以此类推。 二、示例 2.1> 示例1 提示&#xff1a; …

【软件测试】资深测试工程师说:你真的能做好bug分析吗?

目录&#xff1a;导读前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结&#xff08;尾部小惊喜&#xff09;前言 bug报告&#xff0c…

Revive:从间谍软件进化成银行木马

2022 年 6 月&#xff0c;Cleafy 研究人员发现了一个新的安卓银行木马 Revive。之所以选择 Revive 这个名称&#xff0c;是因为恶意软件为防止停止工作启用的一项功能名为 revive。 Revive 属于持续潜伏的那一类恶意软件&#xff0c;因为它是为特定目标开发和定制的。这种类型…