java嵌入式持久化消息队列SMQ,改造自FQueue

news2025/2/27 20:47:55

一、说明


之前项目中一直使用ConcurrentLinkedQueue做为缓冲队列(主要是单个项目内,单条改批量的场景,多个项目间使用的是rocketmq),虽然用着方便但是是纯内存的,

如果项目发生异常崩溃内存队列中的数据就会全部丢失(只能从日志中恢复)。所以一直想找一个简单高效支持持久化的嵌入式消息队列。中间用过activemq的嵌入模式,

虽然是支持持久化了,但是配置起来很繁琐,用起来也不简单,性能相比来说也不太行。后来偶然发现了FQueue

看了看项目源码,纯java编写,总共没几个类。完全可以改造成我想要的 简单高效支持持久化的嵌入式消息队列。目前SMQ的性能禁用内存队列的情况下大概在50w每秒。

二、改造


  1、因为是要做成嵌入式的,所以memcached协议相关的代码都删除了。

  2、预创建文件删除了,还有一些零零碎碎的改动。(好几年了,记不清了)。

  3、相较于原代码,改动最大的就是锁的部分,FQueue 读和写使用的是同一把锁,

我改成了读和写使用不同的锁,只在文件切换的时候使用同一把锁。性能大概提示了百分之20左右(本来就很快,锦上添花)。

  4、添加了内存队列,这个主要解决同一个机器创建了大量队列(上千)时,队列消息消费较快,因为使用了内存映射磁盘(每隔10ms就会调用force()同步磁盘),

频繁操作磁盘导致磁盘io过高的问题。默认情况下队列大小超过50时才会写入持久化队列。可以在项目启动时调用SMQ.setting(String dbPath, int logSize, int memoryQueueSize)

进行设置。

三、使用


1、说明


  目前是集成在我个人的工具类项目中的,已发布到中央仓库。该项目强依赖hutool,算是个人对hutool的个性化的扩展。如果不想依赖该项目,只想单纯的使用SMQ,可以将源码中 cn.sanenen.queue包复制出来,单独使用。

2、maven引用


<!-- https://mvnrepository.com/artifact/cn.sanenen/sun-utils --><dependency><groupId>cn.sanenen</groupId><artifactId>sun-utils</artifactId><version>2.3.1</version></dependency>

3、调用


  SMQ使用时只有三个方法,向队列放入数据、从队列取出数据、获取队列大小(一般只在监控队列是否积压时使用,判断队列是否有数据,使用获取队列数据是否为null进行判断)。

  我一般是写一个单独的类,通过静态方法调用。

/**
 * 本地持久化内存队列
 */publicclass MsgQueue {
    privatestaticfinal String testDataTopic = "testData";

    /**
     * 向队列放入数据,支持多线程。
     */publicstaticvoid putTestData(TestData msg) {
        SMQ.push(testDataTopic, JSON.toJSONString(msg));
    }

    /**
     * 从队列取出数据,支持多线程。
     */publicstatic TestData getTestData() {
        String poll = SMQ.pop(testDataTopic);
        if (StrUtil.isNotBlank(poll)) {
            return JSON.parseObject(poll, TestData.class);
        }
        returnnull;
    }

    /**
     * 获取队列大小
     */publicstaticlong getTestDataSize(){
        return SMQ.size(testDataTopic);
    }
}

四、注意事项


  1、默认会在项目目录下生成一个smq的文件夹用来存放队列数据。同一个smq的文件夹同时只可被一个项目使用。

  2、SMQ.setting(String dbPath, int logSize, int memoryQueueSize)

    dbPath文件存储目录,默认是smq(相对路径,也可以使用绝对路径),会在项目目录下创建一个smq的目录。

    logSize数据文件大小,单位是M,最大不可超过2048M,默认是50M。使用过程中最好不要改变该值。

    memoryQueueSize是内存队列大小,默认是50,内存队列数据积压超过memoryQueueSize后才会写入持久化队列。小于0时禁用内存队列。

  3、最好使用在不是要求百分百消息不丢失的场景。(在项目异常停止、服务器停电关机时,有概率丢失消息。)

  4、项目使用了addShutdownHook,会在项目关闭时将内存队列消息写入持久化队列。结束项目时最好使用kill -15 不要用 -9。否则有可能造成消息丢失。同步磁盘时间是10ms。

5、目前已经在生产环境使用两年多。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/347266.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JavaSE学习day6 进制转换和idea的调试

1.进制 1.1 常见的进制分类(掌握) 学过计算机组成原理的同学可以跳过这里。 二进制 十进制 八进制 十六进制 1.2 二进制 计算机数据在底层存储和运算的时候&#xff0c;都是以二进制的形式操作的&#xff0c;了解不同的进制&#xff0c;便于我们对数据的运算过程理解的更…

个人博客推出了更多功能

背景 Web2.0的典型代表博客&#xff0c;吸引着粉丝们打造属于自己的个人博客&#xff0c;分享自己的学习经验&#xff0c;记录自己的日常生活。随着大厂的入局&#xff0c;我们可以很容易的申请自己的个人博客&#xff0c;但是弊端就是往往会被他们控制&#xff0c;甚至封号。…

汕头市农村生活污水治理“十四五”规划行动方案

汕头&#xff0c;简称“汕”&#xff0c;广东省辖地级市&#xff0c;北接潮州&#xff0c;西邻揭阳&#xff0c;南濒南海&#xff0c;东与台湾隔海相望&#xff0c;境内韩江、榕江、练江三江入海&#xff0c;是中国大陆唯一拥有内海湾的城市。今天就来为大家介绍&#xff0c;汕…

Windows系统实现命令行(CMD)关闭指定的IIS网站

一、需求说明我们部署在Windows服务器上的IIS网站&#xff0c;需要在特定的时间停止一会后在进行重新启动该网站。二、思路分析由于需要特定的时间停止后重启网站&#xff0c;则手动操作肯定是不行的&#xff0c;需要实现自动化操作&#xff1a;①特定时间操作可以使用Windows系…

聚观早报|王慧文要做「中国版 OpenAI」;Temu斥资近亿元赞助超级碗

点击蓝字 / 关注我们今日要闻&#xff1a;王慧文要做「中国版 OpenAI」&#xff1b;Temu斥资近亿元赞助超级碗&#xff1b;新东方在线股价收跌2.8%&#xff1b;ChatGPT带动的AIGC创业热潮要来了&#xff1b;传谷歌拆分其AR部门王慧文要做「中国版 OpenAI」 2 月 13 日&#xff…

CSS中的常见单位(px,%,em,rem,vw,vh,vmax,vmin,calc)

像素(px)&百分比(%) 像素(Pixel) 长度单位&#xff0c;相对于显示器屏幕分辨率而言&#xff0c;通常在不定义显示缩放比例的情况下&#xff0c;1px对应显示器屏幕上的一个像素点。早年的pc端展示的页面基本都用这个单位。 百分比(%) 相对长度单位&#xff0c;指占用的父…

电源模块 DC-DC直流升压正负高压输出12v24v转±110V±150V±220V±250V±300V±600V

特点效率高达80%以上1*2英寸标准封装电源正负双输出稳压输出工作温度: -40℃~85℃阻燃封装&#xff0c;满足UL94-V0 要求温度特性好可直接焊在PCB 上应用HRA 1~40W系列模块电源是一种DC-DC升压变换器。该模块电源的输入电压分为&#xff1a;4.5~9V、9~18V、及18~36VDC标准&…

对比Hashtable、HashMap、TreeMap有什么不同?

第9讲 | 对比Hashtable、HashMap、TreeMap有什么不同&#xff1f; Map 是广义 Java 集合框架中的另外一部分&#xff0c;HashMap 作为框架中使用频率最高的类型之一&#xff0c;它本身以及相关类型自然也是面试考察的热点。 今天我要问你的问题是&#xff0c;对比 Hashtable、…

HTTP协议——详细讲解

目录 一、HTTP协议 1.http 2.url url的组成&#xff1a; url的保留字符&#xff1a; 3.http协议格式​编辑 ①http request ②http response 4.对request做出响应 5.GET与POST方法 ①GET ②POST 7.HTTP常见Header ①Content-Type:: 数据类型(text/html等)在上文…

JavaSE系列 打基础版

JavaSE 笔记记录P1 Java概述1.1 java编译1.2 认识JDK、JRE1.3 下载jdk和配置环境变量1.4 开发注意事项和开发细节1.5 学习java之我的需求1.6 转义字符1.7 注释1.8 代码规范1.9 dos命令 了解P2 变量数据类型变量基本使用数据类型转换P3运算符P4 控制结构P5 数组、排序和查找P6面…

突破压缩极限的AI语音编解码器

I. Speech Codecs语音编码的目的是在保持语音质量的前提下尽可能地减少传输所用的带宽&#xff0c;主要是利用人的发声过程中存在的冗余度和人的听觉特性达到压缩的目的。经过了多年的发展&#xff0c;目前语音编解码器大致可以分为以下几类&#xff1a;波形编码&#xff0c;将…

c++ 指针、引用和常量

指针、引用和常量的关系_夜悊的博客-CSDN博客 1. ① 指针是对象&#xff0c;引用不是对象&#xff08;在此可以理解为变量&#xff0c;一个变量是一个对象&#xff09; 指针不必须初始化引用只是为一个已经存在的对象所起的另一个名字&#xff08;别名&#xff09;&#xff…

亚马逊云科技汽车行业解决方案

当今&#xff0c;随着万物智联、云计算等领域的高速发展&#xff0c;创新智能网联汽车和车路协同技术正在成为车企加速发展的关键途径&#xff0c;推动着汽车产品从出行代步工具向着“超级智能移动终端”快速转变。 挑战无处不在&#xff0c;如何抢先预判&#xff1f; 随着近…

安装 GPU 版本的 tensorflow 完整版本

前言&#xff1a; 之前安装的 CPU 版本的 tensorflow 一直出问题&#xff0c;索性就直接安装 GPU 版本的 tensorflow 了&#xff08;有了GPU 就不能浪费&#xff09;。 安装过程&#xff1a; 1&#xff09;看自己有无 GPU&#xff0c;找到对应 GPU 的版本&#xff1a;任务管理…

C生万物 | 常量指针和指针常量的感性理解

文章目录&#x1f4da;引言✒常量指针&#x1f50d;介绍与分析&#x1f4f0;小结与记忆口诀✒指针常量&#x1f50d;介绍与分析&#x1f4f0;小结与记忆口诀&#x1f449;一份凉皮所引发的故事&#x1f448;总结与提炼&#x1f4da;引言 本文我们来说说大家很困惑的两个东西&am…

【蒸滴C】C语言指针入门很难?看这一篇就够了

目录 一、前言 二、指针是什么 小结&#xff1a; 三、指针变量是什么 小结&#xff1a; 四、指针在32位机器和64位机器中的差别 32位机器&#xff1a; 64位机器: 小结&#xff1a; 五、指针和指针类型 &#xff08;1&#xff09;指针的意义 &#xff08;2&#xff…

springboot自动配置原理以及spring.factories文件的作用详解

一、springboot 自动配置原理先说说我们自己的应用程序中Bean加入容器的办法&#xff1a;bean加入容器我们在应用程序的入口设置了 SpringBootApplication标签&#xff0c;默认情况下他会扫描所有次级目录。如果增加了 scanBasePackages属性&#xff0c;就会扫描所有被指定的路…

SAP ABAP根据事务码查找增强最直接的方法

下面是为任意事务代码查找用户出口的步骤&#xff1a; 方法一&#xff1a; 第 1 步&#xff1a;使用 事务代码&#xff1a;SE93。输入您要搜索用户出口的 事务代码。 在我们的场景中&#xff0c;我们将使用 CO11N。 第 2 步&#xff1a;点击显示&#xff1a; 第 3 步&#xf…

2023年浙江安全员精选真题题库及答案

百分百题库提供建筑安全员考试试题、安全员证考试真题、安全员证考试题库等,提供在线做题刷题&#xff0c;在线模拟考试&#xff0c;助你考试轻松过关。 268.注册执业人员未执行法律法规和工程质量强制性标准,造成重大安全事故的,(). A.停止执业 B.5年不予注册 C.10年不予注…

29-Golang中的切片

Golang中的切片基本介绍切片在内存中的形式切片使用的三种方式方式一&#xff1a;方式二&#xff1a;方式三&#xff1a;切片使用的区别切片的遍历切片注意事项和细节说明append函数切片的拷贝操作string和slice基本介绍 1.切片是数组的一个引用&#xff0c;因此切片是引用类型…