基于Spring-动态调整线程池阻塞队列长度

news2024/12/23 15:53:00

最近在做一个动态线程池的组件,遇到了关于阻塞队列长度刷新的问题,所以记录下来,很有意思

我们都知道常用线程池分为二类,Spring-ThreadPoolTaskExecutor和JDK-ThreadPoolExecutor的,当然了Spring也是基于JDK做一步封装,其次Spring提供了可以调整阻塞队列大小的api并且支持初始化线程池的时候阻塞队列为0,但是JDK线程池其实是不允许调整,那么我们如果想调整线程池的阻塞队列应该怎么做呢?下面我们探究一下Spring提供的线程池能否平滑的做到这一点

一.Spring-ThreadPoolTaskExecutor

1. 如何更改阻塞队列

spring线程池,可以初始化线程池为0,并且提供修改的方法,但是注意修改后需要调用initialize刷新线程池

在这里插入图片描述

2. 验证生效

        // 创建 ThreadPoolTaskExecutor
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(1);
        executor.setMaxPoolSize(1);
        executor.setQueueCapacity(20);
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        executor.initialize();

        // 提交任务
        for (int i = 1; i <= 20; i++) {
            int taskNumber = i;
            executor.execute(() -> {
                System.out.println("刷新前任务 " + taskNumber + " running in thread " + Thread.currentThread().getName());
                try {
                    TimeUnit.SECONDS.sleep(1);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            });
        }


        // 延迟一段时间后降低阻塞队列长度
        TimeUnit.SECONDS.sleep(3);
        int size = executor.getThreadPoolExecutor().getQueue().size();
        int ableSize = executor.getThreadPoolExecutor().getQueue().remainingCapacity();
        System.out.println("降低前队列使用的容量 = " + size + ",剩余的可用容量" + ableSize);


        //刷新阻塞队列
        executor.setQueueCapacity(0);
        executor.initialize();
        int newSize = executor.getThreadPoolExecutor().getQueue().size();
        int newAbleSize = executor.getThreadPoolExecutor().getQueue().remainingCapacity();
        System.out.println("降低后队列使用的容量 = " + newSize+",剩余的可用容量" + newAbleSize);

        try {
            for (int i = 1; i <= 5; i++) {
                int taskNumber = i;
                executor.execute(() -> {
                    System.out.println("刷新后任务===> " + taskNumber + " running in thread " + Thread.currentThread().getName());
                });
            }
        } catch (Exception e) {
            System.out.println("触发线程池拒绝!");
            e.printStackTrace();
        }

分析:简述一下这段代码逻辑,创建了一个Spring的线程池,最大=核心=1,阻塞队列为20,提交了20个任务,每个任务延迟一会模拟业务逻辑,主线程提交20个任务后,等待了3秒,然后修改了阻塞队列长度为0并刷新线程池,最后给刷新阻塞队列后的线程池提交了5个任务,刷新阻塞队列前后打印了阻塞队列的使用长度,以及剩余容量

我们看看执行结果
在这里插入图片描述

分析
首先提交20个任务,我们看到日志输出3个任务执行,又因核心=最大=1,所以阻塞队列里面存了17(20-3)个待处理任务,剩余3 (容量20-17个使用)个空闲容量。此时等待的主线程刷新了阻塞队列为0,所以降低后的队列使用和剩余容量都是0;

注意这个时候使用的队列容量也为0,说明之前队列中的剩余17个任务已经存放在另一个地方,不在这个队列中, 最后我们向刷新的线程中提交5个任务,由于我们的核心线程是1,所以最起码有一个任务被调度了(也可能多个,这个是随机的),当第二个任务再次提交的时候,阻塞队列为0,无法存储,触发异常拒绝策略;

但是我们可以看到,之前阻塞队列的17个任务在后面陆续执行了,并没有丢失,且刷新后的线程名称和之前的已经不一样了(y一个是ThreadPoolTaskExecutor-1 另一个是ThreadPoolTaskExecutor-2)。如果大家好奇可以打印executor对象的hashcode,其实也是没变,也就是说变化的是spring里面开辟的线程。

3. sping如何做到的

在上面的结论中我们发现Spirng的阻塞队列更新容量的时候平滑的进行了切换,那么到底他做了啥呢,我们把其中涉及的对象hashcode打印出来研究一下

ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(5);
        executor.setMaxPoolSize(5);
        executor.setQueueCapacity(1);
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        executor.initialize();

        // 提交任务
        for (int i = 1; i <= 5; i++) {
            int taskNumber = i;
            executor.execute(() -> {
                System.out.println("刷新前任务 " + taskNumber + " && " + Thread.currentThread().getName());
            });
        }


        // 延迟一段时间后降低阻塞队列长度
        TimeUnit.SECONDS.sleep(3);
        System.out.println("before executor hashCode = " + executor.hashCode() + " queue hashCode" + executor.getThreadPoolExecutor().getQueue().hashCode());


        //刷新阻塞队列
        executor.setQueueCapacity(1);
        executor.initialize();
        System.out.println("after executor hashCode = " + executor.hashCode() + " queue hashCode" + executor.getThreadPoolExecutor().getQueue().hashCode());

        for (int i = 1; i <= 5; i++) {
            int taskNumber = i;
            executor.execute(() -> {
                System.out.println("刷新后任务===> " + taskNumber + " & " + Thread.currentThread().getName());
            });
        }

运行结果如下:
在这里插入图片描述

分析
通过上面的代码我们可以看出,阻塞队列的更改,spring为了平滑的度过,会开辟同样配置的新线程执行新提交的任务,同时也会开后创建新的阻塞队列去执行新的任务,通作这样来保证我们之前的任务继续执行不会被丢弃依然被旧的线程执行调度,同时新的线程来执行新的任务,次过程中executor对象保持不变

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/555834.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

​数据库原理及应用上机(实验四 SQL连接查询)

✨作者&#xff1a;命运之光 ✨专栏&#xff1a;数据库原理及应用上机实验 目录 ✨一、实验目的和要求 ✨二、实验内容及步骤 ✨三&#xff0e;实验结果 ✨四、实验总结 &#x1f353;&#x1f353;前言&#xff1a; 数据库原理及应用上机实验报告的一个简单整理后期还会不…

Zerto 10.0 发布 - 勒索软件防护、灾难恢复和多云移动性的统一解决方案

Zerto 10.0 发布 - 勒索软件防护、灾难恢复和多云移动性的统一解决方案 请访问原文链接&#xff1a;https://sysin.org/blog/zerto-10/&#xff0c;查看最新版。原创作品&#xff0c;转载请保留出处。 作者主页&#xff1a;sysin.org 携手 ZERTO 提升勒索软件保护与灾难恢复水…

Python异常处理

1. 异常概述 在程序运行过程中&#xff0c;经常会遇到各种错误&#xff0c;这些错误称为“异常”。这些异常有的是由于开发者一时疏忽将关键字敲错导致的&#xff0c;这类错误多数产生的是SyntaxError:invalid syntax&#xff08;无效的语法&#xff09;&#xff0c;这将直接导…

JVM笔记

Java中对象一定分配在堆空间上吗&#xff1f;判断一个对象是否还活着GCgc频繁 Java中对象一定分配在堆空间上吗&#xff1f; 逃逸分析&#xff1a;分析对象动态作用域&#xff0c;当一个对象在方法中被定义后&#xff0c;它可能被外部方法所引用&#xff0c;例如作为调用参数传…

Redis6.2.5安装布隆过滤器BloomFilter

最近学习需要用到布隆过滤器&#xff0c;所以去RedisLabsModules下载RedisBloom插件&#xff0c;简单介绍一下安装的过程&#xff0c;首先需要先安装好Redis&#xff0c;建议使用Redis6以上版本&#xff0c;Redis安装教程查看https://smilenicky.blog.csdn.net/article/details…

什么是客户自助服务门户及其搭建方法

随着信息技术的快速发展&#xff0c;越来越多的企业开始转向以客户为中心的服务模式&#xff0c;而客户自助服务门户&#xff08;Customer Self-Service Portal&#xff09;则成为了重要的服务方式。它可以让客户在不需要人工干预的情况下&#xff0c;自行解决问题&#xff0c;…

chatgpt赋能Python-python_ai建模

用Python构建AI模型&#xff1a;一步步解析 随着人工智能技术的发展和普及&#xff0c;越来越多的企业开始寻找高效可靠的AI建模技术来提高业务水平和竞争力。Python作为一种强大的编程语言和开发工具&#xff0c;在AI建模领域也扮演着重要的角色。本文将介绍Python AI建模的基…

chatgpt赋能Python-python_ai下载

Python AI 下载&#xff1a;实现自动化数据处理的利器 介绍 Python作为一种脚本语言&#xff0c;凭借其简洁灵活的语法、强大的库支持和生态系统&#xff0c;成为了今天最流行的编程语言之一。在人工智能领域&#xff0c;Python也是最常用的语言之一&#xff0c;因为它的开发…

18-04 数据库分布式架构

分布式ID UUID 优点&#xff1a; 使用简单无需引入额外组件 缺点 无序&#xff0c;无法实现范围查询插入操作比自增ID性能差不少&#xff08;大概四倍&#xff09;建议用自增ID&#xff08;表的主键&#xff09; UUID&#xff08;唯一标识&#xff09; Redis Incr指令优点…

Hudi系列23:常见问题

文章目录 一. 存储一直看不到数据二. 数据有重复三. NoSuchMethodError3.1 问题描述3.2 解决方案3.2.1 查看源码3.2.2 avro版本问题3.2.3 hudi-flink1.14-bundle jar包的问题 四. Merge On Read 写只有 log 文件4.1 问题描述4.2 解决方案1(测试未通过)4.2 解决方案2(测试通过:)…

[LitCTF 2023]Flag点击就送!(cookie伪造)

随便输一个名字 尝试admin 但是我们在cookie里找到了一些东西 session&#xff1a;"eyJuYW1lIjoiYWRtaW4ifQ.ZGs1vw.7ikpuOhUtXxyB2UV-FH7UGIZkaE" 想到session伪造 先说一下session的作用&#xff1a; 由于http协议是一个无状态的协议&#xff0c;也就是说同一个用…

chatgpt赋能Python-pythonseries访问元素

Python Series: 访问元素 在Python中&#xff0c;我们可以使用列表&#xff08;List&#xff09;、元组&#xff08;Tuple&#xff09;和字典&#xff08;Dictionary&#xff09;等可迭代对象存储和处理数据。在处理这些可迭代对象时&#xff0c;我们经常需要对它们的元素进行…

【WSN覆盖】基于麻雀搜索算法的二维混合无线传感器网络覆盖优化 WSN覆盖空洞修复【Matlab代码#24】

文章目录 【可更换其他算法&#xff0c;获取资源请见文章第6节&#xff1a;资源获取】1. SSA算法2. WSN节点感知模型3. 混合WSN覆盖优化4. 部分代码展示5. 仿真结果展示6. 资源获取 【可更换其他算法&#xff0c;获取资源请见文章第6节&#xff1a;资源获取】 1. SSA算法 网上…

数字逻辑(计科专业)

半加器 用与非门实现 全加器 编码器 编码就是将信息装换成独特的代码或信号输出的电路 普通编码器&#xff1a;任何时候只允许输入一个有效编码信号&#xff0c;否则输出就会发生混乱。 优先编码器&#xff1a;允许同时输入两个以上的有效编码信号。当同时输入几个有效编码信…

【算法学习系列】05 - 对数器的说明与使用

文章目录 对数器说明对数器使用创建随机样本生成器实现 isSorted(int[] arr) 函数验证排序正确性实现选择排序算法进行大样本随机测试验证算法正确性 总结 对数器说明 在算法领域中&#xff0c;对数器指的是一个用于测试算法正确性的工具。对于一个需要被测试的算法A&#xff0…

Redis分片集群搭建及其原理

Redis分片集群搭建及其原理 1.Redis分片集群1.1.搭建分片集群1.2.准备实例和配置1.3.启动1.4.创建集群1.5.测试 2.散列插槽原理2.1.插槽原理2.2.小结 3.集群伸缩3.1.需求分析3.2.创建新的redis实例3.3.添加新节点到redis3.4.转移插槽 4.故障转移4.1.自动故障转移4.2.手动故障转…

十三、进程信号

文章目录 一、什么是信号二、信号列表&#xff08;一&#xff09;查看系统定义的信号列表 三、信号处理四、信号产生&#xff08;一&#xff09;通过终端按键产生信号1.什么是核心转储&#xff1f;2.核心转储功能有什么用&#xff1f;3.core dump标志 &#xff08;二&#xff0…

计算机论文写作入门

什么是顶会 顶级会议一般是,在业界(本领域本方向)受到广泛的承认,影响力较大的会议。一方面一般顶级专家、学者都倾向于将paper投到这些 会议;另一方面这些会议的论文代表了该领域的目前很优秀、有重大意义的进展。"顶级会议"的投稿竞争压力一般都很大,属于在经典 p…

05. 数据结构之队列

前言 队列&#xff08;queue&#xff09;是一种线性数据结构&#xff0c;队列中的元素只能先入先出&#xff08;First In First Out&#xff0c;简称 FIFO&#xff09;。队列和实际生活中的排队相对应&#xff0c;是一种和生活息息相关的数据结构&#xff0c;在很多系统中都会…

MATLAB 之 其他形式的二维图形

文章目录 一、对函数自适应采样的绘图函数二、其他坐标系下的二维曲线图1. 对数坐标函数2. 极坐标图 三、其他特殊二维图像1. 条形类图形2. 面积类图形3. 散点类图形4. 矢量类图形 二维图线除采用直角坐标系外&#xff0c;还可采用对数坐标或极坐标。除了绘制二维曲线外&#x…