线程池是什么?如何合理的配置线程池核心线程数?

news2024/11/18 3:38:40

前几天写了这个博客:

Java实现业务异步的几种方案-CSDN博客

应粉丝要求,写一下线程池细节方面的东西,在看了很多资料和讲解视频后做如下讲解:

一、线程池解决的问题

为什么有异步任务不去手动的new,而是基于线程池来做?

类比连接池,说人话就是频繁的构建和销毁线程,消耗的资源是比较大。

为了更好的控制任务执行的时机(基于硬件资源来考虑)。因为并不是说,线程数越多越好,任务在执行时,是CPU在调度线程,如果线程过多的话,CPU需要频繁的切换上下文,这种情况反而会让任务执行的效率太低。

二、线程池的核心参数

ThreadPoolExecutor executor = new ThreadPoolExecutor(1, 5, 10, TimeUnit.SECONDS, new ArrayBlockingQueue<>(10),
		new ThreadFactory() {
			@Override
			public Thread newThread(Runnable r) {
				return new Thread(r);
			}
		}, new ThreadPoolExecutor.AbortPolicy());
executor.execute(() -> {
	System.out.println(111);
});

ThreadPoolExecutor的个七核心参数

  • 核心线程数
  • 最大线程数
  • 最大空闲时间
  • 空闲时间单位
  • 线程工厂
  • 工作队列
  • 拒绝策略
public ThreadPoolExecutor(int corePoolSize,
                              int maximumPoolSize,
                              long keepAliveTime,
                              TimeUnit unit,
                              BlockingQueue<Runnable> workQueue,
                              ThreadFactory threadFactory,
                              RejectedExecutionHandler handler) {
// 核心线程数:当任务提交到线程池时,会优先构建核心线程。并且核心线程默认不会被销毁。干完活,等新活。 
// 最大线程数:最大线程数 - 核心线程数 = 非核心线程数(临时线程数)。非核心线程在空闲了一段时间后, // 会被干掉. 
// 最大空闲时间:这个就是非核心线程允许最大的空闲时间。 
// 空闲时间单位:最大空闲时间的单位,可以是毫秒,秒之类的。 
// 线程工厂:这个是构建线程的工厂,帮你new Thread类的。 
// 工作队列:工作队列是用来存储任务的,无论是核心线程还是非核心线程,在初始化之后,后续要执行的任务 
    // 都是在工作队列中获取的。 // 工作线程只有在初始化的时候,会带着任务执行。除此之外,工作线程获取任务的方式都是从工作队列获取 
// 拒绝策略:当核心线程都在忙,工作队列扔满了,非核心线程都在忙,此时再来任务就走拒绝策略。 // 默认的策略是抛异常~~

}

问题:如果线程池指定了2个核心线程数,现在线程池有1个核心线程,此时我提交一个任务,这个任务是交给核心线程处理,还是构建另一个核心线程呢?

这里是优先构建核心线程去处理任务,只有核心线程全部初始化完毕后,才会重复的利用核心线程处理任务。 

三、线程池属性标识&线程池的状态

四、线程池的执行流程图

简单流程:

针对任务添加到队列后的操作细节:

五、源码剖析

1. 线程池的execute方法执行 

// 任务提交到线程池之后的处理流程。
public void execute(Runnable command) {
    // 健壮性判断
    if (command == null)
        throw new NullPointerException();
    // 拿到线程池核心属性ctl
    int c = ctl.get();
    // 工作线程数 是否小于 核心线程数
    if (workerCountOf(c) < corePoolSize) {
        // 创建核心线程,执行任务
        if (addWorker(command, true))
            // 核心线程添加成功,结束
            return;
        // 添加核心线程失败,有并发情况,重新获取ctl,拿到最新的ctl。
        c = ctl.get();
    }
    // 线程池状态是RUNNING,添加任务到工作队列
    if (isRunning(c) && workQueue.offer(command)) {
        // 任务已经放在工作队列了。
        // 重新的获取了ctl
        int recheck = ctl.get();
        // 线程池状态不是RUNNING了,如果不是RUNNING了,就将刚刚添加进去的任务从阻塞队列移除
        if (! isRunning(recheck) && remove(command))
            // 执行拒绝策略……
            reject(command);
        // 如果满足 workerCountOf(recheck) == 0 ,代表工作队列可能有任务,但是线程池中没工作线程
        else if (workerCountOf(recheck) == 0)
            // 为了避免任务饥饿,构建一个非核心的工作线程来处理工作队列中的任务
            addWorker(null, false);
    }
    // 添加非核心线程,如果成功,直接结束
    else if (!addWorker(command, false))
        // 添加非核心线程失败,直接拒绝策略
        reject(command);
}

2. 线程池的addWorker方法

// 添加工作线程(核心和非核心都从这走)
// core:为true,代表添加核心线程,为false,代表添加非核心线程
private boolean addWorker(Runnable firstTask, boolean core) {
    retry:
    for (;;) {
        // =====================判断线程池状态==================================
        // 拿ctl
        int c = ctl.get();
        // 获取线程池状态
        int rs = runStateOf(c);

        // 线程池状态是否大于等于SHUTDOWN(状态不是RUNNING)
        if (rs >= SHUTDOWN &&
            // 线程池状态是SHUTDOWN,工作队列不为空,并且添加的任务是null
            // 此时就是在处理工作队列有任务,但是没有工作线程的情况,这个情况不能阻拦~~
            !(rs == SHUTDOWN && firstTask == null && !workQueue.isEmpty()))
            // 线程池状态为STOP,或者线程池状态为SHUTDOWN并且工作队列没任务
            // 直接告辞,不添加工作线程
            return false;

        for (;;) {
            // =====================判断工作线程个数==================================
            // 获取工作线程个数
            int wc = workerCountOf(c);
            // 判断线程个数是否超过最大限制
            if (wc >= CAPACITY ||
                // 核心线程,判断核心线程数
                // 非核心线程,判断最大线程数
                wc >= (core ? corePoolSize : maximumPoolSize))
                // 代表超过限制了,直接告辞~
                return false;
            // 基于CAS,对ctl进行+1操作,
            if (compareAndIncrementWorkerCount(c))
                // 成功的,跳出外层for循环,走后续的添加线程逻辑
                break retry;
            // CAS失败,说明有并发问题
            // 重新获取ctl
            c = ctl.get();  
            // 查看线程池状态是否有变化
            if (runStateOf(c) != rs)
                // 状态发生变化,重新走外层for循环
                continue retry;
            // 如果状态没变化,重新走内层for循环,判断工作线程个数
        }
    }



    // =====================创建工作线程==================================
    // =====================启动工作线程==================================
    // 启动工作线程成功了咩~~
    boolean workerStarted = false;
    // 创建工作线程成功了咩~~
    boolean workerAdded = false;
    // Worker就是工作线程
    Worker w = null;
    try {
        // 工作线程是new出来的,任务也扔进去了。~~~
        w = new Worker(firstTask);
        // 拿到了创建好的工作线程的thread对象。
        final Thread t = w.thread;
        // 线程对象是不是空啊~~如果为空,直接告辞
        // 判断线程工厂是不是有问题~~~
        if (t != null) {
            // 加锁~因为操作HashSet以及修改成员变量的largestPoolSize,线程不安全,加锁就安全了。
            final ReentrantLock mainLock = this.mainLock;
            mainLock.lock();
            try {
                // 再次获取线程池状态
                int rs = runStateOf(ctl.get());
                // 如果状态为RUNNING正常往下走
                // 如果状态为SHUTDOWN,并且传入的任务为空(工作队列有任务,但是没有工作线程的情况)
                if (rs < SHUTDOWN ||
                    (rs == SHUTDOWN && firstTask == null)) {
                    // 到这,状态没问题。
                    // 如果线程已经启动了,告辞。
                    // 判断线程工厂是不是有问题~~~
                    if (t.isAlive()) 
                        throw new IllegalThreadStateException();
                    // 工作线程扔HashSet里
                    workers.add(w);
                    // 记录工作线程的最大值。
                    int s = workers.size();
                    if (s > largestPoolSize)
                        largestPoolSize = s;
                    // 添加工作线程成功
                    workerAdded = true;
                }
            } finally {
                // 释放锁
                mainLock.unlock();
            }
            // 工作添加成功了咩
            if (workerAdded) {
                // 成功了就启动
                t.start();
                // 启动工作线程成功
                workerStarted = true;
            }
        }
    }
    // 省略部分代码
    return workerStarted;
}

六、如何设置最优参数呢

这个先说一下,没有最合适,只有说是比较ok的说法。

1. 代码查看服务器的核心数

要合理配置线程数首先要知道公司服务器是几核的
代码查看服务器核数:

System.out.println(Runtime.getRuntime().availableProcessors());

2. 合理线程数配置之CPU密集型

CPU密集的意思是该任务需要大量的运算,而没有阻塞,CPU一直全速运行。
CPU密集任务只有在真正的多核CPU上才可能得到加速(通过多线程),而在单核CPU上,无论你开几个模拟的多线程该任务都不可能得到加速,因为CPU总的运算能力就那些。
CPU密集型任务配置尽可能少的线程数量:
一般公式:CPU核数+1个线程的线程池

3. 合理线程数配置之IO密集型

IO包括:数据库交互,文件上传下载,网络传输等
方法一:
由于IO密集型任务线程并不是一直在执行任务,则应配置尽可能多的线程,如CPU核数*2
方法二:
IO密集型,即该任务需要大量的IO,即大量的阻塞。
在单线程上运IO密集型的任务会导致浪费大量的CPU运算能力浪费在等待。
所以在IO密集型任务中使用多线程可以大大的加速程序运行,即使在单核CPU上,这种加速主要就是利用了被浪费掉的阻塞时间。
IO密集型时,大部分线程都阻塞,故需要多配置线程数:
参考公式:CPU核数 /(1 - 阻系数)
比如8核CPU:8/(1 - 0.9)=80个线程数
阻塞系数在0.8~0.9之间

总结起来:

  1. 服务器的CPU内核数
  2. cpu密集型和io密集型判断
  3. 系统的并发量,以及内存情况还有任务允许的延迟时间

基于前两个设置核心线程数。

  • cpu密集:核心线程数和CPU基本持平
  • io密集:根据IO密集情况,需要具体情况具体分析
    • IO时间很长,核心线程数就应该设置的大一些。
    • IO时间短,核心线程数相对来说,比IO时间长的少。
    • 要根据压测得出一个比较好的结果,尽可能让CPU利用率提高。

基于第三个确认工作队列长度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1155730.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Vue3前端100个必要的知识点

为什么是必要的&#xff0c;就是这100个知识点学完后&#xff0c;能独立完成一个小项目。最终能得到一个解决方案。也算是前端知识的积累。如果后面有需要的地方可以回来查。100个其实比较多&#xff0c;我会按新手老鸟&#xff0c;大神来分成3个等级&#xff0c;话不多说&…

2023年10月13日,美国材料与试验协会(ASTM)发布了新版玩具安全标准ASTM F963-23

新标准发布 2023年10月13日&#xff0c;美国材料与试验协会&#xff08;ASTM&#xff09;发布了新版玩具安全标准ASTM F963-23。 主要更新内容 与ASTM F963-17相比&#xff0c;此次更新包括&#xff1a;单独描述了基材重金属元素的豁免情况&#xff0c;更新了邻苯二甲酸酯的管…

英语——歌曲篇——500 Miles(离家五百里)

乡村音乐&#xff08;country music&#xff09;《500 Miles(离家五百里)》以一种怀乡、寻根 的意识&#xff0c;用思念留住时光还有一点哲理的味道&#xff0c;乡村音乐多年以来都不曾淡出大家的视野&#xff0c;确实有值得留恋的情怀。 500 Miles [The Brothers Four离家五…

云计算的基本概念

目录 云计算基本概念 什么是云计算 云计算的优势&#xff08;关键特征&#xff09; 云计算发展历程 云计算发展阶段 云计算的三种服务模式 云计算的四类部署模式 云计算的应用 云计算基本概念 什么是云计算 云计算的基本概念 云计算&#xff08;Cloud Computing&…

【Java SE】运算符详解

本篇是了解Java SE中的各种运算符&#xff0c;并且熟练并掌握它们&#xff1b; 目录 1. 什么是运算符 2. 算术运算符 2.1 基本四则运算符 2.2 增量运算符 2.3.自增/自减运算符 3. 关系运算符 4. 逻辑运算符(重点) 4.1.逻辑与 && 4.2 逻辑或 || 3. 逻辑非 ! 5…

Py之optimum:optimum的简介、安装、使用方法之详细攻略

Py之optimum&#xff1a;optimum的简介、安装、使用方法之详细攻略 目录 optimum的简介 1、加速推理 Optimum 提供多种工具&#xff0c;用于在不同生态系统上导出和运行优化模型&#xff1a; 2、功能概述 optimum的安装 1、如果您想使用 Optimum 的加速器特定功能&#…

diffusers-Understanding models and schedulers

https://huggingface.co/docs/diffusers/using-diffusers/write_own_pipelinehttps://huggingface.co/docs/diffusers/using-diffusers/write_own_pipelinediffusers有3个模块&#xff1a;diffusion pipelines&#xff0c;noise schedulers&#xff0c;model。这个库很不错&…

AUTOSAR存储篇 - NVRAM Manager(NvM)

文章目录 基础架构指南分层结构存储器硬件抽象的寻址机制例子 基本储存对象NV块RAM块ROM块管理块NV块头 块管理类型块管理类型概述NVRAM块结构NVRAM 块描述符表Native NVRAM 块Redundant NVRAM块Dataset NVRAM块NVRAM管理器API配置类 扫描顺序/优先级机制 通常行为功能要求设计…

项目综合实训,vrrp+bfd,以及策略路由的应用

目录 一&#xff0e; 项目需求 二&#xff0e; Visio设备画图 三&#xff0e; 设备选型 三&#xff0e;vlan规划 四&#xff0e;Ip地址规划 五&#xff0e;实验拓扑图 六&#xff0e;配置过程及结果 项目需求 1.S1作为VLAN10的主网关和根桥&#xff0c;S2作为v…

堆排序 详解+图解

堆排序是一种基于堆数据结构的排序算法&#xff0c;它的基本思想是将待排序序列构造成一个最大堆&#xff0c;然后将堆顶元素和堆底元素交换&#xff0c;再把堆的大小减一&#xff0c;使堆顶元素下沉到合适的位置&#xff0c;重复以上操作&#xff0c;直到整个序列有序。 堆排…

【QT】事件分发器

event事件分发器&#xff0c;用于分发事件&#xff0c;在这里也可以做拦截&#xff0c;返回值boo。如果返回的是true代表拦截处理&#xff0c;不再向下分发。 展示事件拦截 上一段代码&#xff1a;【QT】鼠标常用事件-CSDN博客 代码 // 事件分发器 // 拦截鼠标按下 // QEven…

Unity地面交互效果——2、动态法线贴图实现轨迹效果

Unity引擎动态法线贴图制作球滚动轨迹 大家好&#xff0c;我是阿赵。   之前说了一个使用局部UV采样来实现轨迹的方法。这一篇在之前的基础上&#xff0c;使用法线贴图进行凹凸轨迹的绘制。 一、实现的目标 先来回顾一下&#xff0c;上一篇最终我们已经绘制了一个轨迹的贴图…

第五章 I/O管理 七、设备的分配与回收

目录 一、设备分配时应该考虑的因素 1、设备的固有属性 2、设备分配算法 3、设备分配中的安全性 &#xff08;1&#xff09;安全分配方式: 优点: 缺点: &#xff08;2&#xff09;不安全分配方式: 优点: 缺点: 4、静态分配 5、动态分配 二、设备分配管理中的数据结…

一个非常实用的Python模块-struct模块

嗨喽~大家好呀&#xff0c;这里是魔王呐 ❤ ~! python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取 struct模块提供了用于在字节字符串和Python原生数据类型之间转换函数&#xff0c;比如数字和字符串。 该模块作用是完成Python数值和C语言结构体的Python字符串形…

【git】git拉取代码报错,fatal: refusing to merge unrelated histories问题解决

大家好&#xff0c;我是好学的小师弟。今天准备将之前写的代码&#xff0c;拉到新的工程文件夹(仓库)下面&#xff0c;用了pull命令&#xff0c;结果报错了&#xff0c;报错截图如下 $ git pull https://gitee.com/* #仓库地址 fatal: refusing to merge unrelated histor…

自动化测试注意事项

什么是自动化测&#xff1f; 做测试好几年了&#xff0c;真正学习和实践自动化测试一年&#xff0c;自我感觉这一个年中收获许多。一直想动笔写一篇文章分享自动化测试实践中的一些经验。终于决定花点时间来做这件事儿。 首先理清自动化测试的概念&#xff0c;广义上来讲&#…

数据库-扩展语句,约束方式

扩展语句&#xff1a; 例&#xff1a; 自增长&#xff1a; auto_increment:表示该字段可以自增长&#xff0c;默认从一开始&#xff0c;每条记录会自动递增1 复制&#xff1a; 通过like这个语法直接复制ky32的表结构&#xff0c;只能复制表结构&#xff0c;不能复制表里面的…

C语言每日一题(23)兔子的序列

牛客网 BC159 兔子的序列 题目描述 描述 兔子发现了一个数字序列&#xff0c;于是开始研究这个序列。兔子觉得一个序列应该需要有一个命名&#xff0c;命名应该要与这个序列有关。由于兔子十分讨厌完全平方数&#xff0c;所以兔子开创了一个新的命名方式&#xff1a;这个序列…

Linux--文件操作

1.什么是文件 对于文件来说&#xff0c;文件文件内容文件属性&#xff1b;对于文件来说&#xff0c;只有两种操作&#xff0c;对内容的修改和对文件属性的修改&#xff0c;这就是文件的范畴。 对于存放在磁盘上的文件&#xff0c;我们需要通过进程来进行访问&#xff0c;访问文…

数据库 用户管理与授权

数据库的数据管理 DDL: CTEATE DROP ALTER dml:对数据进行管理 update insert into delete truncate dql:查询语询select dcl:权限控制语句grant revoke 数据库用户管理: 创建用户 修改用户的权限 删除用户。 grant要在终端执行。 create user ‘ky32’localhost ide…