线程池嵌套导致的死锁问题

news2025/1/12 0:47:47

1、背景

有一个报告功能,报告需要生成1个word,6个excel附件,总共7个文件,需要记录报告生成进度,进度字段jd初始化是0,每个文件生成成功进度加1,生成失败就把生成状态置为失败。

更新进度语句:update bg set jd = jd+1 where id = 'xx' 

上线一段时间后,很多报告进度都没有100%

2、问题排查

查看线上日志,发现生成附件2、附件3有时候会报错,然后对着报错改了代码,还是觉得有问题。因为看了代码,7个文件生成用的7个线程,每个结构都是try,catch,finnally,

看下面代码,感觉每个子线程都是走到finally里面,那就要么更新进度为100%,要么更新状态为失败

public void creatBgExcel(CreateBgWjPo createBgWjPo) {
..............................
        //附件1
        CompletableFuture<Void> task1 = CompletableFuture.runAsync(() -> {
            //新增数据excel,附件1
            createXzsjExcel(createBgWjPo, tempFileDir);
        }, threadPoolExecutor);

        //附件2
        CompletableFuture<Void> task2 = CompletableFuture.runAsync(() -> {
            //缺失数据excel,附件2
            createWtsjExcel(createBgWjPo, tempFileDir);
        }, threadPoolExecutor);

     ...............................
        CompletableFuture<Void> headerFuture = CompletableFuture.allOf(task1,task2 ,task3,.......);
        headerFuture.join();
        log.info("--bgId:{},excel报告单个附件已经全部生成", bgId);
    }

public void createWtsjExcel(CreateBgWjPo createBgWjPo, String tempFilePath) {
    log.info("--附件2,问题数据excel,开始生成数据,bgmc:{}", createBgWjPo.getGxZlbg().getBgmc());
    String exelxx = "";
    boolean isSucess = false;
    String msg = "";
    try{
    dosomething();
    isSucess = true;
    }catch (Exception e) {
        log.error("createWtsjExcel附件2生成失败,bgmc:{}",  createBgWjPo.getGxZlbg().getBgmc(),e);
        msg = "附件2生成excel失败.失败原因:{}" + e.getMessage();
    } finally {
        if (isSucess) {
            //更新进度
            gxZlbgMapper.updateBgJd(createBgWjPo.getGxZlbg().getId());
        } else {
            //更新状态
            bgZtToFail(createBgWjPo.getGxZlbg().getId(), msg, false, true);
        }
    }
}
(-)怀疑1,难道没有进入finally方法?
finanlly一般不执行的情况:
1、代码存在死循环
try{
   while(true){
}catch (Exception e) {
 } finally {
}
排查了代码,没有死循环,显然不适用。按理只要进入了子方法,肯定会进入finally。
排查线上日志docker logs -f --tail 100000 api-xx  grep 有问题的报告名称
发现: 有问题的报告名称,有些子文件没有打印出  开始生成数据的日志
结论: 有些报告生成的时候,根本没有进入对应的子方法
(2)排查方法外层代码
        ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor(8, 10,
            10, TimeUnit.SECONDS,
            new LinkedBlockingQueue<>(Integer.MAX_VALUE));

@Override
    public SwaggerResultUtil<String> createZlbg(String bgId,boolean isReCreate) {
        CompletableFuture.runAsync(() -> {
            GxZlbg zlbg = new GxZlbg();
            zlbg.setId(bgId);
            //更新附件地址
            zlbg.setFjsczt(BgztEnum.DOING.getCode());
            zlbg.setWdsczt(BgztEnum.DOING.getCode());
            gxZlbgMapper.updateById(zlbg);
            CompletableFuture<Void> task1 = CompletableFuture.runAsync(() -> {
                //创建excel
                creatBgExcel(result.getData());
            }, threadPoolExecutor);
            CompletableFuture<Void> task2 = CompletableFuture.runAsync(() -> {
                //创建word
                createBgWord(result.getData());
            }, threadPoolExecutor);
            CompletableFuture<Void> headerFuture = CompletableFuture.allOf(task1, task2);
            headerFuture.join();
        
        }, threadPoolExecutor);
        return SwaggerResultUtil.resultSuccess();
    }

看到这段代码,发现存在线程池套线程池。

线程池8个,核心线程10个,问题分析

任务

外部线程

执行任务内部线程

备注

任务136里面子任务被执完成,外层的线程才会被释放
任务236
任务336

这样如果有3个报告同时生成,而且子文件方法耗时长,就会出现线程都被外部线程占用,内部无线程可用的状况,出现死锁,后续报告都无法开始生成。跟线上问题完全符合,应该就是发生了线程死锁

3、问题解决

(1)不使用线程池套线程池的办法,把最外层方法指定线程池去掉threadPoolExecutor。

存在问题,如果里面线程池最大线程数10,执行里层所有方法需要线程数据>10, 外部没有线程池,最大可能10个任务同时并发,10个任务互相等待子线程,虽然没有死锁,但是每个任务都很慢,而且可能引起爆内存。这个方案只适用很少的场景

(2)外层一个线程池,里面一个线程池。 这样可以控制外层是按顺序执行,以及控制外层的并发数

(3)所有任务,先写入redis队列,然后定时任务巡检redis队列数据,取出任务一个个执行。 redis+定时任务+线程池方案, 这个方案,很容易排查哪里容易没有执行

上面方案按具体需求选取

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1635772.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Vue入门到关门之Vue项目工程化

一、创建Vue项目 1、安装node环境 官网下载&#xff0c;无脑下一步&#xff0c;注意别放c盘就行 Node.js — Run JavaScript Everywhere (nodejs.org) 需要两个命令 npm---->pipnode—>python 装完检查一下&#xff0c;hello world检测&#xff0c;退出crtlc 2、搭建vu…

Linux:浏览器访问网站的基本流程(优先级从先到后)

浏览器访问网站的基本流程&#xff08;优先级从先到后&#xff09; 首先查找浏览器是否存在该网站的访问缓存 其次查找本机的域名解析服务器 windows&#xff1a;C:\Windows\System32\drivers\etc\hostsLinux&#xff1a;/etc/hosts 使用外部的域名解析服务器解析&#xff…

逆向第一步 去掉debugger(无任何门槛小白可学习)

准备工具 1.ReRes 地址&#xff1a;ReRes 用法&#xff1a; 用法 2.nodepad 地址&#xff1a;nodepad 注意下载后缀为.x64.exe版本的 我这里下的npp.8.6.5.Installer.x64.exe 3给nodepad装上JSTool插件 下载 可省略下叙详细步骤点此链接直接下载 JSToolNpp 然后到导…

Go语言基本语法(三)指针

什么是指针 在Go语言中&#xff0c;"指针是一种存储变量内存地址的数据类型"&#xff0c;意味着指针本身是一个特殊的变量&#xff0c;它的值不是数据本身&#xff0c;而是另一个变量在计算机内存中的位置&#xff08;地址&#xff09;。形象地说&#xff0c;就像存…

Avalonia .NET构建Linux桌面应用

目录 &#x1f47b;前言 &#x1f4bb;安装Avalonia &#x1f4e6;创建项目 &#x1f4da;在win下运行 ​&#x1f511;打包发布​编辑 &#x1f4fb;在linux下运行 环境WIN10 VS2022 debian &#x1f47b;前言 Avalonia 是一个用于创建跨平台用户界面 (UI) 的开源框架…

C++——STL容器——vector

vector是STL容器的一种&#xff0c;和我们在数据结构中所学的顺序表结构相似&#xff0c;其使用和属性可以仿照顺序表的形式。vector的本质是封装了一个动态大小的数组&#xff0c;支持动态管理容量、数据的顺序存储以及随机访问。 1.前言说明 vector作为容器&#xff0c;应该…

对6个默认成员函数的总结

前言&#xff1a;本篇文章是对六大默认成员函数的自我总结&#xff0c;不适合刚入门的新人学习。适合想进一步深入了解六大默认成员函数的人学习。 1.构造函数&#xff1a;给对象初始化的函数&#xff0c;相当于之前写的Init函数。 构造函数的特性&#xff1a; 对内置类型不…

深度解析:人工智能作画算法的原理与技术

引言 在数字艺术的探索中&#xff0c;人工智能&#xff08;AI&#xff09;作画算法以其独特的创造性和艺术性引起了广泛的兴趣。这些算法不仅仅是简单的图像处理工具&#xff0c;它们背后蕴藏着复杂的神经网络和深度学习模型。本文将深入探讨AI作画算法的原理与技术&#xff0…

day15 学一下Tailwindcss(java转ts全栈/3r教室)

目前距离全栈差得最多的是前端&#xff0c;而对于前端主要是CSS一直不熟悉&#xff0c;觉得很复杂写起来总是不上道&#xff0c;所以特别关注下Tailwindcss吧&#xff0c;其他前端框架可以先放放&#xff0c;多说无益直接用tailwindcss做个页面试试 看下文档&#xff1a;Tailwi…

【LeetCode刷题记录】104. 二叉树的最大深度

104 二叉树的最大深度 给定一个二叉树 root &#xff0c;返回其最大深度。 二叉树的 最大深度 是指从根节点到最远叶子节点的最长路径上的节点数。 示例 1&#xff1a; 输入&#xff1a;root [3,9,20,null,null,15,7] 输出&#xff1a;3 示例 2&#xff1a; 输入&#xff…

HarmonyOS开发案例:【排行榜页面】

介绍 本课程使用声明式语法和组件化基础知识&#xff0c;搭建一个可刷新的排行榜页面。在排行榜页面中&#xff0c;使用循环渲染控制语法来实现列表数据渲染&#xff0c;使用Builder创建排行列表布局内容&#xff0c;使用装饰器State、Prop、Link来管理组件状态。最后我们点击…

基于python+django网易新闻+评论的舆情热点分析平台

博主介绍&#xff1a; 大家好&#xff0c;本人精通Java、Python、C#、C、C编程语言&#xff0c;同时也熟练掌握微信小程序、Php和Android等技术&#xff0c;能够为大家提供全方位的技术支持和交流。 我有丰富的成品Java、Python、C#毕设项目经验&#xff0c;能够为学生提供各类…

回溯Backtracking Algorithm

目录 1) 入门例子 2) 全排列-Leetcode 46 3) 全排列II-Leetcode 47 4) 组合-Leetcode 77 5) 组合总和-Leetcode 39 6) 组合总和 II-Leetcode 40 7) 组合总和 III-Leetcode 216 8) N 皇后 Leetcode 51 9) 解数独-Leetcode37 10) 黄金矿工-Leetcode1219 其它题目 1) 入…

LeetCode45:跳跃游戏Ⅱ

题目描述 给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。 每个元素 nums[i] 表示从索引 i 向前跳转的最大长度。换句话说&#xff0c;如果你在 nums[i] 处&#xff0c;你可以跳转到任意 nums[i j] 处: 0 < j < nums[i] i j < n 返回到达 nums[n …

SAP PP学习笔记08 - 作业区(工作中心Work Center),作业区Customize

上一章讲了作业手顺&#xff08;工艺路线Routing&#xff09;。 SAP PP学习笔记07 - 作业手顺&#xff08;工艺路线Routing&#xff09;-CSDN博客 这一章来讲讲作业区&#xff08;工作中心 Work Center&#xff09;。 1&#xff0c;作业区&#xff08;工作中心&#xff09;中…

Linux挂载硬盘

1、查看硬盘数量 fdisk -l # 可以看到三个磁盘 # /dev/vda 50G # /dev/vdb 100G 新增 # /dev/vdc 100G 新增2、查看当前挂载情况 df -h # 可以看到50G的已经挂载3、格式化待挂载盘 # 对新的数据盘进行挂载前要进行格式化&#xff0c;只有格式化后才可以挂载 mkfs.ext4 /dev/…

2024年这样做抖音小店,操作简单,起店稳定!

大家好&#xff0c;我是电商糖果 不少朋友说跟糖果抱怨过&#xff0c;说抖音小店越来越难做了。 平台的规则越来越多&#xff0c;商家运营店铺的时候&#xff0c;很容易出现违规预警。 糖果是2020年开始做的抖音小店&#xff0c;现在已经经营了多家小店。 实话实说确实比之…

一站式AI创作平台:融合GPT会话、GPTs应用、Midjourney视觉艺术与Suno AI音乐合成模块

一、系统简介 星河易创AI系统基于ChatGPT的核心技术打造&#xff0c;集成了自然语言问答和艺术创作功能。该系统兼容Midjourney绘画技术&#xff0c;并支持官方GPT模型。它提供了多样化的应用&#xff0c;包括GPTs的多场景应用、实时GPT语音对话能力、GPT-4模型的先进特性&…

扩展大型视觉-语言模型的视觉词汇:Vary 方法

在人工智能领域&#xff0c;大型视觉-语言模型&#xff08;LVLMs&#xff09;正变得越来越重要&#xff0c;它们能够处理多种视觉和语言任务&#xff0c;如视觉问答&#xff08;VQA&#xff09;、图像字幕生成和光学字符识别&#xff08;OCR&#xff09;。然而&#xff0c;现有…

springboot 集成 flowable

随着企业对于业务流程管理需求的增加&#xff0c;流程引擎在企业信息化建设中的作用越来越重要。Flowable是一个开源的轻量级业务流程管理&#xff08;BPM&#xff09;和工作流引擎&#xff0c;它支持BPMN 2.0标准。 Flowable的一些特点&#xff1a; 安装集成&#xff1a;Flow…