线程池嵌套导致的死锁问题

1、背景

有一个报告功能,报告需要生成1个word,6个excel附件,总共7个文件,需要记录报告生成进度,进度字段jd初始化是0,每个文件生成成功进度加1,生成失败就把生成状态置为失败。

更新进度语句:update bg set jd = jd+1 where id = 'xx' 

上线一段时间后,很多报告进度都没有100%

2、问题排查

查看线上日志,发现生成附件2、附件3有时候会报错,然后对着报错改了代码,还是觉得有问题。因为看了代码,7个文件生成用的7个线程,每个结构都是try,catch,finnally,

看下面代码,感觉每个子线程都是走到finally里面,那就要么更新进度为100%,要么更新状态为失败

public void creatBgExcel(CreateBgWjPo createBgWjPo) {
..............................
        //附件1
        CompletableFuture<Void> task1 = CompletableFuture.runAsync(() -> {
            //新增数据excel,附件1
            createXzsjExcel(createBgWjPo, tempFileDir);
        }, threadPoolExecutor);

        //附件2
        CompletableFuture<Void> task2 = CompletableFuture.runAsync(() -> {
            //缺失数据excel,附件2
            createWtsjExcel(createBgWjPo, tempFileDir);
        }, threadPoolExecutor);

     ...............................
        CompletableFuture<Void> headerFuture = CompletableFuture.allOf(task1,task2 ,task3,.......);
        headerFuture.join();
        log.info("--bgId:{},excel报告单个附件已经全部生成", bgId);
    }

public void createWtsjExcel(CreateBgWjPo createBgWjPo, String tempFilePath) {
    log.info("--附件2,问题数据excel,开始生成数据,bgmc:{}", createBgWjPo.getGxZlbg().getBgmc());
    String exelxx = "";
    boolean isSucess = false;
    String msg = "";
    try{
    dosomething();
    isSucess = true;
    }catch (Exception e) {
        log.error("createWtsjExcel附件2生成失败,bgmc:{}",  createBgWjPo.getGxZlbg().getBgmc(),e);
        msg = "附件2生成excel失败.失败原因:{}" + e.getMessage();
    } finally {
        if (isSucess) {
            //更新进度
            gxZlbgMapper.updateBgJd(createBgWjPo.getGxZlbg().getId());
        } else {
            //更新状态
            bgZtToFail(createBgWjPo.getGxZlbg().getId(), msg, false, true);
        }
    }
}
(-)怀疑1,难道没有进入finally方法?
finanlly一般不执行的情况:
1、代码存在死循环
try{
   while(true){
}catch (Exception e) {
 } finally {
}
排查了代码,没有死循环,显然不适用。按理只要进入了子方法,肯定会进入finally。
排查线上日志docker logs -f --tail 100000 api-xx  grep 有问题的报告名称
发现: 有问题的报告名称,有些子文件没有打印出  开始生成数据的日志
结论: 有些报告生成的时候,根本没有进入对应的子方法
(2)排查方法外层代码
        ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor(8, 10,
            10, TimeUnit.SECONDS,
            new LinkedBlockingQueue<>(Integer.MAX_VALUE));

@Override
    public SwaggerResultUtil<String> createZlbg(String bgId,boolean isReCreate) {
        CompletableFuture.runAsync(() -> {
            GxZlbg zlbg = new GxZlbg();
            zlbg.setId(bgId);
            //更新附件地址
            zlbg.setFjsczt(BgztEnum.DOING.getCode());
            zlbg.setWdsczt(BgztEnum.DOING.getCode());
            gxZlbgMapper.updateById(zlbg);
            CompletableFuture<Void> task1 = CompletableFuture.runAsync(() -> {
                //创建excel
                creatBgExcel(result.getData());
            }, threadPoolExecutor);
            CompletableFuture<Void> task2 = CompletableFuture.runAsync(() -> {
                //创建word
                createBgWord(result.getData());
            }, threadPoolExecutor);
            CompletableFuture<Void> headerFuture = CompletableFuture.allOf(task1, task2);
            headerFuture.join();
        
        }, threadPoolExecutor);
        return SwaggerResultUtil.resultSuccess();
    }

看到这段代码,发现存在线程池套线程池。

线程池8个,核心线程10个,问题分析

任务

外部线程

执行任务内部线程

备注

任务136里面子任务被执完成,外层的线程才会被释放
任务236
任务336

这样如果有3个报告同时生成,而且子文件方法耗时长,就会出现线程都被外部线程占用,内部无线程可用的状况,出现死锁,后续报告都无法开始生成。跟线上问题完全符合,应该就是发生了线程死锁

3、问题解决

(1)不使用线程池套线程池的办法,把最外层方法指定线程池去掉threadPoolExecutor。

存在问题,如果里面线程池最大线程数10,执行里层所有方法需要线程数据>10, 外部没有线程池,最大可能10个任务同时并发,10个任务互相等待子线程,虽然没有死锁,但是每个任务都很慢,而且可能引起爆内存。这个方案只适用很少的场景

(2)外层一个线程池,里面一个线程池。 这样可以控制外层是按顺序执行,以及控制外层的并发数

(3)所有任务,先写入redis队列,然后定时任务巡检redis队列数据,取出任务一个个执行。 redis+定时任务+线程池方案, 这个方案,很容易排查哪里容易没有执行

上面方案按具体需求选取

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/578446.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Unity打包PC端exe,压缩打包为一个exe文件

目录 一.打包成功 1.打包输出文件 二.压缩输出目录为exe单个文件 1.添加到压缩文件 2.其他设置 1.点击“高级→自压缩选项” 2.修改解压后运行程序 3.设置模式 4.更新 三、生成.exe 一.打包成功 1.打包输出文件 1、一个后缀为 BurstDebugInformation_DoNotShip的文…

ios不兼容Svg Wave的动画的解决方法

近日也是用上了SvgWave&#xff0c;十分的好看 Svg Wave - A free & beautiful gradient SVG wave Generator. 大家感兴趣的也可以了解一下 【场景】 使用SvgWave的Animate&#xff0c;并生成svg代码使用&#xff0c;windows web端、朋友的安卓移动端都能够正常执行动画…

typescript常用方法整理

基础用法 接口简单用法 函数表达式用法 // 函数类型用于表达式函数 // 接收两个参数name和age //函数返回字符串 interface fun {(name: string, age: number): string } let getData: fun getData function (name, age) {console.log(我的姓名是${name},年龄是${age})return…

SSL证书安装失败怎么办?

在互联网时代&#xff0c;SSL&#xff08;Secure Sockets Layer&#xff09;证书已成为保障网站数据传输安全、提升用户信任度的重要工具。然而&#xff0c;在实际操作过程中&#xff0c;SSL证书的安装并非总能一帆风顺&#xff0c;有时会遇到各种导致安装失败的问题。本文将详…

基于KubeAdm搭建多节点K8S集群

环境准备 说明配置系统CentOS 7.x系列CPU4核及以上内存8G及以上机器数量最少两台&#xff08;一主节点一工作节点&#xff09; 安装docker&#xff08;主节点工作节点&#xff09; 先安装yml yum install -y yum-utils device-mapper-persistent-data lvm2设置阿里云镜像 …

工厂物流3d可视化设计有哪些特点及功能亮点

工厂物流3D可视化设计是一种基于三维模型的物流可视化技术&#xff0c;主要用于展示工厂内部的物流运作情况&#xff0c;具有以下特点和功能亮点&#xff1a; 1. 三维模型展示&#xff1a; 工厂物流3D可视化设计通过三维模型展示工厂内部的物流设施和运作情况&#xff0c;可以…

android studio 编译一直显示Download maven-metadata.xml

今天打开之前的项目的时候遇到这个问题:android studio 编译一直显示Download maven-metadata.xml, AI 查询 报错问题&#xff1a;"android studio 编译一直显示Download maven-metadata.xml" 解释&#xff1a; 这个错误通常表示Android Studio在尝试从Maven仓库…

为什么如果重写了某个类的equals方法,还必须重写对应的hashcode方法?

为什么如果重写了某个类的equals方法&#xff0c;还必须重写对应的hashcode方法&#xff1f; 答&#xff1a; 保证equals相同的两个对象hashcode必须相同的原则。不重写hashcode方法的的话&#xff0c;若用hashmap/hashset等散列表存储这个类&#xff0c;可能会出现两个相同对…

《数字化决策》第三版的启示

目录 一、《数字化决策》读后感 二、《数字化决策》给人的启示 三、思考题 一、《数字化决策》读后感 随着科技的飞速发展&#xff0c;数字化已经成为商业领域的核心力量。在这样的背景下&#xff0c;《数字化决策》第三版为我们提供了宝贵的认知提升&#xff0c;帮助我们更…

不同路径 1 2

class Solution {public int uniquePaths(int m, int n) {int[][] dpnew int[m][n];//记录到每个格子有多少种路径for(int i0;i<m;i) dp[i][0]1;for(int j0;j<n;j) dp[0][j]1;//初始化for(int i1;i<m;i){for(int j1;j<n;j){dp[i][j]dp[i-1][j]dp[i][j-1];}}return …

实习算法准备之BFSDFS

这里写目录标题 1 理论1.1 BFS框架 2 例题2.1 二叉树的最小高度2.2 打开转盘锁2.3 滑动谜题 1 理论 BFS和DFS是两个遍历算法&#xff0c;其中DFS之前已经接触过&#xff0c;就是回溯&#xff0c;忘记的话请回顾回溯篇的例题&#xff08;全排列&#xff0c;N皇后&#xff09; B…

C++解方程组的库

解决多元多次方程组的问题&#xff0c;你可以考虑以下几个C库&#xff1a; Eigen: Eigen库是一个高性能的C模板库&#xff0c;用于线性代数运算。它提供了强大的矩阵运算功能&#xff0c;可以用来解多元一次方程组。对于多次方程组&#xff0c;你可能需要结合Eigen和一些数值优…

Rust网络请求神器reqwest介绍和使用,5分钟速学

在 Rust 生态中&#xff0c;reqwest 可以说是最流行的 HTTP 客户端库了。它提供了一个高层级的、人性化的 API&#xff0c;让我们可以非常轻松地发送各种 HTTP 请求和处理响应。无论是 quickstart、自定义请求头、cookie 管理&#xff0c;还是文件上传&#xff0c;reqwest 都能…

了解Cookie登录:原理、实践与安全指南

什么是Cookie登录&#xff1f; Cookie是什么 当你首次登录网站时&#xff0c;你会输入用户名和密码。在后台&#xff0c;网站的服务器验证这些凭据是否正确。一旦确认你的身份无误&#xff0c;服务器就会创建一个Cookie&#xff0c;并将其发送到你的浏览器。这了解Cookie登录…

38-数组 _ 一维数组

38-1 数组的创建 数组是一组相同类型元素的集合。 数组的创建方式&#xff1a; type_t arr_name [const_n]; //type_t 是指数组的元素类型 //const_n是一个常量表达式&#xff0c;用来指定数组的大小 举例&#xff1a; int arr[10]; char ch[5]; double data[20]; 问&…

HarmonyOS 实战开发-MindSpore Lite引擎进行模型推理

场景介绍 MindSpore Lite 是一款 AI 引擎&#xff0c;它提供了面向不同硬件设备 AI 模型推理的功能&#xff0c;目前已经在图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。 本文介绍使用 MindSpore Lite 推理引擎进行模型推理的通用开发流程。 基本概念 在进行开…

vscode连接远程Linux服务器时,没有权限新建文件夹或者文件

参考链接&#xff1a; VS code 保存或新建文件没有权限的问题 vscode连接远程Linux服务器时&#xff0c;没有权限新建文件夹或者文件&#xff1a; 用一条命令解决&#xff1a; sudo chown -R myuser /path/to/foldermyuser是当前用户名&#xff0c; /path/to/folder是 需要操…

编程学习路线

Java最强学习路线 快来官网定制一套属于自己的学习路线吧 官方网址&#xff1a; Learn to become a modern Java developerCommunity driven, articles, resources, guides, interview questions, quizzes for java development. Learn to become a modern Java developer by…

运维笔记:基于阿里云跨地域服务器通信(上)

运维笔记 阿里云&#xff1a;跨地域服务器通信&#xff08;上&#xff09; - 文章信息 - Author: 李俊才 (jcLee95) Visit me at CSDN: https://jclee95.blog.csdn.netMy WebSite&#xff1a;http://thispage.tech/Email: 291148484163.com. Shenzhen ChinaAddress of this a…

【嵌入式AI开发】轻量级卷积神经网络MobileNet项目实战——文末完整源码工程文件

前言:本文介绍轻量级卷积神经网络MobileNet网络实战,包含MobileNetV1、MobileNetV2、ResNet50三个预训练模型可供选择。 实现:1.预训练MobileNet图像分类,2.调用摄像头实时MobileNet图像分类,3.MobileNet视频图像分类。 MobileNet网络理论详解:【嵌入式AI开发】轻量级卷…