python 多线程池 CPU拉满

前言:

关于多线程的博客先前的博客如下:

python线程join方法_python 线程join-CSDN博客

【精选】Python GIL锁_python gil 锁-CSDN博客

python函数运行加速_python os.listdir速度慢_两只蜡笔的小新的博客-CSDN博客

只需下面的模版即可:


from multiprocessing import Pool
from functools import partial
# execute_one_file是需要多次运行的函数,使用partial对函数的其他参数进行传递
# 需要注意的是 多线程只支持 一个参数的传递,并且是第一个参数。如果是多个参数需要对函数进行改造。
'''
    mess_input = []
    num_index = 0
    for _gt_list, _gp_list, _root_list in zip(gt_list, gp_list, root_list):
        num_index = num_index + 1
        mess_dict = {
            'gt_':_gt_list,
            'gp_':_gp_list,
            'root_':_root_list,
            'num_index':num_index,
            'all_num':len(root_list)}
        mess_input.append(mess_dict)
'''
execute_all_file = partial(execute_one_file, **{'output_name': args.output_name, 'im_loc_list': im_loc_list})
start_time = time.time()
all_execute_data = []
with Pool() as p:
    for i, result in enumerate(p.imap_unordered(execute_all_file, mess_input), 1):
        elapsed_time = time.time() - start_time
        avg_time_per_task = elapsed_time / i
        remaining_tasks = len(mess_input) - i
        estimated_time = remaining_tasks * avg_time_per_task
        print(f"Processed {i} tasks. Estimated time remaining: {estimated_time} seconds.")
        all_execute_data.append(result)

        # res_num = all_num - num_index
        bar_mess = f"Processed {i} tasks. Estimated time remaining: {estimated_time} seconds."
        with trange(len([1])) as tool_bar:
            for _index in tool_bar:
                tool_bar.set_description(bar_mess)

execute_one_file函数如下

关于设置 线程数量:

import time

def execute_all_file(file):
    # 模拟一个需要一定时间的任务
    time.sleep(1)
    return file

if __name__ == "__main__":
    mess_input = range(100)  # 假设有100个任务需要处理
    start_time = time.time()

    results = []  # 用于收集所有任务的结果

    num_processes = 4  # 设置进程数量
    with Pool(num_processes) as p:
        for i, result in enumerate(p.imap_unordered(execute_all_file, mess_input), 1):
            results.append(result)  # 收集任务结果
            elapsed_time = time.time() - start_time
            avg_time_per_task = elapsed_time / i
            remaining_tasks = len(mess_input) - i
            estimated_time = remaining_tasks * avg_time_per_task
            print(f"Processed {i} tasks. Estimated time remaining: {estimated_time} seconds.")

    print(f"All results: {results}")

在创建Pool对象时传入了num_processes参数,设置了进程的数量。可以根据你的需求和系统的能力来调整这个数量。

实际上multiprocessing模块使用的是进程,而不是线程。Python的多线程因为全局解释器锁(GIL)的存在,无法真正实现并行,而多进程可以避免这个问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/147340.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

CNCC 2023收官,Milvus Cloud与行业大咖共话向量数据库系统

近期,CNCC 2023 在沈阳圆满结束,紧凑、前沿的 129 场技术论坛让人印象深刻。据悉,这 129 场技术论坛涵盖人工智能、安全、计算+、软件工程、教育、网络、芯片、云计算等 30 余个方向。Zilliz 受邀参与【智能时代的大数据系统】技术论坛。 智能时代的到来,无疑给社会经济和日…

前端 vue 面试题 (一)

文章目录 v-if,v-show差别v-for和v-if虚拟dom解决什么问题vue的data为什么返回函数不返回对象比较vue,reactvue双向绑定原理vue虚拟dom 的diff算法vue 虚拟dom的diff算法的时间复杂度vue2与vue3的区别vue数据缓存,避免重复计算单页应用怎么跨页面传参vue…

基于springboot实现学生选课平台管理系统项目【项目源码】

系统开发平台 在该地方废物回收机构管理系统中,Eclipse能给用户提供更多的方便,其特点一是方便学习,方便快捷;二是有非常大的信息储存量,主要功能是用在对数据库中查询和编程。其功能有比较灵活的数据应用&#xff0c…

队列与堆栈:原理、区别、算法效率和应用场景的探究

队列与堆栈:原理、区别、算法效率和应用场景的探究 前言原理与应用场景队列原理应用场景: 堆栈原理应用场景递归原理和堆栈在其中的作用递归原理堆栈作用 队列与堆栈区别队列堆栈算法效率 前言 本文主要讲解数据结构中队列和堆栈的原理、区别以及相关的…

解析数据洁净之道:BI中数据清理对见解的深远影响

本文由葡萄城技术团队发布。转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 前言 随着数字化和信息化进程的不断发展,数据已经成为企业的一项不可或缺的重要资源。然而,这…

0基础学习VR全景平台篇第121篇:认识视频剪辑软件Premiere

上课!全体起立~ 大家好,欢迎观看蛙色官方系列全景摄影课程! 大家好,这节课是带领大家认识认识我们的剪辑软件Premiere,一般简称是PR。 (PR界面) 我们首先打开PR,第一步就是要创建…

滚雪球学Java(64):LinkedHashSet原理及实现解析

咦咦咦,各位小可爱,我是你们的好伙伴——bug菌,今天又来给大家普及Java SE相关知识点了,别躲起来啊,听我讲干货还不快点赞,赞多了我就有动力讲得更嗨啦!所以呀,养成先点赞后阅读的好…

【数据结构】堆(Heap):堆的实现、堆排序、TOP-K问题

目录 堆的概念及结构 ​编辑 堆的实现 实现堆的接口 堆的初始化 堆的打印 堆的销毁 获取最顶的根数据 交换 堆的插入(插入最后) 向上调整(这次用的是小堆) 堆的删除(删除根) 向下调整(这次用的…

dgl 的cuda 版本 环境配置(dgl cuda 版本库无法使用问题解决)

1. 如果你同时有dgl dglcu-XX.XX 那么,应该只会运行dgl (DGL的CPU版本),因此,你需要把dgl(CPU)版本给卸载了 但是我只卸载CPU版本还不够,我GPU 版本的dglcu依旧不好使,因此吧GPU版本的也得卸载…

Python武器库开发-flask篇之路由和视图函数(二十二)

flask篇之路由和视图函数(二十二) 通过创建路由并关联函数,实现一个基本的网页: #!/usr/bin/env python3 from flask import Flask# 用当前脚本名称实例化Flask对象,方便flask从该脚本文件中获取需要的内容 app Flask(__name__)#程序实例需…

2.5 Windows驱动开发:DRIVER_OBJECT对象结构

在Windows内核中,每个设备驱动程序都需要一个DRIVER_OBJECT对象,该对象由系统创建并传递给驱动程序的DriverEntry函数。驱动程序使用此对象来注册与设备对象和其他系统对象的交互,并在操作系统需要与驱动程序进行交互时使用此对象。DRIVER_OB…

云服务器如何选?腾讯云2核2G3M云服务器88元一年!

作为一名程序员,在选择云服务器时,我们需要关注几个要点:网络稳定性、价格以及云服务商的规模。这些要素将直接影响到我们的使用体验和成本效益。接下来,我将为大家推荐一款性价比较高的轻应用云服务器。 腾讯云双11活动 腾讯云…

vue-组件通信(动态组件)

​🌈个人主页:前端青山 🔥系列专栏:Vue篇 🔖人终将被年少不可得之物困其一生 依旧青山,本期给大家带来vue篇专栏内容:vue-组件通信|动态组件 目录 组件通信 1.父传子 2.子传父 3.ref 4.兄弟组件 5.跨层级 provid…

Git用pull命令后再直接push有问题

在gitlab新建一个项目&#xff0c;然后拉取到本地&#xff0c;用&#xff1a; git init git pull <远程主机名> 然后就是在本地工作区增加所有文件及文件夹。再添加、提交&#xff0c;都没问题&#xff1a; 但是&#xff0c;git push出问题&#xff1a; 说明本地仓库和…

手把手带你学习 JavaScript 的 ES6 ~ ESn

文章目录 一、引言二、了解 ES6~ESn 的新特性三、掌握 ES6~ESn 的用法和实现原理四、深入挖掘和拓展《深入理解现代JavaScript》编辑推荐内容简介作者简介精彩书评目录 一、引言 JavaScript 是一种广泛使用的网络编程语言&#xff0c;它在前端开发中扮演着重要角色。随着时间的…

3类主流的车道检测AI模型

2014年的一天&#xff0c;我舒舒服服地躺在沙发上&#xff0c;看着我和加拿大朋友租的豪华滑雪别墅的篝火营地&#xff0c;突然&#xff0c;一个东西出现在我的视野里&#xff1a; “着火了&#xff01;着火了&#xff01;着火了&#xff01;” 我大喊。 几秒钟之内&#xff…

基于springboot实现学生选课平台管理系统项目【项目源码】计算机毕业设计

基于springboot实现学生选课平台管理系统演示 系统开发平台 在该地方废物回收机构管理系统中&#xff0c;Eclipse能给用户提供更多的方便&#xff0c;其特点一是方便学习&#xff0c;方便快捷&#xff1b;二是有非常大的信息储存量&#xff0c;主要功能是用在对数据库中查询和…

方阵的施密特正交化与相似对角化

方阵的施密特正交化与相似对角化 施密特正交化 施密特正交化步骤 example 略 相似对角化 相似对角化步骤 step1: step2: step3: step4: example 注:特征值的个数与秩无关 A {{-3, 6}, {-10, 6}}; Eigenvalues[A] V Eigenvectors[A]; P {V[[1]], V[[2]]}; P Transpo…

Xilinx Zynq 7000系列中端FPGA解码MIPI视频,基于MIPI CSI-2 RX Subsystem架构实现,提供5套工程源码和技术支持

目录 1、前言免责声明 2、我这里已有的 MIPI 编解码方案3、本 MIPI CSI2 模块性能及其优缺点4、详细设计方案设计原理框图OV5640及其配置权电阻硬件方案MIPI CSI-2 RX SubsystemSensor Demosaic图像格式转换Gammer LUT伽马校正VDMA图像缓存AXI4-Stream toVideo OutHDMI输出 5、…

Redis 事务是什么?又和MySQL事务有什么区别?

目录 1. Redis 事务的概念 2. Redis 事务和 MySQL事务的区别&#xff1f; 3. Redis 事务常用命令 1. Redis 事务的概念 下面是在 Redis 官网上找到的关于事务的解释&#xff0c;这里划重点&#xff0c;一组命令&#xff0c;一个步骤。 也就是说&#xff0c;在客户端与 Redi…