python5:基于多进程的并发编程、基于协程的并发编程的学习笔记

进程

  • 为什么要使用多进程?——GIL的存在,多线程实际不是并发执行
    将任务分为两类:
  • IO密集型(多线程)
  • CPU密集型(多进程)

多进程的基本用法

concurrent.futures.process.ProcessPoolExecutor#进程池 (与线程池用法一致
multiprocessing.Pool#单个进程
multiprocessing.Pool #进程池

可直接学习复习该链接:https://blog.csdn.net/ifhuke/article/details/128642625
有进程间通信,进程池
在这里插入图片描述

创建进程

委托操作系统创建,但不同操作系统创建进程的方式不一样

  • linux:fork:从父进程中继承内存(从运行了一半的程序中裂变出去)
  • windows:spawn:重新运行Python程序(1. 启动python程序; 2.import代码文件
  • 在这里插入图片描述
  • 在这里插入图片描述

协程

一种用户态的上下文切换技术(通过一个线程实现代码块间的相互切换执行,在一个协程中,遇到io等待时间,可以利用这个等待时间去做其他事情
yield就是一个协程思想的实现

yield、yield from

yield可以将函数变成生成器
在函数中加yield关键字,调用它,就会返回一个生成器
在这里插入图片描述
生成器的目的不是为了将代码打包,目的是为了生产或者返回一些值
1 创造生成器
2 通过next获取下一个值(可以理解为next去取yield的值)
3 如果遇到了StopIteration,说明内容生成结束
以上的用法,也叫做迭代器协议,就是不断从中去取内容,可以被for去使用
在这里插入图片描述
通过yield可以改变程序执行顺序,因此协程也称之为“用户态的线程”或“微线程”,即程序执行顺序是受用户控制的。
在Python中,协程是基于单线程的。
Tornado是一个Web开发框架,内部使用协程提供高并发

在这里插入图片描述
通过主线程去调度,即从g2中获得i,给到g3,再得到值,改进这个情况,引入yield from
在这里插入图片描述

yield是将生成器作为结果返回,yield from是把生成器的结果作为结果返回。但后来不用这个写法了,就先pass

协程的相关概念

  • 协程函数:定义为async def的函数
  • 协程对象:调用协程函数返回的对象
  • 事件循环:event loop 并发执行任务的大脑,判断哪些任务已处于可执行状态,并执行(循环只是主线程不断从事件队列里面取值/函数的过程)
  • 协程任务:rask 事件循环调度的最小单位,可由协程对象转化

关键字概述

  • async 定义函数时加上async,则该函数为协程函数
  • await 后面是一个可等待对象,如协程对象,协程任务---->去运行这个函数,运行完再继续fanhui
  • asyncio编写并发代码的库
  • run运行最高层级的入口点
  • asyncio.create_task() 创建task对象
import asyncio
import time
async def async_test(delay:int,content):
    await asyncio.sleep(delay)
    print(content)

async def main():
    task_lady = asyncio.create_task(async_test(1,"lady"))#创建task
    task_killer = asyncio.create_task(async_test(2,"killer9"))
    await task_killer#可以await所有任务,如果只await了耗时短的,那么其他任务没有完成就结束了

if __name__ == '__main__':
    print(f"start at {time.strftime('%X')}")
    asyncio.run(main())
    print(f"end at {time.strftime('%X')}")

  • gather 接收列表,结果是一个由所有返回值聚合而成的列表。结果值得顺序与was

生成器如何使用协程

借助工具实现协程,在这些工具中,使用yield关键字

  • Tornado提供了各种协程版的函数
  • 使用gevent的猴子补丁,可以不使用协程的写法,但是有协程的开发效果

asyncio模块

用来编写并发代码的酷,被用作多个提供高性能Python异步框架的基础,包括网络和网站服务,数据库链接库,分布式任务队列等,asyncio往往是构建IO密集型和高层级 结构化 网络代码的最佳选择

import time
import asyncio

async def f1():
	time.sleep(1)#这是线程阻塞的代码  整个线程会停住一秒
	print("f1:done")

async def f2():
	time.sleep(1)#这是线程阻塞的代码
	print("f2:done")

async def main():
	await f1();
	await f2();

if __name__ == "__main__":
	time = time.time();
	asyncio.run(main());#入口
	time2 = time.time();
	print(f"耗时{time2-time:.2f} ");

耗时2s

用asyncio后改变的代码:

import time
import asyncio

async def f1():
	await asyncio.sleep(1)#这是非阻塞的协程 ,类似于yeild
	print("f1:done")

async def f2():
	asyncio.sleep(1)#非阻塞的协程 ,类似于yeild
	print("f2:done")

async def main():
	await f1();#等待协程结束
	await f2();

依然2s,依旧不是并行运行的,需要用到
在这里插入图片描述
修改代码:

async def main():
	await asyncio.gather(f1(),f2());

修改后,耗时1s,是并发操作
所以在异步编程中,如果有一处代码写成了同步,则整个代码都同步。
所以,像锁,sleep,迭代,队列,网络请求(socket)等都需要用异步资源
注意很多的第三方模块都是同步的,所以我们需要确定是“异步”的第三方库 https://github.com/aio-libs

async 和 await

创建协程的方式有两种,一种是yield关键字,一种是async关键字,我们一般用后者
定义函数时,加上async修饰,即async def func(),则该函数为协程函数,协程函数返回的对象即为协程对象

await后面是一个可等待对象,如协程对象,协程任务,用于告诉eventloop在此协程中需要等待后面的函数运行完成后才能继续(即执行下一个协程),运行完成后返回结果

新的协程如何运行
  • 在其他协程中被await
  • 使用asyncio模块提供第一个协程的运行
async def f_3():
	print("f3 doing")
	await f_4()#等f4

async def f_4():
	print("f4 doing")

if __name__=="__main__":
	asyncio.run(f_3())#第一个协程的运行

或者使用task方法执行协程

在这里插入图片描述

并发方案的选择

1 分布式,还是单击

  • 分布式,只能选择多进程

2 CPU密集,还是IO密集

  • CPU密集,多进程

3 单击IO密集型,并发数多不多

  • 如果不多,多线程(推荐)
  • 如果多,协程
  • 如果特别多:多进程+多线程+协程

4 是否有动态调度

  • 没有, 线程池
  • 有,手动创建线程

并发任务之间的通信:队列
并发任务之间的同步:锁

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/481858.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

李清照想老公了,人比黄花瘦

年轻时的风光无限,中年时的颠沛流离,晚年时的孤独寂寞,李清照的一生跌宕起伏,十分凄惨。 北宋的国破家亡,让李清照从活泼可爱的少女成为孤独的老妇人。 一、少女情思 少女时期,李清照有一次去游玩&#…

【Linux】误删除/home家目录怎么办? -- 此时ssh连接登录的就是此普通用户

👨‍🎓博主简介 🏅云计算领域优质创作者   🏅华为云开发者社区专家博主   🏅阿里云开发者社区专家博主 💊交流社区:运维交流社区 欢迎大家的加入! 🐋 希望大家多多支…

Windows系统安装VNC客户端结合内网穿透实现公网远程连接Deepin桌面

文章目录 1. 安装x11vnc2. 本地远程连接测试3. Deepin安装Cpolar4. 配置公网远程地址5. 公网远程连接Deepin桌面6. 固定连接公网地址7. 固定公网地址连接测试 x11vnc是一种在Linux系统中实现远程桌面控制的工具,它的原理是通过X Window系统的协议来实现远程桌面的展…

AJAX-综合

文章目录 同步代码和异步代码回调函数地狱解决回调函数地狱Promise-链式调用async函数和awaitasync函数和await-捕获错误 事件循环宏任务与微任务Promise.all静态方法 同步代码和异步代码 同步代码:逐步执行,需原地等待结果后,才继续向下执行…

深入探索C语言动态内存分配:释放你的程序潜力

🌈大家好!我是Kevin,蠢蠢大一幼崽,很高兴你们可以来阅读我的博客! 🌟我热衷于分享🖊学习经验,🏫多彩生活,精彩足球赛事⚽ 🌟感谢大家的支持&#…

【Java程序设计】【C00341】基于Springboot的药品管理系统(有论文)

基于Springboot的药品管理系统(有论文) 项目简介项目获取开发环境项目技术运行截图 项目简介 项目获取 🍅文末点击卡片获取源码🍅 开发环境 运行环境:推荐jdk1.8; 开发工具:eclipse以及idea&…

力扣刷题31-33(力扣 0024/0070/0053)

今日题目: 24. 两两交换链表中的节点 题目:给你一个链表,两两交换其中相邻的节点,并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题(即,只能进行节点交换) 思路&…

BOM 浏览器对象模型

文章目录 1. BOM 概述2.window 对象的常见事件窗口加载事件调整窗口大小事件 3.定时器setTimeout() 定时器案例:5秒后自动关闭的广告停止 setTimeout() 定时器setInterval() 定时器案例:倒计时停止 setInterval() 定时器案例:发送短信this 4.…

亚马逊云科技:企业如何开启生成式AI之旅?

如果要评选最近两年全球科技行业最热门的细分领域,那么生成式AI绝对会以遥遥领先的票数成为当仁不让的冠军。 然而眼见生成式AI发展得如火如荼,越来越多的企业却陷入了深深的焦虑:应该如何开启生成式AI之旅?又该怎样搭建大模型&am…

MySQL进阶-----Linux系统安装MySQL

目录 前言 一、准备工作 1. 准备一台Linux服务器 2. 下载Linux版MySQL安装包 3. 上传MySQL安装包 二、安装操作指令 1. 创建目录,并解压 2.安装mysql的安装包 三、开启mysql与密码修改 1.启动MySQL服务 2. 查询自动生成的root用户密码 3.修改root用户密码 四、创…

机器学习:智能时代的核心引擎

目录 一、什么是机器学习 二、监督学习 三、无监督学习 四、半监督学习 五、强化学习 一、什么是机器学习 机器学习是人工智能的一个分支,它主要基于计算机科学,旨在使计算机系统能够自动地从经验和数据中进行学习并改进,而无需进行明确…

MySQL下载及安装过程

MySQl 5.7 安装图解 目录 MySQl 5.7 安装图解 第一步 安装包 第二步 Mysql协议 第三步 安装前检查 第四步 安装 第五步 产品配置 第六步 安装完成 第一步 安装包 双击安装包文件 进行安装 第二步 Mysql协议 同意Mysql协议 , 选择 Server Only安装Mysql服务器即可 …

C语言 预处理器 注释 基本案例讲解

上文 程序设计语言与C语言发展 我们简述了 计算机语言的发展 以及编程语言与指令的概念 那么 今天 我们就来 初始C语言 并完成 第一个C语言案例 这里 我们需要完成 C语言 Hello World案例 以及 C语言程序举例 任何编程语言 开始的案例 都是 Hello World 所以说 Hello World 是…

Flutter 事件传递简单概述、事件冒泡、事件穿透

前言 当前案例 Flutter SDK版本:3.13.2 本文对 事件传递只做 简单概述,主要讲解,事件传递过程中可能遇到的问题解决,比如 事件冒泡、事件穿透; 不是我偷懒,是自认为没有这几位写的详细、仔细&#xff0c…

【Langchain-Chatchat】部署ChatGLM3-6B-32K教程

介绍 Langchain-Chatchat这个框架可以帮助我们更容易的部署大语言模型,之前也写过ChatGLM传统的部署教程,有兴趣的可以参考 【ChatGLM3】第三代大语言模型多GPU部署指南【ChatGLM2-6B】从0到1部署GPU版本 借助Langchain-Chatchat框架,可以…

入门linux之Ubuntu学习

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言1、介绍Ubuntu2、虚拟机目录解析3、常用指令ls:罗列当前目录文件信息对ls -l 的结果解析1.第一个字符2.每三个字符(第一个字符后&#x…

新店开通后要做什么?一定要先做这几个设置,不然会影响店铺流量

大家好,我是电商花花。 新手做店如果没有一个完整的做店思路,很容易迷茫,没有方向,没有步骤,做完上一步不知道下一步该去干嘛。 今天给大家讲一下在开店后一定要做的几项基础搭建。 1、绑定官方账户 开店后在店铺后…

【ORB-SLAM3】在 Ubuntu20.04 上编译 ORM-SLAM3 并使用 D435i 运行测试

【ORB-SLAM3】在 Ubuntu20.04 上编译 ORM-SLAM3 并使用 D435i 运行测试 1 Prerequisites1.1 C11 or C0x Compiler1.2 Pangolin1.3 OpenCV1.4 Eigen3 2 安装 Intel RealSense™ SDK 2.02.1 测试设备2.2 编译源码安装 3 编译 ORB-SLAM34 使用 D435i 运行 ORB-SLAM34.1 运行4.2 运…

【Linux】环境变量常见指令操作&基本实验(入门必看!)

前言 大家好吖,欢迎来到 YY 滴Linux系列 ,热烈欢迎! 本章主要内容面向接触过Linux的老铁 主要内容含: 欢迎订阅 YY滴C专栏!更多干货持续更新!以下是传送门! YY的《C》专栏YY的《C11》专栏YY的《…

如何用联合(共用体)union验证系统大小端

一:思路 由联合体的特点,可知上图,char c 和 int i 共用四个字节,假设是小端,则由左到右是低地址到高地址,四个字节的内容如图所示01 00 00 00 代码展示: 如果第一个字节是1,则证明…