最新Python异步编程详解

news2025/1/15 13:00:11

我们都知道对于I/O相关的程序来说，异步编程可以大幅度的提高系统的吞吐量，因为在某个I/O操作的读写过程中，系统可以先去处理其它的操作（通常是其它的I/O操作），那么Python中是如何实现异步编程的呢？

简单的回答是Python通过协程(coroutine)来实现异步编程。那究竟啥是协程呢？这将是一个很长的故事。
故事要从yield开始说起(已经熟悉yield的读者可以跳过这一节)。

yield

yield是用来生成一个生成器的(Generator)

好了，现在假设你已经明白了yield和generator的概念了，请原谅我这种不负责任的说法但是这真的是一个很长的story啊！

总的来说，yield相当于return，它将相应的值返回给调用next()或者send()的调用者，从而交出了cpu使用权，而当调用者再调用next()或者send()时，又会返回到yield中断的地方，如果send有参数，又会将参数返回给yield赋值的变量，如果没有就跟next()一样赋值为None。但是这里会遇到一个问题，就是嵌套使用generator时外层的generator需要写大量代码，看如下示例：

注意以下代码均在Python3.6上运行调试

#!/usr/bin/env python
# encoding:utf-8


def inner_generator():
    i = 0
    while True:
        i = yield i
        if i > 10:
            raise StopIteration



def outer_generator():
    print("do something before yield")
    from_inner = 0
    from_outer = 1
    g = inner_generator()
    g.send(None)
    while 1:
        try:
            from_inner = g.send(from_outer)
            from_outer = yield from_inner
        except StopIteration:
            break


def main():
    g = outer_generator()
    g.send(None)
    i = 0
    while 1:
        try:
            i = g.send(i + 1)
            print(i)
        except StopIteration:
            break


if __name__ == '__main__':
    main()

为了简化，在Python3.3中引入了yield from

yield from

使用yield from有两个好处，

  1. 可以将main中send的参数一直返回给最里层的generator，
  2. 同时我们也不需要再使用while循环和send (), next()来进行迭代。

我们可以将上边的代码修改如下：

def inner_generator():
    i = 0
    while True:
        i = yield i
        if i > 10:
            raise StopIteration


def outer_generator():
    print("do something before coroutine start")
    yield from inner_generator()


def main():
    g = outer_generator()
    g.send(None)
    i = 0
    while 1:
        try:
            i = g.send(i + 1)
            print(i)
        except StopIteration:
            break

if __name__ == '__main__':
    main()

执行结果如下：

do something before coroutine start
1
2
3
4
5
6
7
8
9
10

这里inner_generator()中执行的代码片段我们实际就可以认为是协程，所以总的来说逻辑图如下：

coroutine and wrapper

接下来我们就看下究竟协程是啥样子

协程coroutine

协程的概念应该是从进程和线程演变而来的，他们都是独立的执行一段代码，但是不同是线程比进程要轻量级，协程比线程还要轻量级。多线程在同一个进程中执行，而协程通常也是在一个线程当中执行。它们的关系图如下：

process, thread and coroutine

我们都知道Python由于GIL(Global Interpreter Lock)原因，其线程效率并不高，并且在*nix系统中，创建线程的开销并不比进程小，因此在并发操作时，多线程的效率还是受到了很大制约的。所以后来人们发现通过yield来中断代码片段的执行，同时交出了cpu的使用权，于是协程的概念产生了。在Python3.4正式引入了协程的概念，代码示例如下：

import asyncio

# Borrowed from http://curio.readthedocs.org/en/latest/tutorial.html.
@asyncio.coroutine
def countdown(number, n):
    while n > 0:
        print('T-minus', n, '({})'.format(number))
        yield from asyncio.sleep(1)
        n -= 1

loop = asyncio.get_event_loop()
tasks = [
    asyncio.ensure_future(countdown("A", 2)),
    asyncio.ensure_future(countdown("B", 3))]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

示例显示了在Python3.4引入两个重要概念协程和事件循环，
通过修饰符@asyncio.coroutine定义了一个协程，而通过event loop来执行tasks中所有的协程任务。之后在Python3.5引入了新的async & await语法，从而有了原生协程的概念。

async & await

在Python3.5中，引入了aync&await 语法结构，通过"aync def"可以定义一个协程代码片段，作用类似于Python3.4中的@asyncio.coroutine修饰符，而await则相当于"yield from"。

先来看一段代码，这个是我刚开始使用async&await语法时，写的一段小程序。

#!/usr/bin/env python
# encoding:utf-8

import asyncio
import requests
import time


async def wait_download(url):
    response = await requests.get(url)
    print("get {} response complete.".format(url))


async def main():
    start = time.time()
    await asyncio.wait([
        wait_download("http://www.163.com"),
        wait_download("http://www.mi.com"),
        wait_download("http://www.google.com")])
    end = time.time()
    print("Complete in {} seconds".format(end - start))


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

这里会收到这样的报错：

Task exception was never retrieved
future: <Task finished coro=<wait_download() done, defined at asynctest.py:9> exception=TypeError("object Response can't be used in 'await' expression",)>
Traceback (most recent call last):
  File "asynctest.py", line 10, in wait_download
    data = await requests.get(url)
TypeError: object Response can't be used in 'await' expression

这是由于requests.get()函数返回的Response对象不能用于await表达式，可是如果不能用于await，还怎么样来实现异步呢？
原来Python的await表达式是类似于"yield from"的东西，但是await会去做参数检查，它要求await表达式中的对象必须是awaitable的，那啥是awaitable呢？ awaitable对象必须满足如下条件中其中之一：

  • A native coroutine object returned from a native coroutine function .

    原生协程对象

  • A generator-based coroutine object returned from a function decorated with types.coroutine() .

    types.coroutine()修饰的基于生成器的协程对象，注意不是Python3.4中asyncio.coroutine

  • An object with an await method returning an iterator.

    实现了await method，并在其中返回了iterator的对象

根据这些条件定义，我们可以修改代码如下：

#!/usr/bin/env python
# encoding:utf-8

import asyncio
import requests
import time


async def download(url): # 通过async def定义的函数是原生的协程对象
    print("get %s" % url)    
    response = requests.get(url)
    print(response.status_code)


async def wait_download(url):
    await download(url) # 这里download(url)就是一个原生的协程对象
    print("get {} data complete.".format(url))


async def main():
    start = time.time()
    await asyncio.wait([
        wait_download("http://www.163.com"),
        wait_download("http://www.mi.com"),
        wait_download("http://www.baidu.com")])
    end = time.time()
    print("Complete in {} seconds".format(end - start))


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

至此，程序可以运行，不过仍然有一个问题就是它并没有真正地异步执行 （这里要感谢网友荆棘花王朝，是Ta指出的这个问题）
看一下运行结果：

get http://www.163.com
200
get http://www.163.com data complete.
get http://www.baidu.com
200
get http://www.baidu.com data complete.
get http://www.mi.com
200
get http://www.mi.com data complete.
Complete in 0.49027466773986816 seconds

会发现程序始终是同步执行的，这就说明仅仅是把涉及I/O操作的代码封装到async当中是不能实现异步执行的。必须使用支持异步操作的非阻塞代码才能实现真正的异步。目前支持非阻塞异步I/O的库是aiohttp

#!/usr/bin/env python
# encoding:utf-8
import asyncio
import aiohttp
import time


async def download(url): # 通过async def定义的函数是原生的协程对象
    print("get: %s" % url)
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as resp:
            print(resp.status)
            # response = await resp.read()

# 此处的封装不再需要
# async def wait_download(url):
#    await download(url) # 这里download(url)就是一个原生的协程对象
#    print("get {} data complete.".format(url))


async def main():
    start = time.time()
    await asyncio.wait([
        download("http://www.163.com"),
        download("http://www.mi.com"),
        download("http://www.baidu.com")])
    end = time.time()
    print("Complete in {} seconds".format(end - start))


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

再看一下测试结果：

get: http://www.mi.com
get: http://www.163.com
get: http://www.baidu.com
200
200
200
Complete in 0.27292490005493164 seconds

可以看出这次是真正的异步了。
好了现在一个真正的实现了异步编程的小程序终于诞生了。
而目前更牛逼的异步是使用uvloop或者pyuv，这两个最新的Python库都是libuv实现的，可以提供更加高效的event loop。

uvloop和pyuv

pyuv实现了Python2.x和3.x，但是该项目在github上已经许久没有更新了，不知道是否还有人在维护。
uvloop只实现了3.x, 但是该项目在github上始终活跃。

它们的使用也非常简单，以uvloop为例，只需要添加以下代码就可以了

import asyncio
import uvloop
asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())

关于Python异步编程到这里就告一段落了，而引出这篇文章的引子实际是关于网上有关Sanic和uvloop的组合创造的惊人的性能，感兴趣的同学可以找下相关文章，也许后续我会再专门就此话题写一篇文章，欢迎交流！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/365493.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Python每日一练(20230223)

Python每日一练(20230223)

目录 1. 合并区间 2. 单词接龙 3. N皇后 附录&#xff1a;回溯算法 基本思想 一般步骤 1. 合并区间 难度&#xff1a;★★ 以数组 intervals 表示若干个区间的集合&#xff0c;其中单个区间为 intervals[i] [starti, endi] 。请你合并所有重叠的区间&#xff0c;并返回…
阅读更多...
【虚拟仿真】Unity3D中实现鼠标的单击、双击、拖动的不同状态判断

【虚拟仿真】Unity3D中实现鼠标的单击、双击、拖动的不同状态判断

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享简书地址我的个人博客 大家好&#xff0c;我是佛系工程师☆恬静的小魔龙☆&#xff0c;不定时更新Unity开发技巧&#xff0c;觉得有用记得一键三连哦。 一、前言 这篇文章分享一下虚拟仿真项目中经常碰到鼠标事件控制代码。 …
阅读更多...
某直聘tp_token解析

某直聘tp_token解析

尊重版权&#xff0c;请勿盗版&#xff0c;不放代码。截至2023-02-23更新---------------------------------------检测windows属性总数大于150 改成大于15 > 150检测了document属性大于50检测了navigate属性检测了navigate.plugins 属性值检测moudle nodejs是否存在&#x…
阅读更多...
Java 异常处理，超详细整理，适合新手入门

Java 异常处理，超详细整理，适合新手入门

目录 前言 抛出异常 捕获异常 处理异常 finally块 总结 前言 当Java程序中出现错误或异常时&#xff0c;通常会抛出一个异常。Java的异常处理机制使得我们可以在程序运行过程中捕获这些异常并采取相应的措施&#xff0c;以便程序能够正常运行或者优雅地停止。 抛出异常 在…
阅读更多...
德馨食品再战IPO，“卖水人“还有新故事吗？

德馨食品再战IPO，“卖水人“还有新故事吗？

新茶饮供应链企业迎来上市潮。2月13日&#xff0c;浙江德馨食品科技股份有限公司&#xff08;下称“德馨食品”&#xff09;更新招股书&#xff0c;再次冲刺深交所。此前&#xff0c;原料果汁速冻果块制造商田野创新股份有限公司&#xff08;下称“田野股份”&#xff0c;83202…
阅读更多...
华为OD机试真题 用 C++ 实现 - 字符串加密 | 多看题，提高通过率

华为OD机试真题 用 C++ 实现 - 字符串加密 | 多看题，提高通过率

最近更新的博客 华为OD机试 - 入栈出栈（C++） | 附带编码思路 【2023】 华为OD机试 - 箱子之形摆放（C++） | 附带编码思路 【2023】 华为OD机试 - 简易内存池 2（C++） | 附带编码思路 【2023】 华为OD机试 - 第 N 个排列（C++） | 附带编码思路 【2023】 华为OD机试 - 考古…
阅读更多...
16行代码采集原神官网角色全图+全语音

16行代码采集原神官网角色全图+全语音

嗨害大家好鸭&#xff01;我是小熊猫~ 本来是不玩原神的&#xff0c; 但是实在是经不住诱惑鸭~ 毕竟谁能拒绝可以爬树、炸鱼、壶里造房子、抓小动物、躲猫猫的对战游戏捏~ 准备工具 源码资料电子书:点击此处跳转文末名片获取 准备模块 import requests import re import ex…
阅读更多...
安卓开发 AlertDialog mesaage太长显示不全 下面按钮不显示 bug解决

安卓开发 AlertDialog mesaage太长显示不全 下面按钮不显示 bug解决

简单解决 去掉下面这行即可 <item name"android:windowTranslucentStatus">true</item>但是状态栏不够沉浸&#xff0c;只定义dialog的style &#xff08;推荐&#xff01;&#xff09; <style name"MyDialog" parent"ThemeOverlay.…
阅读更多...
Blender 导出fbx模型到 untiy

Blender 导出fbx模型到 untiy

文章目录导出模型的基本设置将导出的模型放到Untiy里材质问题导出模型的基本设置 导出模型前先 ctrla 应用全部变换&#xff0c;模型原点应该根据需要放在物体中心或底部 1 路径模式&#xff1a;复制 &#xff0c;这会把模型引用的纹理复制一份到选定的文件夹下&#xff0c;用…
阅读更多...
华为OD机试真题 用 C++ 实现 - 括号检查

华为OD机试真题 用 C++ 实现 - 括号检查

最近更新的博客 华为OD机试 - 入栈出栈（C++） | 附带编码思路 【2023】 华为OD机试 - 箱子之形摆放（C++） | 附带编码思路 【2023】 华为OD机试 - 简易内存池 2（C++） | 附带编码思路 【2023】 华为OD机试 - 第 N 个排列（C++） | 附带编码思路 【2023】 华为OD机试 - 考古…
阅读更多...
Homekit智能家居DIY一智能触摸面板开关

Homekit智能家居DIY一智能触摸面板开关

触摸开关&#xff0c;即通过触摸方式控制的墙壁开关&#xff0c;其感官场景如同我们的触屏手机&#xff0c;只需手指轻轻一点即可达到控制电器的目的&#xff0c;随着人们生活品质的提高&#xff0c;触摸开关将逐渐将换代传统机械按键开关。 触摸开关控制原理 触摸开关我们把…
阅读更多...
模电学习7. 三极管特性曲线与静态工作点

模电学习7. 三极管特性曲线与静态工作点

模电学习7. 三极管特性曲线与静态工作点一、三极管的伏安特性曲线1. 三极管的伏安特性曲线2. 三极管的静态工作点二、合适的静态工作点选择1. 合适静态工作点条件2. 静态工作点的确定三、使用立创EDA仿真查看静态工作点1. 搭建如下图所示测试电路2. 点击菜单仿真、仿真设置3. 运…
阅读更多...
图遍历详解

图遍历详解

图遍历 在 Neo4j 中&#xff0c;关系的唯一性始终得到遵守。即两个节点之间永远不会有两个相同类型和方向的关系。这使 Neo4j 能够避免图形遍历中的循环或无限循环。使用多个 Match 子句和多个模式的查询性能分析 PROFILE 加入PROFILE的查询语句将占用更多的资源&#xff0c;所…
阅读更多...
华为OD机试真题 用 C++ 实现 - 任务总执行时长

华为OD机试真题 用 C++ 实现 - 任务总执行时长

最近更新的博客 华为OD机试 - 入栈出栈（C++） | 附带编码思路 【2023】 华为OD机试 - 箱子之形摆放（C++） | 附带编码思路 【2023】 华为OD机试 - 简易内存池 2（C++） | 附带编码思路 【2023】 华为OD机试 - 第 N 个排列（C++） | 附带编码思路 【2023】 华为OD机试 - 考古…
阅读更多...
部署跨云容灾的五大难点

部署跨云容灾的五大难点

为什么企业需要跨云容灾&#xff1f; 据统计&#xff0c;全球已有70%的企业使用云计算服务。上云帮助企业更高效地管理数据资产&#xff0c;但它并非绝对安全。如停电、漏水等机房事故&#xff1b;地震、火灾等自然性灾害&#xff1b;亦或是人为失误&#xff0c;都有可能造成数…
阅读更多...
使用WordPress快速搭建外贸网站教程

使用WordPress快速搭建外贸网站教程

一、下载安装 1、首先前往官方下载wordPress框架&#xff0c;下载地址&#xff1a;Download | WordPress.org 2、把下载好的安装包上传到我们的服务器&#xff0c;解压 3、我使用的搭建环境是宝塔Linux CentOS 7.9&#xff08;Apache2.4mysql5.6php7.4&#xff09;&#xf…
阅读更多...
肖臻公开课(三)——比特币中的数据结构

肖臻公开课(三)——比特币中的数据结构

本笔记对应北京大学肖臻老师《区块链技术与应用》公开课第三课。 0.前言 在本节中&#xff0c;肖老师先是简单介绍了哈希指针的概念&#xff0c;然后着重介绍了比特币中的两个重要的数据结构&#xff1a;block chain和merkle tree。 1.哈希指针 谈到比特币中的数据结构&#…
阅读更多...
AD360身份管理自动化

AD360身份管理自动化

自动化 IAM 的需求 对于组织来说&#xff0c;通过部署用户友好的 IAM 自动化解决方案来保持其安全性非常重要&#xff0c;该解决方案将消除人为错误并确保合规性&#xff0c;同时降低成本和管理工作负载。 AD360 是一种自动化身份管理解决方案&#xff0c;提供管理用户身份、…
阅读更多...
这7条数据分析思路与技巧，让分析结果更可靠、完整！

这7条数据分析思路与技巧，让分析结果更可靠、完整！

大家好。在和一些新人数据分析师聊天时&#xff0c;经常听到大家说“工作时没有自己的分析思路&#xff0c;常常是机械地完成老板布置的任务&#xff0c;无法形成自己的数据分析方法论。” 的确&#xff0c;作为一名数据分析师我也能理解初入行的同学的烦恼&#xff0c;我们在…
阅读更多...
ChatGPT，会是现实世界的MOSS吗？

ChatGPT，会是现实世界的MOSS吗？

最近&#xff0c;两个人工智能系统彻底火出了圈&#xff0c;成为许多网友热议的焦点。 一个是冷酷无情的“幕后主角”MOSS&#xff0c;一个是多才多艺的“全能网友”ChatGPT。 先来说说MOSS。今年春节档&#xff0c;科幻电影《流浪地球2》热映&#xff0c;电影中一个面试环节令…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023