深入浅出:Python 中的异步编程与协程

news2025/2/13 14:29:35

引言

       大家好,今天我们来聊聊 异步编程协程,这是近年来编程语言领域中的热点话题之一,尤其在 Python 中,它作为一种全新的编程模型,已经成为处理 IO密集型 任务的强力工具。尽管很多人对异步编程望而却步,觉得它复杂难懂,但其实掌握了它,你就能感受到异步编程带来的速度提升,尤其是在高并发、网络爬虫、爬虫框架、聊天机器人等领域,异步编程简直是神器!

      所以,今天我们就从头开始,带你一步步搞懂异步编程和协程,带着你从基本概念到实际应用,通俗易懂又不失深度的讲解这项技术。

1. 什么是异步编程?

首先,来搞清楚异步编程同步编程到底有什么区别。

  • 同步编程:代码按照书写顺序逐行执行,每一行执行完,才会执行下一行。比如,你去餐厅点了菜,厨师开始做饭,直到你吃完饭才能结账离开,这个过程就叫做同步。

  • 异步编程:代码执行时,不会阻塞其他任务,可以让程序在等待某些任务的结果时,去做其他事情。继续以餐厅为例,当你点了菜后,厨师开始做饭,你可以先去刷会儿手机,聊天什么的,等做完了菜再叫你吃,这个过程就叫做异步。

      简单总结:同步是“做一件事等着做完”,而异步是“做事的时候,不等,去做其他事情”。如果我们把程序执行的时间浪费在等待 IO 操作(比如网络请求、数据库查询等)上,那就不如使用异步方式,让程序继续执行其他任务。

2. Python 中的异步编程

      在 Python 中,异步编程通常借助 asyncio 库来实现。asyncio 是 Python 的标准库之一,专门用于写异步 I/O 代码。Python 中的异步编程主要通过 协程 来实现。

2.1 什么是协程?

      在 Python 中,协程(Coroutine)是一种特殊的函数,它可以在执行过程中被暂停并在后续某个时间恢复执行。协程最常见的应用就是处理 I/O 操作(比如读取文件、发送网络请求等),因为这些操作可能需要等待一段时间,如果用同步代码,程序会一直等待,浪费了大量时间,而使用协程就能“挂起”执行并切换到其他任务。

你可以把协程想象成一个可以中途暂停并恢复的任务。这种灵活性非常适合处理大量并发 I/O 请求。

3. 如何写一个协程?

      Python 使用 asyncawait 关键字来定义和执行协程。让我们先看一个简单的例子:

import asyncio

async def hello_world():
    print("Hello")
    await asyncio.sleep(1)  # 模拟IO操作,暂停1秒
    print("World")

# 运行协程
asyncio.run(hello_world())

      在上面的代码中:

  • async def 用来定义一个异步函数,也就是协程。
  • await 关键字用于在协程中调用另一个异步函数。在这个例子中,asyncio.sleep(1) 会暂停协程的执行 1 秒钟,模拟一个耗时的 I/O 操作。
  • asyncio.run() 用来启动协程。
4. 让多个协程并发执行

      协程的强大之处在于我们可以通过 asyncio 轻松地让多个任务并发执行。接下来,我们创建多个协程任务,让它们并行执行。

import asyncio

async def task(n):
    print(f"Task {n} started")
    await asyncio.sleep(2)
    print(f"Task {n} completed")

async def main():
    # 创建多个任务并发执行
    tasks = [task(i) for i in range(5)]
    await asyncio.gather(*tasks)  # 等待所有任务完成

asyncio.run(main())

      在上面的例子中,asyncio.gather(*tasks) 会将多个协程任务并行执行,而不是一个接一个地执行。这样,就能够在等待 I/O 操作的同时执行其他任务,充分利用时间。

5. 异步编程的优势

      异步编程最明显的优势就是它能够在高并发情况下提高程序的效率,尤其在处理大量 I/O 操作时(比如网络请求、文件读写等)。

  • 高效利用 CPU 资源:由于异步编程不会阻塞程序的执行,它允许 CPU 在等待 I/O 时去处理其他任务。
  • 减少延迟:在传统的同步方式中,IO 操作会造成大量的延迟,而异步编程可以在等待期间执行其他任务,从而减少整体的响应时间。
  • 处理大并发:使用异步编程,你可以在同一时间内启动成百上千的任务,而不会占用大量的系统资源。
6. 异步编程的陷阱

      尽管异步编程非常强大,但它也有一些潜在的陷阱,尤其是当你刚接触这个概念时:

  • 异步不适合所有任务:如果你的程序是 CPU 密集型的,异步编程反而可能导致性能下降。因为异步编程的优势主要体现在 I/O 密集型任务上。
  • 错误处理:在异步代码中,异常的处理和同步代码有些不同,特别是在并发执行的情况下,如何捕获并处理异常需要特别注意。
  • 调试困难:由于协程的执行是分散的,调试异步程序相对来说比同步程序更为复杂,尤其是在多个任务并行执行的情况下。
7. 异步与多线程的对比

      很多人会问,异步编程和多线程编程有何区别。简单来说:

  • 异步编程:是基于事件循环的方式,不需要多线程,适用于 I/O 密集型任务,通过非阻塞的方式提升并发度。
  • 多线程编程:是通过多个线程并行执行任务,适合计算密集型任务,但也带来了线程切换的开销和数据竞争等问题。

      异步编程的优势在于它能够在单个线程中高效地处理大量并发任务,而不会像多线程那样产生上下文切换的开销。

8. 实际应用案例:异步爬虫

      异步编程非常适合用来写爬虫程序。假设我们需要爬取多个网页,每个网页的请求都需要花费一定的时间,如果采用同步编程,程序就会一个接一个地等待每个网页的响应,效率低下。而使用异步编程,可以让爬虫程序在等待某个网页响应时,去请求其他网页。

下面是一个简单的异步爬虫示例:

import aiohttp
import asyncio

async def fetch_url(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    urls = ['http://example.com', 'http://example.org', 'http://example.net']
    tasks = [fetch_url(url) for url in urls]
    results = await asyncio.gather(*tasks)
    for result in results:
        print(result[:100])  # 打印前100个字符

asyncio.run(main())

      在这个爬虫例子中,我们使用 aiohttp 库异步地请求多个网页,并且使用 asyncio.gather 来并行执行这些请求。这种方式比传统的同步爬虫效率更高,因为我们能够在等待网页响应时进行其他操作。

9. 总结

      通过本文的讲解,我们了解了 Python 中的异步编程以及协程的基本概念、应用场景以及注意事项。异步编程在处理大量 I/O 操作时能够显著提升程序的性能,特别是在高并发的情况下,它能够更高效地利用计算机资源。不过,异步编程并不是万灵药,适合 I/O 密集型任务,但对于 CPU 密集型任务,传统的多线程或多进程编程仍然更为高效。

      最后,异步编程的学习曲线可能有些陡峭,但一旦掌握了这一概念,它将为你开发高效、高性能的应用程序提供强大的支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2297402.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Windows中使用Docker安装Anythingllm,基于deepseek构建自己的本地知识库问答大模型,可局域网内多用户访问、离线运行

文章目录 Windows中使用Docker安装Anythingllm,基于deepseek构建自己的知识库问答大模型1. 安装 Docker Desktop2. 使用Docker拉取Anythingllm镜像2. 设置 STORAGE_LOCATION 路径3. 创建存储目录和 .env 文件.env 文件的作用关键配置项 4. 运行 Docker 命令docker r…

[SAP ABAP] OO ALV报表练习1

销售订单明细查询报表 业务目的:根据选择屏幕的筛选条件,使用 ALV 报表,显示销售订单详情 效果展示 用户的输入条件界面 用户的查询结果界面 涉及的主要功能点: 1.当在销售订单明细查询页面取不到任何数据时,在选择…

数据库高安全—数据保护:数据动态脱敏

书接上文数据库高安全—审计追踪:传统审计&统一审计,从传统审计和统一审计两方面对高斯数据库的审计追踪技术进行解读,本篇将从数据动态脱敏方面对高斯数据库的数据保护技术进行解读。 5.1 数据动态脱敏 数据脱敏,顾名思义就…

Datawhale 数学建模导论二 2025年2月

第6章 数据处理与拟合模型 本章主要涉及到的知识点有: 数据与大数据Python数据预处理常见的统计分析模型随机过程与随机模拟数据可视化 本章内容涉及到基础的概率论与数理统计理论,如果对这部分内容不熟悉,可以参考相关概率论与数理统计的…

记录 | WPF基础学习MVVM例子讲解1

目录 前言一、NotificationObject与数据属性创建个类,声明NotificationObject 二、DelegateCommand与命令属性三、View与ViewModel的交互(难点)在ViewModel文件下创建MainWindowViewModel数据和方法绑定资源指定 代码下载四、优势体现代码下载…

PyTorch 中 `torch.cuda.amp` 相关警告的解决方法

在最近的写代码过程中,遇到了两个与 PyTorch 的混合精度训练相关的警告信息。这里随手记录一下。 警告内容 警告 1: torch.cuda.amp.autocast FutureWarning: torch.cuda.amp.autocast(args...) is deprecated. Please use torch.amp.autocast(cuda, args...) i…

实验7 路由器之间IPsec VPN配置

实验7 路由器之间IPsec VPN配置 1.实验目的 通过在两台路由器之间配置IPsec VPN连接,掌握IPsec VPN配置方法,加深对IPsec协议的理解。 2.实验内容 (1)按照实验拓扑搭建实验环境。 (2)在路由器R1和R4配置IP…

小白零基础如何搭建CNN

1.卷积层 在PyTorch中针对卷积操作的对象和使用的场景不同,如有1维卷积、2维卷积、 3维卷积与转置卷积(可以简单理解为卷积操作的逆操作),但它们的使用方法比较相似,都可以从torch.nn模块中调用,需要调用的…

【Java八股文】01-Java基础面试篇

【Java八股文】01-Java基础面试篇 概念Java特点Java为什么跨平台JVM、JDK、JRE关系 面向对象什么是面向对象,什么是封装继承多态?多态体现的方面面向对象设计原则重载重写的区别抽象类和实体类区别Java抽象类和接口的区别抽象类可以被实例化吗 深拷贝浅拷…

k8s部署logstash

1. 编写logstash.yaml配置文件 --- apiVersion: v1 kind: Service metadata:name: logstash spec:type: ClusterIPclusterIP: Noneports:- name: logstash-tcpport: 5000targetPort: 5000- name: logstash-beatsport: 5044targetPort: 5044- name: logstash-apiport: 9600targ…

Arcgis/GeoScene API for JavaScript 三维场景底图网格设为透明

项目场景: 有时候加载的地图服务白色区域会露底,导致在三维场景时,露出了三维网格,影响效果,自此,我们需要将三维场景的底图设为白色或透明。 问题描述 如图所示: 解决方案: 提示…

《qt open3d网格拉普拉斯平滑》

qt open3d网格拉普拉斯平滑 效果展示二、流程三、代码效果展示 二、流程 创建动作,链接到槽函数,并把动作放置菜单栏 参照前文 三、代码 1、槽函数实现 void on_actionFilterLaplacian_triggered();void MainWindow::on_actionFil

怎么选择免费的SEO排名工具

随着2025年互联网的迅猛发展,越来越多的企业意识到,拥有一个高排名的网站对于品牌曝光和吸引客户至关重要。尤其是通过SEO(搜索引擎优化),可以提高网站在搜索引擎中的排名,进而带来更多的自然流量&#xff…

SSH隧道+Nginx:绿色通道详解(SSH Tunnel+nginx: Green Channel Detailed Explanation)

SSH隧道Nginx:内网资源访问的绿色通道 问题背景 模拟生产环境,使用两层Nginx做反向代理,请求公网IP来访问内网服务器的网站。通过ssh隧道反向代理来实现,重点分析一下nginx反代的基础配置。 实验环境 1、启动内网服务器的tomca…

Spring 项目接入 DeepSeek,分享两种超简单的方式!

⭐自荐一个非常不错的开源 Java 面试指南:JavaGuide (Github 收获148k Star)。这是我在大三开始准备秋招面试的时候创建的,目前已经持续维护 6 年多了,累计提交了 5600 commit ,共有 550 多位贡献者共同参与…

半小时在本地部署DeepSeek的Janus Pro,进行图片分析和文生图

半小时在本地部署DeepSeek的Janus Pro,进行图片分析和文生图 下载Janus Pro源代码下载模型文件创建Python虚拟环境安装依赖包Janus Pro测试运行程序图片分析测试文生图测试使用中文提示词使用英文提示词 测试印象: 整体模型体积较小,个人可以…

急停信号的含义

前言: 大家好,我是上位机马工,硕士毕业4年年入40万,目前在一家自动化公司担任软件经理,从事C#上位机软件开发8年以上!我们在开发C#的运动控制程序的时候,一个必要的步骤就是确认设备按钮的急停…

设置mysql的主从复制模式

mysql设置主从复制模式似乎很容易,关键在于1)主库启用二进制日志,2)从库将主库设为主库。另外,主从复制,复制些什么?从我现在获得的还很少的经验来看,复制的内容有表,用户…

三角拓扑聚合优化器TTAO-Transformer-BiLSTM多变量回归预测(Maltab)

三角拓扑聚合优化器TTAO-Transformer-BiLSTM多变量回归预测(Maltab) 完整代码私信回复三角拓扑聚合优化器TTAO-Transformer-BiLSTM多变量回归预测(Maltab) 一、引言 1、研究背景和意义 在现代数据科学领域,时间序列…

ArcGIS基础知识之ArcMap基础设置——ArcMap选项:常规选项卡设置及作用

作为一名 GIS 从业者,ArcMap 是我们日常工作中不可或缺的工具。对于初学者来说,掌握 ArcMap 的基础设置是迈向 GIS 分析与制图的第一步。今天,就让我们一起深入了解 ArcMap 选项中常规选项卡的各个设置,帮助大家更好地使用这款强大的软件。 在 ArcMap 中,常规选项卡是用户…