Python17 多进程multiprocessing

news2024/11/25 22:50:44

图片

1.多进程与多线程的区别

在Python中,多线程(multithreading)和多进程(multiprocessing)是两种并行执行任务的方式,它们有一些关键的区别:

  1. 进程和线程的基本区别

    • 进程:进程是操作系统分配资源和调度的基本单位,每个进程都有自己独立的内存空间和资源。多进程环境下,同一个程序可以运行在不同的内存地址空间中,进程之间不会相互干扰。

    • 线程:线程是进程的一个执行实体,是CPU调度和执行的单位,同一进程下的多个线程共享该进程的内存空间和资源。这意味着线程间通信更简单,但也容易出现数据不一致的问题。

  2. 全局解释器锁(GIL)

    • Python(尤其是CPython)中有一个称为全局解释器锁(GIL)的机制,它影响了多线程的执行效率。GIL确保在任意时刻,只有一个线程在一个Python进程中执行,这意味着即使在多核CPU上,使用Python的多线程也无法实现真正的并行执行。

    • 多进程不受GIL的影响,因为每个进程都有自己的Python解释器和内存空间,所以可以真正并行运行。

  3. 使用场景

    • 多线程适合于I/O密集型任务,如网络请求、文件I/O等,因为线程在等待I/O的过程中可以释放GIL,让其他线程运行。

    • 多进程适合于CPU密集型任务,如大规模计算等,可以利用多核CPU的优势实现真正的并行计算。

  4. 资源消耗和开销

    • 多线程的资源消耗相对较少,创建和切换线程的开销小于进程。

    • 多进程因为每个进程需要独立的内存空间和系统资源,所以资源消耗更大,进程的创建和切换也比线程要慢。

2.多进程模块multiprocessing

Python中的multiprocessing 模块是用来实现多进程并行计算的标准库之一。它提供一种简单且强大的方式来利用多核 CPU 执行并行任务,从而提高程序的性能和效率。

具体来说,multiprocessing 模块主要用于以下几个方面:

  1. 创建进程:通过 Process 类,可以创建新的进程来执行指定的任务。

  2. 进程间通信:提供了多种方式来实现进程间的通信,如队列(Queue)、管道(Pipe)、共享内存(Value 和 Array 等)等,这些机制可以让多个进程之间安全地共享数据。

  3. 进程池:通过 Pool 类,可以创建一个池子,其中包含多个工作进程,从而可以更方便地实现并行任务的执行。

  4. 同步机制:提供了多种同步原语,如锁(Lock)、信号量(Semaphore)、事件(Event)等,用于控制多个进程之间的并发访问。

  5. 执行并行任务:通过多进程的方式,可以并行执行计算密集型任务,从而提高程序的运行速度,特别是在多核 CPU 上。

3.多进程示例(并行计算不同函数)

# 这行代码是一个特殊注释,用于声明Python文件的编码格式
# -*- coding: utf-8 -*-  
import multiprocessing  # 用于创建多进程
import numpy as np
import matplotlib.pyplot as plt

# 正弦函数
def compute_sin(queue, x):  #函数计算输入数组x的正弦值,结果存入队列queue,队列用于进程间的数据传递。
    y = np.sin(x)
    queue.put(('sin', y))
    print("Sin computed")

# 余弦函数
def compute_cos(queue, x):
    y = np.cos(x)
    queue.put(('cos', y))
    print("Cos computed")

# 正切函数
def compute_tan(queue, x):
    y = np.tan(x)
    y = np.clip(y, -10, 10)  # 限制tan函数的输出范围以避免数值爆炸
    queue.put(('tan', y))
    print("Tan computed")

# 指数函数
def compute_exp(queue, x):
    y = np.exp(x)
    y = np.clip(y, 0, 10)  # 限制exp函数的输出范围以避免数值爆炸
    queue.put(('exp', y))
    print("Exp computed")

if __name__ == '__main__':  # 仅当文件作为主程序运行时执行以下代码块
    # 创建一个管理器队列用于进程间通信
    manager = multiprocessing.Manager()
    queue = manager.Queue()

    # 创建输入数据
    x = np.linspace(-2 * np.pi, 2 * np.pi, 1000)  # 生成一个线性空间的数组x,范围是从-2π到2π,包含1000个元素

    # 创建四个进程,每个进程执行不同的计算任务
    processes = [
        multiprocessing.Process(target=compute_sin, args=(queue, x)),
        multiprocessing.Process(target=compute_cos, args=(queue, x)),
        multiprocessing.Process(target=compute_tan, args=(queue, x)),
        multiprocessing.Process(target=compute_exp, args=(queue, x))
    ]

    # 启动所有进程
    for p in processes:
        p.start()

    # 等待所有进程完成
    for p in processes:
        p.join()

    # 从队列中获取所有结果,存入字典results
    results = {}
    while not queue.empty():
        key, value = queue.get()
        results[key] = value

    # 使用matplotlib进行绘图
    plt.figure(figsize=(10, 6))
    if results:
        for key, value in results.items():
            plt.plot(x, value, label=key)
        plt.title('Various Mathematical Functions')
        plt.xlabel('x')
        plt.ylabel('f(x)')
        plt.ylim(-5, 5)  # 设置y轴的显示范围
        plt.legend()
        plt.show()
    else:
        print("No data to plot.")

图片


以上内容总结自网络,如有帮助欢迎转发,我们下次再见!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1852426.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

「GPT源码探索」:从ChatPaper到学术论文GPT的二次开发实践

前言 本文的前两个部分最早是属于此旧文的《学术论文GPT的源码解读与微调:从ChatPaper到七月论文审稿GPT第1版》,但为了每一篇文章各自的内容更好的呈现,于是我今天做了以下三个改动 原来属于mamba第五部分的「Mamba近似工作之线性Transfor…

【计算机毕业设计】194高校学习助手微信小程序

🙊作者简介:拥有多年开发工作经验,分享技术代码帮助学生学习,独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。🌹赠送计算机毕业设计600个选题excel文件,帮助大学选题。赠送开题报告模板&#xff…

CSS属性选择器学习记录(4)

目录 1、CSS 属性 选择器 1.1、CSS [attribute|value] 选择器 1.2、实例 2、具有特定属性的HTML元素样式 3、属性选择器 4、属性和值选择器 5、属性和值的选择器 - 多值 6、表单样式 1、CSS 属性 选择器 顾名思义,CSS 属性选择器就是指可以根据元素的属性以…

ElasticSearch地理空间数据写入

目录 ElasticSearch地理空间数据写入思路介绍实现(geo_point)数据处理创建点的mappings使用Java将数据写入ES配置maven依赖项目配置ES数据写入查询数据实现(geo_shape)数据处理创建geo_shape的mappings使用Java将数据写入ES数据写入查询数据ElasticSearch地理空间数据写入 申明…

RIP动态路由配置

1、搭建网络 搭建拓扑、规划IP地址、划分网段、设置端口 2、配置交换机,路由器 三层交换机配置 Switch>enable Switch#conf t Enter configuration commands, one per line. End with CNTL/Z. Switch(config)#hostname S3560S3560(config)#vlan 10 S3560(con…

Android 你应该知道的学习资源 进阶之路贵在坚持

coderzheaven 覆盖各种教程,关于Android基本时案例驱动的方式。 非常推荐 thenewcircle 貌似是个培训机构,多数是收费的,不过仍然有一些free resources值得你去挖掘。 coreservlets 虽然主打不是android,但是android的教程也​ 是…

基于ACO蚁群优化的城市最佳出行路径规划matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 基于ACO蚁群优化的城市最佳出行路径规划matlab仿真,可以修改城市个数,输出路径规划结果和ACO收敛曲线。 2.测试软件版本以及运行结果展示…

Day15 —— 大语言模型简介

大语言模型简介 大语言模型基本概述什么是大语言模型主要应用领域大语言模型的关键技术大语言模型的应用场景 NLP什么是NLPNLP的主要研究方向word2vecword2vec介绍word2vec的两种模型 全连接神经网络神经网络结构神经网络的激活函数解决神经网络过拟合问题的方法前向传播与反向…

Docker构建多平台镜像

docker的多架构镜像构建 目前很多服务器都是基于arm架构的,而现在大多数的docker镜像都是基于x86架构的。一种情况就是同样的代码编译成业务包做成镜像需要部署在不同架构的服务器上,这个时候我们就可以使用docker的多平台构建了。 以下操作是在centos7.…

LeetCode 671.二叉树第二小的结点

这个题我们可以用数组辅助完成,然后进行排序后,再用再进行取值,这是我的代码块: /*** Definition for a binary tree node.* struct TreeNode {* int val;* struct TreeNode *left;* struct TreeNode *right;* };*/void Preorde…

Flutter开发环境搭建和调试

[你的Flutter文件夹路径]\flutter\bin 这样我们的Flutter SDK的环境变量就配置完毕了。接下来在命令提示符窗口中输入命令: flutter doctor 它可以帮助我们检查Flutter环境变量是否设置成功,Android SDK是否下载以及配置好环境变量等等。如果有相关的…

SpringBoot配置第三方专业缓存技术Redis

Redis缓存技术 Redis(Remote Dictionary Server)是一个开源的内存中数据结构存储系统,通常用作数据库、缓存和消息中间件。它支持多种数据结构,如字符串、哈希表、列表、集合、有序集合等,并提供了丰富的功能和灵活的…

.NET+Python量化【1】——环境部署和个人资金账户信息查询

前言:量化资料很少,.NET更少。那我就来开个先河吧~ 以下是使用QMT进行量化开发的环境部署和基础信息获取有关操作。 1、首先自己申请券商的QMT权限,此步骤省略。 2、登陆QMT,选择极简模式,或者独立交易模式之类的。会进…

centos7.9 python3环境(virtualenv)搭建及所遇错误

人望山,鱼窥荷,真正喜欢想要的,没有一样可以轻易得到。 目录 # 1. 解决版本冲突问题--建议不要跳过(一定要查看软链接是否链接正确) # 2. python3(virtualenv)环境搭建 # 3. virtualenv常用命令 # 4. 所遇错误解析 ## 4.1 遇到 No modul…

艺体培训机构管理系统的设计

管理员账户功能包括:系统首页,个人中心,管理员管理,教师管理,学员管理,活动管理,课程管理,选课信息管理 前台账户功能包括:系统首页,个人中心,论…

【计算机毕业设计】185餐厅点餐微信小程序

🙊作者简介:拥有多年开发工作经验,分享技术代码帮助学生学习,独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。🌹赠送计算机毕业设计600个选题excel文件,帮助大学选题。赠送开题报告模板&#xff…

【C++】——二叉搜索树(详解)

一 二叉搜索树概念 二叉搜索树又称二叉排序树,它或者是一棵空树,或者是具有以下性质的二叉树: ✨若它的左子树不为空,则左子树上所有节点的值都小于根节点的值 ✨若它的右子树不为空,则右子树上所有节点的值都大于根节点的值 …

累积阅读量高达1个亿了,刚好完成了一个小目标

大家好, 我是老洪。 做自媒体,这不仅仅是一个职业选择,更是我生活中不可或缺的一部分。 自从我踏入这个领域,时光如白驹过隙,转眼间已经走过了一段不短的旅程。 今天,当我打开后台数据,看到那累…

Benchmarking Panoptic Scene Graph Generation (PSG), ECCV‘22 场景图生成,利用PSG数据集

2080-ti显卡复现 源代码地址 Jingkang50/OpenPSG: Benchmarking Panoptic Scene Graph Generation (PSG), ECCV22 (github.com) 安装 pytorch 1.7版本 cuda10.1 按照readme的做法安装 我安装的过程如下图所示,这个截图是到了pip install openmim这一步 下一步 下一步 这一步…

【单片机毕业设计选题24024】-房间自动除湿控制系统

系统功能: 系统分为手动和自动模式,上电默认为自动模式。自动模式下如果获取到湿度 值大于设定的湿度值则自动打开风扇,手动模式下手动开关风扇。 系统上电后显示“欢迎使用除湿控制系统请稍后”,两秒钟后进入主页面显示。 第一行显示系统…