【python 多进程】零基础也能轻松掌握的学习路线与参考资料

news2025/4/18 5:23:27

在这里插入图片描述

学习python多进程可以帮助程序员充分利用CPU的性能，同时提高程序的并发性和响应能力。在学习python多进程前，需要具备一定的Python编程基础和对操作系统进程的基本了解。

一、Python多进程学习路线

基本概念

在学习python多进程之前，首先需要了解多进程的基本概念和原理。多进程是指在同一时间内，有多个进程在运行，进程之间相互独立，不会相互干扰。多进程可以充分利用CPU的性能，提高程序的并发性和响应能力，在一些需要大量计算和I/O操作的程序中，可以显著提高程序的执行效率。

多进程模块

Python提供了多进程模块multiprocessing，该模块提供了与threading模块类似的接口，与threading不同的是，multiprocessing模块可以利用多个CPU核心，实现真正的并行计算。multiprocessing模块中最常用的类是Process类，可以用于启动新的进程，其它常用的类还包括Pool、Queue等等。

进程间通信

在多进程编程中，进程之间需要进行通信，可以通过Queue、Pipe、Value、Array等方式来实现。其中，Queue是线程安全的，可以在多个进程中共享数据，Pipe是两个进程之间的通信管道，Value和Array则是用于在进程间共享变量和数组数据。

进程池

当需要启动大量进程时，可以使用进程池来实现进程的管理和调度。Python提供了multiprocessing.Pool类来实现进程池，可以用于并发地执行多个任务。

子进程

在Python中，还可以使用os模块中的spawn、fork等方法来启动子进程。使用子进程可以进行一些系统级别的操作，如执行shell命令、调用外部程序等。

二、Python多进程参考资料

multiprocessing模块官方文档：https://docs.python.org/3/library/multiprocessing.html
《Python并行编程实战》书籍，作者：魏鹏飞、高淇著，清华大学出版社出版，讲解了Python多线程、多进程编程的原理和实际应用。
《Python并行编程指南》书籍，作者：Jesse Noller著，机械工业出版社出版，讲解了Python线程、多进程、异步编程等高级编程技术。
《Python高性能编程》书籍，作者：Micha Gorelick、Ian Ozsvald著，人民邮电出版社出版，讲解了Python的多线程、多进程、异步编程等高级编程技术。
《Python Cookbook》书籍，作者：David Beazley、Brian K. Jones著，中国电力出版社出版，讲解了Python高级编程技术，包括多线程、多进程、异步编程等。

三、Python多进程优秀实践

启动多个进程

使用multiprocessing模块的Process类，可以启动多个进程，示例代码如下：

import multiprocessing
import time

def worker(num):
    print('进程%s开始执行...' % num)
    time.sleep(2)
    print('进程%s执行完毕.' % num)

if __name__ == '__main__':
    for i in range(3):
        p = multiprocessing.Process(target=worker, args=(i,))
        p.start()

进程池

使用multiprocessing模块的Pool类来实现进程池，示例代码如下：

import multiprocessing
import time

def worker(num):
    print('进程%s开始执行...' % num)
    time.sleep(2)
    print('进程%s执行完毕.' % num)

if __name__ == '__main__':
    pool = multiprocessing.Pool(3)
    for i in range(3):
        pool.apply_async(worker, args=(i,))
    pool.close()
    pool.join()

进程间通信

在多进程编程中，进程之间需要进行通信。使用multiprocessing模块的Queue类可以实现进程间通信，示例代码如下：

import multiprocessing
import time

def producer(queue):
    for i in range(3):
        print('生产者生产了%d.' % i)
        time.sleep(1)
        queue.put(i)

def consumer(queue):
    while True:
        if not queue.empty():
            data = queue.get()
            print('消费者消费了%d.' % data)
            time.sleep(2)

if __name__ == '__main__':
    queue = multiprocessing.Queue()
    p1 = multiprocessing.Process(target=producer, args=(queue,))
    p2 = multiprocessing.Process(target=consumer, args=(queue,))
    p1.start()
    p2.start()

子进程

使用os模块的spawn方法启动子进程，示例代码如下：

import os

def worker():
    print('子进程执行了.')
    os._exit(0)

if __name__ == '__main__':
    pid = os.spawnv(os.P_NOWAIT, '/bin/ls', ('ls',))
    print('子进程id:', pid)