python多进程运行可以使函数运行在程序主进程以外,减少主进程的调用,并且可以加速子进程的运行速度
为了测试多进程的加速效果,我们可以通过创建一个包含计算密集型任务的函数,并使用多进程来并行执行这些任务。我们将对比单进程和多进程执行的时间。
以下是改进后的代码,包括时间测量和改进的多进程池处理:
函数要在
import multiprocessing
import os
import time
def add(input):
a = 0
for _ in range(1000000): # 模拟计算密集型任务
a += input
return a
if __name__ == '__main__':
# 配置多进程环境
os.environ['OMP_NUM_THREADS'] = '1'
mp_context = multiprocessing.get_context('spawn')
pool = mp_context.Pool(processes=4) # 使用 4 个进程
# 输入数据
args = [(i,) for i in range(4)] # 输入格式为 [(args,), (args,), ...]
# 单进程执行
start_time = time.time()
single_process_results = [add(arg[0]) for arg in args]
single_process_time = time.time() - start_time
print(f"单进程执行时间: {single_process_time:.2f} 秒")
print(f"单进程结果: {single_process_results}")
for i in range(3):
multi_process_results = pool.starmap(add, args)
# 多进程执行
start_time = time.time()
multi_process_results = pool.starmap(add, args)
multi_process_time = time.time() - start_time
print(f"多进程执行时间: {multi_process_time:.2f} 秒")
print(f"多进程结果: {multi_process_results}")
pool.close()
pool.join()
# 比较单进程和多进程的执行时间
speedup = single_process_time / multi_process_time
print(f"加速比: {speedup:.2f}")