python爬虫预备知识三-多进程

news2024/11/25 14:29:02

python实现多进程的方法:fork、multiprocessing模块创建多进程。

os.fork方法

os.fork方法只适合于unix/linux系统,不支持windows系统。

fork方法调用一次会返回两次,原因在于操作系统将当前进程(父进程)复制出一份进程(子进程),这两个进程几乎完全相同,fork方法分别在父进程和子进程中返回,子进程永远返回0,父进程返回子进程的ID,

例子:

import os

if __name__ == '__main__':
   
print('current process(%s) start...'%(os.getpid()))
    pid = os.fork()
   
if pid < 0:
       
print('error in fork')
   
elif pid == 0:
       
print('i am child process(%s) and my parent process is (%s)',(os.getpid()),os.getpid())
   
else:
       
print('i(%s) created a child process (%s).',(os.getpid(),pid))

使用multiprocessing模块

使用multiprocessing模块的Process类来描述一个进程对象。创建时传入一个需要多进程执行的函数和函数的参数即可。

start方法:启动进程。

join方法:实现进程间的同步。

例子:

import os
from multiprocessing import Process

def run_proc(name):
   
print('child process %s (%s) running...'%(name,os.getpid()))

if __name__ == '__main__':
   
print('parent process %s.'% os.getpid())
   
for i in range(5):
        p = Process(
target=run_proc,args=(str(i),))
       
print('process will start.')
        p.start()
    p.join()
   
print('process end.')

但是如果创建大量的进程的话,应当使用进程池

multiprocessing模块进程池实现

可以使用multiprocessing模块的Pool类实现一个进程池,进程的数量默认是cpu的核数。当有新的请求时,如果进程的数量没有达到最大值,那么就会创建一个新的进程,如果进程的数量达到最大值,那么请求就会等待直到进程池中有进程结束,才会创建新的进程来处理这个请求。

例子:创建一个容量为3的进程池,运行5个任务。通过进程pid可以看到始终只有三个进程在执行。

import os,time,random
from multiprocessing import Pool

def run_task(name):
   
print('task %s (pid=%s) is running...'% (name,os.getpid()))
    time.sleep(random.random() *
3)
   
print('task %s end.'%name)

if __name__=='__main__':
   
print('current process %s.'%os.getpid())
    p = Pool(
processes=3)
   
for i in range(5):
        p.apply_async(run_task,
args=(i,))

   
print('waiting for all subprocesses done...')
    p.close()
    p.join()
   
print('all subprocess done.')

Pool对象调用join方法会等待所有子进程执行完毕,调用join方法之前必须调用close方法,调用close方法不能再添加新的Process。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1986067.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ESP8266使用舵机以及16路PWM舵机PCA 9685的使用方式

PWM全称 50Hz也就是一秒内变换50次 根据上面的公式 一个高电平一个低电平叫一个脉冲。 例如每个脉冲占20毫秒&#xff0c;那么他的频率是多少&#xff1f; 就是用1去除以他的周期&#xff0c;也就是我们上面说的20&#xff0c;那么就是除0.02,1秒等于1000毫秒&#xff0c;20…

网络安全 - 应急响应检查表

前言 本项目旨在为应急响应提供全方位辅助&#xff0c;以便快速解决问题。结合自身经验和网络资料&#xff0c;形成检查清单&#xff0c;期待大家提供更多技巧&#xff0c;共同完善本项目。愿大家在应急之路一帆风顺。 图片皆来源于网络&#xff0c;如有侵权请联系删除。 一…

南山智尚10亿元定增质疑声连连,与控股股东超70亿资金往来引瞩目

《港湾商业观察》施子夫 王璐 近期&#xff0c;南山智尚&#xff08;300918.SZ&#xff09;发布了《向特定对象发行A股股票募集说明书(修订稿)》。 据了解&#xff0c;公司此次拟募集资金总额不超过10亿元&#xff0c;扣除发行费用后的募集资金净额将全部用于年产8万吨高性能…

鸿蒙HarmonyOS实战:ArkUI组件添加内容背景模糊效果

动画效果可以丰富界面的细节&#xff0c;提升UI界面的真实感和品质感。例如&#xff0c;模糊和阴影效果可以让物体看起来更加立体&#xff0c;使得动画更加生动。ArkUI提供了丰富的效果接口&#xff0c;开发者可快速打造出精致、个性化的效果。本章中主要对常用的模糊、阴影和色…

速卖通、Lazada、虾皮卖家是如何自建买家账号测评的?

在跨境电商领域&#xff0c;速卖通、Lazada、Shopee等平台上的卖家为了提升店铺信誉、提高产品排名和销量&#xff0c;常常需要借助买家账号进行测评。然而&#xff0c;依赖外部服务商往往存在风险&#xff0c;如账号质量参差不齐、恶意差评等问题。因此&#xff0c;自己养国外…

Crowd-SAM:SAM作为拥挤场景中目标检测的智能标注器

摘要 目标检测是一项重要任务&#xff0c;广泛应用于各种场景。通常&#xff0c;它需要大量的标签进行训练&#xff0c;这相当耗时&#xff0c;尤其是在拥挤的场景中。最近&#xff0c;Segment Anything Model&#xff08;SAM&#xff09;作为一种强大的零样本分割器应运而生&…

数学中常用字母符号读法

文章目录 一、希腊字母二、其他字母1.字母上一横2.拉长的s&#xff08;‌∫&#xff09;‌3.数列中的e4. N:非负整数集合或自然数集合{0,1,2,3,…n} 一、希腊字母 Ω ω&#xff1a;欧米伽 Omega。 ∑ σ&#xff1a;西格玛 Sigma。 作用&#xff1a;是一个求和符号&#xf…

滑动窗口专题——找到所有字母的异位词

一、题目解析&#xff1a; 题意如图 二、算法分析 本题依旧是两种方法&#xff1a;暴力枚举、滑动窗口 暴力枚举&#xff1a; 枚举出所有的字串进行比较&#xff0c;符合则记录位置&#xff0c;最终返回结果数组。 滑动窗口哈希表&#xff1a; 思路&#xff1a;1、初始化左…

怎么区分Alpha因子和风险因子?

这是一个絮絮叨叨的专题系列&#xff0c;跟大伙儿唠一唠量化相关的小问题&#xff0c;有感而发写到哪算哪&#xff0c;这是第3期&#xff0c;来唠个14块钱的~ 不知大伙儿有木有这样的疑惑&#xff1f; 看到Barra里面有Size、Liquid等因子&#xff0c;这些因子同样出现在很多人的…

【Redis】String字符串

目录 String字符串 常见命令 SET GET MSET MGET SETNX 计数命令 INCR INCRBY DECY DECYBY INCRBYFLOAT 其他命令 APPEND GETRANGE SETRANGE STRLEN 内部编码 String类型的典型使用场景 缓存(Cache)功能 计数功能 共享会话(Session) String字符串 字符…

bat批处理文件 —— 用于自动化环境配置和项目执行

文章目录 一、什么是 bat &#xff1f;1.1、支持 bat 的编辑软件1.2、常用命令 三、项目实战3.1、入门案例3.2、&#xff08;自动化&#xff09;环境配置与python库安装3.3、将 bat 当成一个简易的 .exe 可执行文件 四、标识符详解4.1、rem&#xff1a;添加注释4.2、echo off&a…

网工内推 | 上市公司IT工程师,最高15薪,周末双休

01 上海索辰信息科技股份有限公司 &#x1f537;招聘岗位&#xff1a;IT工程师 &#x1f537;岗位职责&#xff1a; 1、熟悉代码研发类企业的内部信息化管理&#xff0c;参与公司自主开发系统的规划和建设&#xff0c;搭建高级别内部信息安全体系&#xff0c;对内部信息的安全…

【practise】删除有序数组中的重复项

关于博主&#xff1a; 今天分享一道简单的关于“双指针”算法的题目。算是双指针中非常基础的题目&#xff0c;有兴趣可以借鉴一波~ 目录 1.题目介绍2.题解思路&#xff1a;双指针法3.代码示例 1.题目介绍 题目链接&#xff1a;LINK 本题要求是&#xff1a;对给定的有序数组…

Android中的沉浸式丝滑转场之共享元素转场动画

文章目录 1. 介绍2. 实现方法3. 举例演示3.1 举例一&#xff1a;普通页面间共享元素转场动画3.2 举例二&#xff1a;列表页面共享元素转场动画 4. 总结 1. 介绍 在Android开发中&#xff0c;经常会有页面转场的动画效果。普通的转场动画不过是左进右出&#xff0c;渐显渐隐&am…

树莓派4B学习笔记24:Python_SYN6288语音模块的控制函数

今日继续学习树莓派4B 4G&#xff1a;&#xff08;Raspberry Pi&#xff0c;简称RPi或RasPi&#xff09; 本人所用树莓派4B 装载的系统与版本如下: 版本可用命令 (lsb_release -a) 查询: ​ Opencv 版本是4.5.1&#xff1a; ​ Python 版本3.7.3&#xff1a; 今日学习SYN6288语…

叛逆,批判

1、对以往说法的批判之一&#xff08;第一次这么公开批判是2004-2005年&#xff09;&#xff1a; 这部英文版的《数学百科全书》似乎是从俄语版翻译过来的&#xff1f;我查了三本引用的图书文献&#xff0c;都没有关于“nonsingular”和“singular”的类似下面的说法&#xff…

加密市场再遭重创:多重利空因素引发超10亿美元抛售潮

四年前的全球“熔断潮”仿佛还在眼前&#xff0c;如今金融市场再度迎来剧烈震荡&#xff0c;全球股市与加密货币市场遭遇多重利空冲击&#xff0c;尤其是比特币和以太坊的闪崩使得市场恐慌情绪蔓延。这个“黑色星期一”不仅见证了股市的跳水&#xff0c;还标志着加密市场的又一…

每日学习笔记:C++ STL算法之已排序区间算法

目录 查找元素 检查某个元素是否存在: binary_search(beg, end, value) binary_search(beg, end, value, op) 检查数个元素是否存在&#xff1a; includes(beg, end, searchBeg, searchEnd) includes(beg, end, searchBeg, searchEnd, op) ​编辑 查找第一个或最后一…

网安新声 | 微软蓝屏事件安全启示录

网安加社区【网安新声】栏目&#xff0c;汇聚网络安全领域的权威专家与资深学者&#xff0c;紧跟当下热点安全事件、剖析前沿技术动态及政策导向&#xff0c;以专业视野和前瞻洞察&#xff0c;引领行业共同探讨并应对新挑战的策略与可行路径。 2024年7月19日&#xff0c;微软发…

搭建Mysql主从架构

一、主从 1、备份的三种类型 热备份逻辑备份物理备份 二、集群 1、概述 高可用集群&#xff08;HA&#xff09;是指通过特殊软件&#xff0c;把独立的服务器连接起来&#xff0c;组成一个能够提供故障间切换功能的集群。 2、标准 可用性级别 年宕机时间 描述 99% 3.65天 …