python中的Quene使用方法，包含多线程和多进程

news2024/11/15 16:39:42

在Python中，队列（Queue）是一种抽象的数据类型，它遵循先进先出（FIFO）的原则。队列是一种特殊的线性表，只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作。

Python标准库中的queue模块提供了多种队列的实现，包括：

  1. Queue：这是一个简单的队列类，可以用来实现先进先出的数据结构。
  2. LifoQueue：这是一个后进先出（LIFO）的数据结构，与栈类似。
  3. PriorityQueue：这是一个优先级队列，可以根据元素的优先级进行排序。

下面是一个使用queue.Queue的简单示例：

import queue

# 创建一个队列
q = queue.Queue()

# 向队列中添加元素
for i in range(5):
    q.put(i)

# 从队列中获取元素，它会按照先进先出的原则返回元素
while not q.empty():
    print(q.get())

输出：

0
1
2
3
4

queue.Queue还提供了其他一些有用的方法，如q.full()（检查队列是否已满）、q.maxsize`（获取队列的最大大小）等。此外，它还支持线程安全，可以在多线程环境中安全地使用。

属性和方法以及用法

  • qsize()：返回队列中的元素个数。
import queue

# 创建一个队列
q = queue.Queue()

# 向队列中添加元素
q.put("item1")
q.put("item2")
q.put("item3")

# 获取队列中的元素个数
size = q.qsize()
print("队列大小:", size)

运行结果：
在这里插入图片描述

  • mutex：返回队列的锁对象，用于多线程环境中的同步操作。通过使用mutex属性，可以确保在多线程访问队列时，对队列的操作是线程安全的。代码如下：
import queue
import threading

# 创建一个队列和锁对象
q = queue.Queue()
mutex = q.mutex


# 定义一个线程函数，用于向队列中添加元素
def add_item(item):
    with mutex:
        q.put(item)

    # 定义一个线程函数，用于从队列中获取元素


def get_item():
    with mutex:
        item = q.get()
        return item

    # 创建两个线程，分别执行添加和获取操作


thread1 = threading.Thread(target=add_item, args=("item1",))
thread2 = threading.Thread(target=get_item)

# 启动线程
thread1.start()
thread2.start()

# 等待线程结束
thread1.join()
thread2.join()
  • not_full()：如果队列未满，则返回True，否则返回False。
  • maxsize（可选参数，默认为0，用于设定队列长度。maxsize小于等于0表示队列长度无限。）
  • put(item, block=True, timeout=None)（在队尾插入一个项目。如果block参数为True（默认值），且队列为空，该方法会阻塞直到有空间可用。如果timeout参数提供，该方法在等待时有超时限制。如果队列已满且block为False，将引发Full异常。）
import queue  
  
# 创建一个队列  
q = queue.Queue()  
  
# 向队列中添加元素  
for i in range(5):  
    q.put(i)  
  
# 获取队列的大小  
size = q.qsize()  
print("队列大小:", size)  
  
# 从队列中获取元素并打印  
while not q.empty():  
    item = q.get()  
    print(item)
  • get(block=True, timeout=None)（从队头删除并返回一个项目。如果block参数为True（默认值），且队列为空，该方法会阻塞直到有项目可用。如果timeout参数提供，该方法在等待时有超时限制。如果队列为空且block为False，将引发Empty异常。）
  • empty()（检查队列是否为空，返回True如果队列为空，否则返回False。）
import queue

# 创建一个队列
q = queue.Queue()
# 检查队列是否为空
if q.empty():
    print("队列为空")
else:
    print("队列非空")

# 向队列中添加元素
q.put("item1")
q.put("item2")

# 检查队列是否为空
if q.empty():
    print("队列为空")
else:  
    print("队列非空")
  • full()（检查队列是否已满。如果队列已满，返回True，否则返回False。）
import queue

# 创建一个队列，容量为3
q = queue.Queue(maxsize=3)

# 向队列中添加元素
for i in range(5):
    try:
        q.put(i, block=False)
    except queue.Full:
        print("队列已满，添加元素失败")

# 检查队列是否已满
if q.full():
    print("队列已满")
else:
    print("队列未满")

运行结果：
在这里插入图片描述

  • get_nowait()：与get()方法类似，但不进行阻塞等待。如果队列为空，将引发Empty异常。
import queue

q = queue.Queue()

try:
    item = q.get_nowait()
except queue.Empty:
    print("队列为空，无法获取元素。")

在这里插入图片描述

  • put_nowait()：与put()方法类似，但不进行阻塞等待。如果队列已满，将引发Full异常。
import queue

q = queue.Queue(maxsize=3)

try:
    q.put_nowait("item")
    q.put_nowait("item1")
    q.put_nowait("item2")
    q.put_nowait("item3")

except queue.Full:
    print("队列已满，无法添加元素。")

在这里插入图片描述

  • join()：Queue.join() 是 Python 的 queue 模块中的一个方法，用于阻塞当前线程，直到队列中的所有任务都已完成处理。

当你使用多线程或多进程从队列中获取并处理任务时，Queue.join() 方法可以确保主线程等待所有任务都已完成后再继续执行。这样可以避免因任务未完成而导致主线程提前结束。

多线程中的Quene

task_done() 是 Python 的 queue 模块中的一个方法，用于标记队列中的一个任务已经完成。

当多个线程或进程同时从队列中获取任务并处理时，可以使用 task_done() 方法来通知队列中已经完成了一个任务。这有助于确保队列中的任务能够被正确地处理，并且可以避免出现死锁或阻塞的情况。

代码如下：

import queue
import threading
import time

# 创建一个队列
q = queue.Queue()


# 定义一个生产者线程函数，将数据添加到队列中
def producer(thread_id):
    for i in range(5):
        print(f"生产者 {thread_id} 生产了 {i}")
        q.put(i)
        time.sleep(1)

    # 定义一个消费者线程函数，从队列中获取数据并处理


def consumer(thread_id):
    while True:
        item = q.get()
        print(f"消费者 {thread_id} 消费了 {item}")
        time.sleep(1)
        q.task_done()

    # 创建生产者线程


threads = []
for i in range(2):
    t = threading.Thread(target=producer, args=(i,))
    threads.append(t)
    t.start()

# 创建消费者线程
for i in range(3):
    t = threading.Thread(target=consumer, args=(i,))
    threads.append(t)
    t.start()

# 等待所有任务完成
q.join()

运行结果：
在这里插入图片描述

如果使用get_nowait，应该怎么写呢？代码如下：

import queue
import threading
import time

# 创建一个队列
q = queue.Queue()


# 定义一个生产者线程函数，将数据添加到队列中
def producer(thread_id):
    for i in range(5):
        print(f"生产者 {thread_id} 生产了 {i}")
        q.put(i)
        time.sleep(1)

    # 定义一个消费者线程函数，从队列中获取数据并处理


def consumer(thread_id):
    while True:
        try:
            item = q.get_nowait()
            print(f"消费者 {thread_id} 消费了 {item}")
            time.sleep(1)
        except queue.Empty:
            print("队列为空，无法获取元素。")
            pass
        time.sleep(1)


    # 创建生产者线程


threads = []
for i in range(2):
    t = threading.Thread(target=producer, args=(i,))
    threads.append(t)
    t.start()

# 创建消费者线程
for i in range(3):
    t = threading.Thread(target=consumer, args=(i,))
    threads.append(t)
    t.start()

# 等待所有任务完成
q.join()

在这里插入图片描述

多进程中的Quene

在Python的multiprocessing模块中，Queue是一个进程安全的队列类，它允许在多个进程之间进行安全的通信。这个队列是基于Python标准库中的queue模块实现的，并添加了多进程的支持。

多进程存，主线程取

import multiprocessing
import time

def worker(q, num):
    """ Worker function that puts data into the queue. """
    for i in range(5):
        print(f"Worker {num} produced {i}")
        q.put(i)
    q.put("STOP")  # 用于告诉主进程所有工作已经完成

if __name__ == "__main__":
    q = multiprocessing.Queue()  # 创建一个队列对象
    processes = []
    for i in range(3):  # 创建3个工作进程
        p = multiprocessing.Process(target=worker, args=(q, i))
        processes.append(p)
        p.start()
    
    while True:
        item = q.get()  # 从队列中获取数据
        if item == "STOP":  # 如果获取到"STOP"，则所有工作进程已经完成
            break
        print(f"Main process consumed {item}")
    
    for p in processes:  # 等待所有工作进程结束
        p.join()

运行结果：
在这里插入图片描述

在这个示例中，我们创建了一个Queue对象q，并创建了三个工作进程。每个工作进程将数据添加到队列中，主进程从队列中获取数据并处理。当工作进程完成所有任务后，它会在队列中放置一个"STOP"标记，主进程通过检查这个标记来知道所有工作进程已经完成。最后，主进程等待所有工作进程结束。

注意，在使用multiprocessing.Queue时，你需要确保传递给子进程的队列对象是通过multiprocessing.Queue()创建的，而不是通过标准库中的queue.Queue()创建的。因为标准库中的queue.Queue不是线程安全的，也不支持多进程。

多进程存，多进程取

import multiprocessing
import time


def worker(q, num):
    for i in range(5):
        print(f"Worker {num} produced {i}")
        q.put(i)

def get_item(q):
    while True:
        item = q.get()  # 从队列中获取数据
        print(f"get process consumed {item}")


if __name__ == "__main__":
    q = multiprocessing.Queue()  # 创建一个队列对象
    processes = []
    for i in range(3):  # 创建3个工作进程
        p = multiprocessing.Process(target=worker, args=(q, i))
        processes.append(p)
        p.start()

    for i in range(3):  # 创建3个工作进程
        p = multiprocessing.Process(target=get_item,args=(q,))
        processes.append(p)
        p.start()


    for p in processes:  # 等待所有工作进程结束
        p.join()

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1380783.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Web前端 ---- 【Vue3】ref和reactive实现响应式的区别和联系

Web前端 ---- 【Vue3】ref和reactive实现响应式的区别和联系

目录 前言 setup ref 基本数据类型 对象形式 reactive ref和reactive的区别与联系 前言 本文介绍函数ref和函数reactive实现响应式 setup 在介绍ref和reactive之前，先介绍setup,vue3新引入的配置项。在该配置项中，在vue2中的data、methods、comput…
阅读更多...
DNS 正/反向解析 主从复制 分离解析

DNS 正/反向解析 主从复制 分离解析

一 DNS概念它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网 每一台 DNS 服务器都只负责管理一个有限范围 根域: 全球根服务器节点只有13个,10个在美国，1个荷兰，1个瑞典，1个日本 一级域名&#xff…
阅读更多...
stm32学习笔记：DMA

stm32学习笔记：DMA

每个DMA通道硬件触发源是不一样的，要使用某个外设的硬件触发源，就必须使用它连接的那个通道 12个独立可配置的通道：DMA1(7个通道)，DMA2(5个通道) 每个通道都支持软件触发和特定的硬件触发 C8T6 DMA资源：DMA1 &#xff…
阅读更多...
MSF流量加密

MSF流量加密

1、背景介绍 在MSF中生成shell，并上线运行时。都是通过http https tcp等协议传输。虽然MSF本身会对流量进行加密，但MSF太出名以致于其加密特征容易被IPS，WAF等可以检测带有攻击的特征的设备拦截或记录。 2、生成 SSL 证书 openssl req -x50…
阅读更多...
vue前端开发自学,借助KeepAlive标签保持组件的存活

vue前端开发自学,借助KeepAlive标签保持组件的存活

vue前端开发自学,借助KeepAlive标签保持组件的存活&#xff01;如果不想让组件在切换的时候&#xff0c;被默认操作&#xff08;卸载掉了&#xff09;。他们需要使用这个这个表情哦。 下面给大家看看代码情况。 <template><h3>ComA</h3><p>{{ messag…
阅读更多...
Arduino开发实例-AS608光学指纹传感器驱动

Arduino开发实例-AS608光学指纹传感器驱动

AS608光学指纹传感器驱动 文章目录 AS608光学指纹传感器驱动1、AS608光学指纹传感器介绍2、硬件准备及接线3、代码实现3.1 指纹录入3.2 指纹匹配验证1、AS608光学指纹传感器介绍 AS608 光学指纹传感器可用于扫描指纹，它也可以通过串行通信将处理后的数据发送到微控制器。 所有…
阅读更多...
浏览器深色模式

浏览器深色模式

1、Edge强制深色模式 1、先在edge里设定成深色模式 设置浏览器中的深色设置 但这种方式设置后很多网站仍是白色的背景 2、实验室设置强制深色 网址栏 输入 edge://flags搜索 dark 选择 enabled 重启 2、Chrome强制深色模式 浏览器输入 Chrome深色设置 chrome://flags/#…
阅读更多...
基于WebSocket双向通信技术实现-下单提醒和催单（后端）

基于WebSocket双向通信技术实现-下单提醒和催单（后端）

学习复盘和总结项目亮点。 扩展&#xff1a;该功能能应用在&#xff0c;各种服务类项目中。&#xff08;例如&#xff1a;酒店、洗脚城等系ERP系中提醒类服务&#xff09; 4. 来单提醒 4.1 需求分析和设计 用户下单并且支付成功后&#xff0c;需要第一时间通知外卖商家。通…
阅读更多...
Deit:知识蒸馏与vit的结合 学习笔记（附代码）

Deit:知识蒸馏与vit的结合 学习笔记（附代码）

论文地址&#xff1a;https://arxiv.org/abs/2012.12877 代码地址&#xff1a;GitHub - facebookresearch/deit: Official DeiT repository 1.是什么&#xff1f; DeiT&#xff08;Data-efficient Image Transformer&#xff09;是一种用于图像分类任务的神经网络模型&#…
阅读更多...
软件测试|教你使用Python绘制正多边形

软件测试|教你使用Python绘制正多边形

简介 绘制正多边形是Python图形编程的基本任务之一。在本文中&#xff0c;我将为你提供一个使用Python绘制正多边形的详细教程&#xff0c;并提供一个示例代码。我们将使用Python的Turtle库来进行绘制。 步骤1&#xff1a;导入Turtle库 我们需要先安装好Python环境&#xff…
阅读更多...
PyTorch Tutorial

PyTorch Tutorial

本文作为博客“Transformer - Attention is all you need 论文阅读”的补充内容&#xff0c;阅读的内容来自于 https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html#recommended-preparation 建议的准备流程。 Deep Learning with PyTorch: …
阅读更多...
Linux第21步_取消鼠标中键的复制粘贴功能

Linux第21步_取消鼠标中键的复制粘贴功能

在ubuntu18.04操作系统中&#xff0c;选中文本后&#xff0c;若按下鼠标中键&#xff0c;就可以执行复制粘贴&#xff0c;相当于 CtrlshiftC 后又按了 CtrlshiftV。在Linux系统中&#xff0c;基本上都是这么配置的。在windows系统中&#xff0c;我们习惯用Ctrl-C复制&#xff0…
阅读更多...
POSTGRESQL中ETL、fdw的平行替换

POSTGRESQL中ETL、fdw的平行替换

POSTGRESQL中ETL、fdw的平行替换 01、简介 “ 在我前两次的文章中&#xff0c;说到postgresql对于python的支持&#xff0c;其实很多功能也就可以封装进入的postgresql数据库中去。比如fdw、etl等&#xff0c;本文将以此为叙述点&#xff0c;进行演示展示” 在postgresql数据…
阅读更多...
好用的便签有哪些？windows便签工具在哪打开？

好用的便签有哪些？windows便签工具在哪打开？

每当我8点准时上班&#xff0c;在等待电脑开机的过程&#xff0c;我都会习惯性地思考整理今天要晚上的任务&#xff0c;列出所要完成的待办事项。随着每一项任务的清晰呈现&#xff0c;我的心情也逐渐明朗起来。当然了&#xff0c;这个时候&#xff0c;我迫切需要一款好用的便签…
阅读更多...
大数据赋能电竞出海企业发展

大数据赋能电竞出海企业发展

近几年电竞行业发展迅速&#xff0c;我国单2022年新增近4万家电竞相关企业&#xff0c;竞争十分激烈。中国电竞市场规模在全球占比19%左右&#xff0c;海外有巨大的增量市场&#xff0c;特别是东南亚、中南亚和拉丁美洲是电竞市场增长最快的地区&#xff0c;在2020至2025年期间…
阅读更多...
【微信小程序独立开发2】授权登录 上

【微信小程序独立开发2】授权登录 上

前言&#xff1a;这一节设想完成的功能为进入小程序后请求授权信息&#xff0c;用户授权登录后&#xff0c;弹出宠物登记页面&#xff0c;并根据宠物类型播放背景音乐 小程序昵称头像在之前的版本获取规则为触发后弹出用户授权弹窗&#xff0c;授权后可直接获取用户头像和昵称&…
阅读更多...
DCP文件传输的重要性与应用

DCP文件传输的重要性与应用

在数字时代&#xff0c;文件传输已成为商业运作中不可或缺的一环。随着企业越来越多地采用云基础设施和服务&#xff0c;有效地在云和团队之间传输大文件和数据集变得至关重要。在这一背景下&#xff0c;数据复制协议&#xff08;DCP&#xff09;文件传输应运而生&#xff0c;引…
阅读更多...
Web实战丨基于django+html+css+js的电子商务网站

Web实战丨基于django+html+css+js的电子商务网站

文章目录 写在前面实验目标需求分析实验内容安装依赖库1.登陆界面2.注册界面3.电子商城界面4.其他界面 运行结果写在后面 写在前面 本期内容&#xff1a;基于DjangoHTMLCSSJS的电子商务网站 实验环境&#xff1a; vscode或pycharmpython(3.11.4)django 代码下载地址&#x…
阅读更多...
【分布式技术】监控平台zabbix介绍与部署

【分布式技术】监控平台zabbix介绍与部署

目录 一、为什么要做监控&#xff1f; 二、zabbix是什么&#xff1f; 三、zabbix有哪些组件&#xff1f; ​编辑Zabbix 6.0 功能组件&#xff1a; ●Zabbix Server ●数据库 ●Web 界面 ●Zabbix Agent ●Zabbix Proxy ●Java Gateway 四、zabbix的工作原理&#xf…
阅读更多...
GNSS差分码偏差（DCB）原理学习与数据下载地址

GNSS差分码偏差（DCB）原理学习与数据下载地址

一、DCB原理 GNSS差分码偏差&#xff08;DCB&#xff0c;Differential Code Bias&#xff09;是由不同类型的GNSS信号在卫星和接收机不同通道产生的时间延迟&#xff08;硬件延迟/码偏差&#xff09;差异&#xff0c;按照频率相同或者不同又可以细分为频内偏差&#xff08;例如…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023