golang学习笔记05——golang协程池,怎么实现协程池?

news2024/11/24 22:31:27
  • 推荐学习文档
    • golang实战大纲
    • golang优秀开发常用开源库汇总
    • golang学习笔记01——基本数据类型
    • golang学习笔记02——gin框架及基本原理
    • golang学习笔记03——gin框架的核心数据结构
    • golang学习笔记04——如何真正写好Golang代码?

在这里插入图片描述

协程池是一种用于高效处理任务的机制,通过池中协程(称为 “工作者”)来并发执行任务。通过调整协程数量、使用缓冲通道、关闭协程池并监控其指标,可以优化协程池。协程池在实践中可用于处理大量并发任务、图像处理任务等,通过将任务提交给协程池,可以提高处理并发的效率。

GoLang 协程池的管理与优化

协程池概述

协程池是一种用于管理协程组的机制,它可以帮助避免创建和销毁协程的开销。协程池中的协程被称为 “工作者”,它们处理传入的任务。

协程池的好处

  • 减少协程创建的开销。
  • 提高任务处理并发度。
  • 允许任务在独立的上下文环境中执行。

协程池实现

在 GoLang 中,可以创建一个协程池来实现并发任务处理:

package main

import (
    "fmt"
    "sync"
    "time"
)

type Job struct {
    Data    int
    Result  chan int
}

func main() {
    // 创建一个有缓冲的通道用于处理任务结果
    result := make(chan int, 10)

    // 创建一个协程池
    var wg sync.WaitGroup
    pool := make(chan *Job)
    for i := 0; i < 4; i++ {
        wg.Add(1)
        go func(pool chan *Job, wg *sync.WaitGroup) {
            defer wg.Done()
            for {
                job := <-pool
                job.Result <- job.Data * job.Data
            }
        }(pool, &wg)
    }

    // 模拟任务处理
    for i := 0; i < 10; i++ {
        job := Job{
            Data:   i,
            Result: result,
        }
        pool <- &job
    }
    close(pool)

    wg.Wait()
    close(result)

    // 打印任务结果
    for r := range result {
        fmt.Println(r)
    }
}

优化协程池

以下是一些优化协程池的技巧:

  • 调整协程数量:协程数量应与系统资源和任务负载相匹配。过多或过少的协程都会影响性能。
  • 使用缓冲通道:在向协程池发送任务时,使用缓冲通道可以防止协程阻塞。
  • 关闭协程池:在不再需要协程池时,应使用 close() 函数关闭它,释放所有协程。
  • 监控协程池:使用诸如 Prometheus 之类的工具监控协程池的指标,例如协程数量和任务处理时间。

实战案例

在以下实战案例中,协程池用于处理图像处理任务:

package main

import (
    "fmt"
    "sync"
    "time"

    "image"
    "image/jpeg"
    "os"
)

type Job struct {
    ImageFile    string
    ResultImage  chan<- image.Image
}

func main() {
    resultChan := make(chan image.Image)

    // 创建一个协程池
    var wg sync.WaitGroup
    pool := make(chan *Job)
    for i := 0; i < 4; i++ {
        wg.Add(1)
        go func(pool chan *Job, wg *sync.WaitGroup) {
            defer wg.Done()
            for {
                job := <-pool
                image, err := loadAndProcessImage(job.ImageFile)
                if err != nil {
                    fmt.Println(err)
                    continue
                }
                job.ResultImage <- image
            }
        }(pool, &wg)
    }

    // 将图像处理任务提交给协程池
    for {
        imageFile, ok := <-filesChan  // 从文件通道取文件
        if !ok {
            break
        }
        job := Job{
            ImageFile:   imageFile,
            ResultImage: resultChan,
        }
        pool <- &job
    }
    close(pool)

    wg.Wait()
    close(resultChan)

    // 保存处理后的图像
    for img := range resultChan {
        outputFile, err := os.Create("p_" + imgFile)
        if err != nil {
            fmt.Println(err)
            continue
        }
        if err := jpeg.Encode(outputFile, img, &jpeg.Options{Quality: 95}); err != nil {
            fmt.Println(err)
            outputFile.Close()
            continue
        }
        outputFile.Close()
    }
}

以上就是Golang协程池的实现详细内容,关注我看更多有意思的文章哦!👉👉

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2109091.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Claude的小白入门指南

要想快速上手Claude AI&#xff0c;其实并没有那么复杂。作为新一代的AI助手&#xff0c;Claude致力于为用户提供高效、无害、透明的交互体验。这篇入门指南将从Claude AI的特点、主要功能和如何实际操作等几个方面为大家做一个详细的介绍。 Claude AI是什么&#xff1f; Claud…

ssh之登录服务器后,自动进入目录(四十七)

简介&#xff1a; CSDN博客专家、《Android系统多媒体进阶实战》一书作者 新书发布&#xff1a;《Android系统多媒体进阶实战》&#x1f680; 优质专栏&#xff1a; Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a; 多媒体系统工程师系列【…

0成本实现.NET Web API 8.0项目内网映射

1.背景 最近在学习CICD&#xff0c;里面会有用到内网映射的使用场景。为了加深对内网映射实操的记忆。我实操了下基于.Net 8.0的内网映射&#xff0c;并支持互联网访问。本文主要介绍了在win11下安装路由侠&#xff0c;并将.net 8.0发布到win11&#xff0c;项目运行、路由侠配…

【MiniMax】中国文生视频模型再添一员大将!

千呼万唤始出来&#xff01; 一直以低调示人的 MiniMax 终于举办了他们从成立以来的第一次公开伙伴日活动。 本次伙伴日上&#xff0c;MiniMax发布了 视频模型abab-video-1、音乐模型abab-music-1&#xff0c;更新 语音模型abab-speech-1。此外&#xff0c;MiniMax将在未来数周…

Windows10彻底关闭自带的防病毒功能

第1步:右下角,点开“windows安全中心” 第2步:切换到“病毒和威胁防护”,打开“管理设置” 第3步:将“实时防护”、“云提供的防护”、“自动提交样本”和“篡改防护”四个选项开关关闭。 第4步:按下win键+R键->打开“运行”窗口->输入命令“gpedit.msc”->“确…

2024国赛数学建模-模拟火算法(MATLAB 实现)

模拟退火算法 1.1 算法原理 模拟退火算法的基本思想是从一给定解开始 ,从邻域 中随机产生另一个解 ,接受 Metropolis准则允许目标函数在 有限范围内变坏 ,它由一控制参数 t决定 ,其作用类似于物 理过程中的温度 T,对于控制参数的每一取值 ,算法持续进 行“产生 —判断 —接受…

vue transition组件

可能不生效的几个注意点 选择器的优先级谨慎合并样式 显示三阶段和隐藏三阶段的class名 1、vue2中显示的初始阶段类名是&#xff1a;v-enter&#xff1b;隐藏的初始阶段类名是&#xff1a;v-leave2、v-enter-active、v-leave-active这两个 class 可以被用来定义动画的持续时间…

C# 删除Word文档中的段落

在编辑Word文档时&#xff0c;我们有时需要调整段落的布局、删除不必要的段落以优化文档的结构和阅读体验。本文将通过以下3个简单示例演示如何使用免费.NET库删除Word文档中的段落 。 目录 C# 删除Word中的指定段落 C# 删除Word中的所有段落 C# 删除Word中的空白段落 免费…

【运维监控】influxdb 2.0+telegraf 监控tomcat 8.5运行情况(2)

关于java应用的监控本系列有文章如下&#xff1a; 【运维监控】influxdb 2.0telegraf 监控tomcat 8.5运行情况 【运维监控】influxdb 2.0grafana 监控java 虚拟机以及方法耗时情况 【运维监控】Prometheusgrafana监控tomcat运行情况 【运维监控】Prometheusgrafana监控spring b…

vllm源码解析(三):块管理(BlockManager)

六 块管理器 6.1 块管理方法在调度系统中的应用 在第二篇文章对调度系统的分析中&#xff0c;我们可以看到调度系统中普遍都使用了块管理方法&#xff1a; _schedule_prefills ... # 比较当前seq需要的物理块,gpu可用物理块之间的数量关系. 决定是否能给当前seq_group分配物…

828华为云征文|部署内容管理系统 Joomla

828华为云征文&#xff5c;部署内容管理系统 Joomla 一、Flexus云服务器X实例介绍1.1 云服务器介绍1.2 应用场景1.3 核心竞争力 二、Flexus云服务器X实例配置2.1 重置密码2.2 服务器连接2.3 安全组配置 三、部署 Joomla3.1 Joomla 介绍3.2 Docker 环境搭建3.3 Joomla 部署3.4 J…

阿里中间件——diamond

一、前言 最近工作不忙闲来无事&#xff0c;仔细分析了公司整个项目架构&#xff0c;发现用到了很多阿里巴巴集团开源的框架&#xff0c;今天要介绍的是中间件diamond. 二、diamond学习笔记 1、diamond简介 diamond是一个管理持久配置&#xff08;持久配置是指配置数据会持久化…

倒计时7天!CCS2024大模型安全与产业应用创新研讨活动诚邀你来

当下&#xff0c;“人工智能”已成为催生新质生产力的重要引擎&#xff0c;大模型在加速产业升级和经济增长的同时&#xff0c;也为网络安全带来了全新的机遇与挑战。「大模型安全与产业应用创新研讨活动」由百度安全、成都无糖信息联合承办&#xff0c;特邀云安全联盟CSA大中华…

Windows用户取消共享文件夹密码方法(Method for Windows Users to Cancel Shared Folder Password)

Windows用户取消访问共享文件夹密码方法 &#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您…

IP学习——oneday

1.什么是网络&#xff1f;为什么需要网络&#xff1f; 空间&#xff0c;时间&#xff1b;传统的邮件传输要考虑到距离&#xff0c;网络解决了空间距离&#xff08;太远&#xff09;、解决了时间问题&#xff08;旧音乐等&#xff09; 云:面向客户的虚拟化服务 运营商公司主营…

【运维监控】influxdb 2.0+telegraf 监控tomcat 8.5运行情况(1)

关于java应用的监控本系列有文章如下&#xff1a; 【运维监控】influxdb 2.0telegraf 监控tomcat 8.5运行情况 【运维监控】influxdb 2.0grafana 监控java 虚拟机以及方法耗时情况 【运维监控】Prometheusgrafana监控tomcat运行情况 【运维监控】Prometheusgrafana监控spring b…

02 Flask-快速上手

创建项目文件 从电脑选择一个盘符(来存放之后学习的项目文件) 这里选择以电脑C盘的桌面来做演示 在选择的盘符里面创建一个文件夹(来保存之后的学习文件) 使用 poetry 创建一个初始配置项(pyproject.toml) 详情参考 poetry init创建虚拟环境 poetry env use python激活虚拟…

面向可信和节能的雾计算医疗决策支持系统的优化微型机器学习与可解释人工智能

这篇论文的标题为《Optimized Tiny Machine Learning and Explainable AI for Trustable and Energy-Efficient Fog-Enabled Healthcare Decision Support System》&#xff0c;发表在《International Journal of Computational Intelligence Systems》2024年第17卷&#xff0c…

Gemini的AI生图消失数月终重返!Imagen 3或成谷歌“大招”,为避免Deepfake绞尽脑汁,网友:最逼真的AI人像!

谷歌Gemini的AI生图功能在漫长的沉寂后官宣重返!并推出了重大升级后的模型Imagen 3! 此前,Gemini的这项功能因为过分注重“政治正确”而被群嘲。例如生成了黑人形象的华盛顿等等,在引起广泛争议之后,这项功能随之被禁用。 现在,谷歌对其进行了升级,并准备在“未来几天…

[数据集][目标检测]电动车头盔佩戴检测数据集VOC+YOLO格式4235张5类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;4235 标注数量(xml文件个数)&#xff1a;4235 标注数量(txt文件个数)&#xff1a;4235 标注…