go 语言中的线程池

news2025/2/27 22:39:41

使用 goroutine 和 channel

Go 语言中并没有直接类似 Java 线程池的内建概念,但它提供了类似的功能,主要通过goroutinechannel来实现并发处理。你可以通过结合这两者来实现一个“线程池”的功能。

在 Go 中,goroutine是轻量级的线程,它由 Go 的调度器管理,可以非常容易地启动并发任务。而channel则用于在不同 goroutine 之间传递消息或同步操作。

要实现一个类似线程池的功能,你可以:

  1. 创建一个固定数量的 goroutine 来处理任务。
  2. 通过 channel 将任务传递给这些 goroutine。
  3. 使用一个 pool 来管理 goroutine 的生命周期。

以下是一个简单的例子,模拟一个固定大小的“线程池”:

package main

import (
	"fmt"
	"sync"
)

type Task struct {
	ID int
}

type WorkerPool struct {
	tasks   chan Task
	workers int
	wg      sync.WaitGroup
}

func (wp *WorkerPool) Start() {
	for i := 0; i < wp.workers; i++ {
		go wp.worker(i)
	}
}

func (wp *WorkerPool) worker(workerID int) {
	defer wp.wg.Done()
	for task := range wp.tasks {
		// 处理任务
		fmt.Printf("Worker %d is processing task %d\n", workerID, task.ID)
	}
}

func (wp *WorkerPool) AddTask(task Task) {
	wp.tasks <- task
}

func (wp *WorkerPool) Close() {
	close(wp.tasks)
	wp.wg.Wait()
}

func main() {
	// 创建一个有 3 个 worker 的池
	pool := WorkerPool{
		tasks:   make(chan Task, 10),
		workers: 3,
	}

	// 启动 worker
	pool.Start()

	// 添加任务
	for i := 1; i <= 5; i++ {
		pool.AddTask(Task{ID: i})
	}

	// 关闭并等待所有任务完成
	pool.Close()
}

在这个例子中:

  • WorkerPool 类似于一个线程池,管理多个 worker goroutine。
  • AddTask 用于将任务添加到任务队列(channel)。
  • Start 启动 worker goroutine 来处理任务。
  • Close 用于关闭任务队列并等待所有任务完成。

通过这种方式,你可以控制并发数量,避免创建过多的 goroutine,也能有效地管理任务执行。

如果你想要更灵活的线程池实现,Go 社区中也有一些第三方库,比如 ants,它提供了一个成熟的线程池实现,支持高效的资源管理和任务调度。
除了直接通过 goroutinechannel 来实现类似线程池的功能,Go 语言还有一些其他方式可以实现类似于 Java 中的线程池概念。常见的方式包括:

使用 sync.Pool

sync.Pool 是 Go 提供的一个内存池机制,通常用于对象复用。虽然它本质上并不是一个线程池,但可以用它来创建一个类似的对象池,可以有效地复用已经处理完的 goroutine 或者任务对象,从而减少创建和销毁对象的开销。

package main

import (
	"fmt"
	"sync"
)

type Task struct {
	ID int
}

func main() {
	var pool sync.Pool

	// 初始化 pool
	pool.New = func() interface{} {
		return &Task{}
	}

	// 从 pool 获取对象
	task := pool.Get().(*Task)
	task.ID = 1
	fmt.Printf("Processing task %d\n", task.ID)

	// 将对象归还给 pool
	pool.Put(task)
}

sync.Pool 主要用于复用对象,因此可以通过复用 Task 对象来减少垃圾回收的负担,但它并不提供真正的并发任务调度和执行的功能。因此,sync.Pool 更适合用来管理对象池,而不直接适用于线程池的实现。

使用第三方库(如 ants

Go 社区提供了很多成熟的第三方库来帮助实现类似 Java 线程池的并发任务管理。一个常见的库是 ants,它实现了一个高效的 goroutine 池。

通过使用 ants,你可以实现任务的并发执行和资源池管理,提供了更多的功能和性能优化。

package main

import (
	"fmt"
	"github.com/panjf2000/ants/v2"
)

func main() {
	// 创建一个线程池,最多支持 10 个并发任务
	pool, _ := ants.NewPool(10)
	defer pool.Release()

	for i := 0; i < 20; i++ {
		task := i
		pool.Submit(func() {
			// 处理任务
			fmt.Printf("Processing task %d\n", task)
		})
	}
}

在这个例子中:

  • 使用 ants.NewPool 创建一个大小为 10 的线程池,最多可以同时处理 10 个任务。
  • 使用 pool.Submit 提交任务到线程池中。
  • 任务由池中的工作 goroutine 执行。

ants 库提供了线程池的管理,包括池大小、任务调度和资源释放等功能,比直接使用 goroutine 和 channel 更加方便和高效。

通过自定义调度器管理 goroutine

另一种方式是自定义一个调度器,它可以限制同时运行的 goroutine 数量,避免系统资源被过度消耗。例如,使用一个调度器队列来管理任务的执行。

package main

import (
	"fmt"
	"sync"
	"time"
)

type Task struct {
	ID int
}

type Scheduler struct {
	taskQueue chan Task
	wg        sync.WaitGroup
}

func NewScheduler(workerCount int) *Scheduler {
	return &Scheduler{
		taskQueue: make(chan Task),
	}
}

func (s *Scheduler) Start(workerCount int) {
	for i := 0; i < workerCount; i++ {
		go s.worker(i)
	}
}

func (s *Scheduler) worker(workerID int) {
	for task := range s.taskQueue {
		// 处理任务
		fmt.Printf("Worker %d is processing task %d\n", workerID, task.ID)
		time.Sleep(time.Second) // 模拟任务执行时间
		s.wg.Done()
	}
}

func (s *Scheduler) AddTask(task Task) {
	s.wg.Add(1)
	s.taskQueue <- task
}

func (s *Scheduler) Close() {
	close(s.taskQueue)
	s.wg.Wait()
}

func main() {
	scheduler := NewScheduler(3)
	scheduler.Start(3)

	// 提交任务
	for i := 1; i <= 10; i++ {
		scheduler.AddTask(Task{ID: i})
	}

	// 等待任务完成
	scheduler.Close()
}

在这个实现中:

  • Scheduler 使用 taskQueue 管理任务,限制了同时处理任务的 goroutine 数量。
  • worker 会从 taskQueue 中取任务,并处理它。
  • AddTask 用来提交任务,Close 用来关闭任务队列并等待所有任务完成。

这种方法允许你自定义更多的调度策略,控制任务的执行和 goroutine 的管理。

总结

Go 语言本身并没有类似 Java 线程池的直接概念,但你可以使用以下几种方式来实现类似功能:

  • 通过 goroutine 和 channel 手动实现线程池。
  • 使用 sync.Pool 管理对象池。
  • 使用社区库如 ants 来高效管理 goroutine 池。
  • 自定义调度器来限制并发任务数。

根据你的需求,选择合适的方式来实现并发任务的管理。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2307068.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

从 0 到 1,用 Python 构建超实用 Web 实时聊天应用

从 0 到 1&#xff0c;用 Python 构建超实用 Web 实时聊天应用 本文深入剖析如何运用 Python 的 Flask 框架与 SocketIO 扩展&#xff0c;搭建一个功能完备的 Web 实时聊天应用。从环境搭建、前后端代码实现&#xff0c;到最终运行展示&#xff0c;逐步拆解关键步骤&#xff0…

Vue2+Element实现Excel文件上传下载预览【超详细图解】

目录 一、需求背景 二、落地实现 1.文件上传 图片示例 HTML代码 业务代码 2.文件下载 图片示例 方式一&#xff1a;代码 方式二&#xff1a;代码 3.文件预览 图片示例 方式一&#xff1a;代码 方式二&#xff1a;代码 一、需求背景 在一个愉快的年后&#xff…

[记录贴] 火绒奇怪的进程保护

最近一次更新火绒6.0到最新版&#xff0c;发现processhacker的结束进程功能无法杀掉火绒的进程&#xff0c;弹窗提示如下&#xff1a; 可能是打开进程时做了权限过滤&#xff0c;火绒注册了两个回调函数如下&#xff1a; 但奇怪的是&#xff0c;在另外一台机器上面更新到最新版…

【蓝桥杯】每天一题,理解逻辑(1/90)【Leetcode 移动零】

文章目录 题目解析讲解算法原理【双指针算法思路】(数组下标充当指针)如何划分和执行过程大致 代码详情 题目解析 题目链接&#xff1a;https://leetcode.cn/problems/move-zeroes/description/ 题目意思解析 把所有的零移动到数组的末尾保持非零元素的相对顺序 理解了这两层…

pycharm远程连接服务器运行pytorch

Linux部署pytorch 背景介绍 不同的开源代码可能需要不同的实验环境和版本&#xff0c;这时候的确体现出Anaconda管理环境的好处了&#xff0c;分别搞一个独立环境方便管理。 有的教程建议选择较旧的版本&#xff0c;但笔者建议在条件允许的情况下安装最新版&#xff0c;本次…

java练习(41)

ps&#xff1a;题目来自力扣 最接近的三数之和 给你一个长度为 n 的整数数组 nums 和 一个目标值 target。请你从 nums 中选出三个整数&#xff0c;使它们的和与 target 最接近。 返回这三个数的和。 假定每组输入只存在恰好一个解。 import java.util.Arrays;class Solut…

PDF扫描档智能方向识别:多模型投票机制的实践测试 救活古典书籍

2025-02-22 20:10物联全栈123 尊敬的诸位&#xff01;我是一名物联网工程师。关注我&#xff0c;持续分享最新物联网与AI资讯和开发实战。期望与您携手探寻物联网与 AI 的无尽可能 RAG知识库搭建的过程中&#xff0c;扫描档pdf的支持和准确率一直是个大家都不愿主动提起的事情…

轻松搭建:使用Anaconda创建虚拟环境并在PyCharm中配置

一、使用Anaconda创建虚拟环境 1. 安装Anaconda 2..conda常用的命令 3. 创建虚拟环境-以搭建MachineVision为例 4. 激活虚拟环境 5. 安装依赖包 二、PyCharm配置环境 在进行Python项目开发时&#xff0c;合理的环境管理是必不可少的&#xff0c;特别是当你在多个项目中…

驱动开发系列39 - Linux Graphics 3D 绘制流程(二)- 设置渲染管线

一:概述 Intel 的 Iris 驱动是 Mesa 中的 Gallium 驱动,主要用于 Intel Gen8+ GPU(Broadwell 及更新架构)。它负责与 i915 内核 DRM 驱动交互,并通过 Vulkan(ANV)、OpenGL(Iris Gallium)、或 OpenCL(Clover)来提供 3D 加速。在 Iris 驱动中,GPU Pipeline 设置 涉及…

MinIO整合SpringBoot实现文件上传、下载

文章目录 配置1. 部署MinIO服务2. 整合SpringBoot 功能实现1. 文件上传2. 文件下载 总结 配置 1. 部署MinIO服务 这里以docker为例&#xff1a; 安装minio命令docker run -p 9000:9000 -p 9001:9001 \ --name minio \ -v /path/to/data:/data \ -e "MINIO_ROOT_USERmin…

FreeRTOS(3)列表List

在 FreeRTOS 的源码中大量地使用了列表和列表项&#xff0c;因此想要深入学习 FreeRTOS&#xff0c;列表和列表项是必备的基础知识。这里所说的列表和列表项&#xff0c;是 FreeRTOS 源码中 List 和 List Item 的 直译&#xff0c;事实上&#xff0c; FreeRTOS 中的列表和列表项…

C++和OpenGL实现3D游戏编程【连载23】——几何着色器和法线可视化

欢迎来到zhooyu的C++和OpenGL游戏专栏,专栏连载的所有精彩内容目录详见下边链接: 🔥C++和OpenGL实现3D游戏编程【总览】 1、本节实现的内容 上一节课,我们在Blend软件中导出经纬球模型时,遇到了经纬球法线导致我们在游戏中模型光照显示问题,我们在Blender软件中可以通过…

Harmony开发笔记(未完成)

一、感想 作为一名拥有11年经验的Android开发者&#xff0c;我亲历了Android从高速发展到如今面临“僧多粥少”的过程。技术的世界瞬息万变&#xff0c;没有一种技术能够让人依赖一辈子。去年初&#xff0c;我自学了鸿蒙系统&#xff0c;并顺利通过了鸿蒙官方的初级和高级认。…

【Java面试】创建线程有哪几种方式

目录 1.继承Thread类 2.实现Runnable接口 3.实现Callable接口和FutureTask 4.使用Executor框架&#xff08;线程池&#xff09; Java并发编程中不同接口和类之间的关系 总结 1.继承Thread类 优点&#xff1a; 简单直观。直接继承Thread类&#xff0c;可以方便地使用Threa…

在Linux环境下利用MTCNN进行人脸检测(基于ncnn架构)

概述 本文将详细介绍如何在Linux环境下部署MTCNN模型进行人脸检测&#xff0c;并使用NCNN框架进行推理。 1. CMake的安装与配置 下载CMake源码 前往CMake官网下载&#xff0c;找到适合您系统的最新版本tar.gz文件链接&#xff0c;或者直接通过wget下载&#xff1a;CMake官方…

AI数字人系统源码部署解决方案!!!

一、开场白 如今&#xff0c;科技的步伐越来越快&#xff0c;数字人已经从想象中走进了我们的现实生活。它们在娱乐、教育、医疗等多个领域大放异彩。了解数字人的代码开发技术&#xff0c;能让我们更好地理解其工作原理&#xff0c;为那些想在这一领域大展拳脚或者用数字人技…

W803|联盛德|WM IoT SDK2.X测试|(1)开箱:开发板及说明

前几天关注的联盛德微电子新推出了WM IoT SDK2.X&#xff0c;正式发布后&#xff0c;邀请用户参加“免费试用&#xff0c;赢千元大礼”活动&#xff0c;填写信息&#xff0c;等待统一发送&#xff0c;很快收到了板子。 活动地址&#xff1a;联盛德微电子WM IoT SDK2.X正式发布…

2.✨java练习1(熟悉“类”)

1. A B - AcWing题库 问题描述 输入两个整数&#xff0c;求这两个整数的和是多少。 输入格式 输入两个整数A,B&#xff0c;用空格隔开 输出格式 输出一个整数&#xff0c;表示这两个数的和 数据范围 0≤A,B≤1e8 C #include <iostream> // 包含标准输入输出库 using n…

基本网络安全的实现

基本网络安全的实现 一 &#xff1a;AAA AAA 是Authentication&#xff0c;Authorization and Accounting&#xff08;认证、授权和计费&#xff09;的简 称&#xff0c;它提供了一个用来对认证、授权和计费这三种安全功能进行配置的一致性框架&#xff0c; 它是对网络安全…

快手前端通用静态托管服务KFX演进历程:从崎岖土路到平坦高速

快手静态部署托管服务&#xff08;KFX&#xff09;历经四年发展&#xff0c;经历了三个阶段&#xff0c;一步步从勉强能行车的“崎岖土路”到现在多车道并行的“平坦高速”&#xff0c;这一转变极大地提升了资源利用率和效率&#xff0c;满足业务的实际需要。本文将带你了解其背…