GMP调度模型

news2024/12/23 5:50:44

GMP的发展: go 1.1版本之前时候过使用的是GM模型+全局队列的模式。

GM模型+全局队列的模式

M:1 = 内核线程:协程

新建一个协程G的时候会放入全局队列中,每次执行一个协程G的时候,内核线程M会从全局队列中获取一个协程G执行,因为内核线程M存在多个所以存在并发问题,因此每次从队列中取协程G的时候都要加锁,所以当高并发的时候就会存在性能问题。

解决办法:给内核线程分配一个协程队列

GMP模型 + 全局队列

M:N:=内核线程 :协程

p的个数对应的是设置的内核个数

GMP模型

G -> goroutine(协程)

P -> Processor 调度器(如果线程想运行goroutine,必须先获取P,P中还包含了可运行的G队列)(注意不是cpu)

M -> thread 内核线程(每个M都代表了1个内核线程,OS调度器负责把内核线程分配到CPU的核上执行。)

模型简介

调度器的设计策略

并行(多核多线程来实现并行)、抢占(限定G与M的绑定时间,最多10ms,超过时间解绑,避免其他协程饥饿)、复用线程(偷取 + 分离)、减少全局竞争

有多个P M来执行多个G;p本地队列最多256g

新建一个协程G会优先放到本队队列中,如果本队队列P满了,则会把G放入到全局队列中,本地队列为空的时候,就会从全局队列中获取,如果全局队列为空的话,就会从其他队里中拿协程到自己的本地队列中。如果中途携程阻塞了,本地队列会在其他的内核线程上运行。

注意:M的数量和P的数量没有关系。如果当前的M阻塞,P的goroutine会运行在其他的M上,或者新建一个M。所以可能出现有很多个M,只有1个P的情况。

“go func()”经历了什么过程

调度器的生命周期

GO生命周期:创建、保存、被获取、调度执行、阻塞、销毁

CPU感知不到协程,GO调度器把协程调度到内核线程上去,然后操作系统调度器将内核线程放到cpu上执行;m是内核线程的封装。go调度器工作就是将G分配到M

M的几种状态:休眠(未绑定P)、运行、自旋(绑定了p 只是没有可执行G)。

运行+自旋<= gomaxproc数量

需要注意的点:

M和P不是绝对的1:1 ,有G阻塞的时候,M也会阻塞,会有新的M来继续执行P队中的G

p队列是先进先出

work stealing时,从偷取的P那里,取尾部的一半放到自己的P中

从全局队列中取时,取n个,len(GQ)为全局队列G的个数,公式: n = min(len(GQ)/GOMAXPROCS + 1, len(GQ/2))

本地队列满了,又创建新的G,此时把本地队列的前一半与新创建的G,打乱后,一起放到全局队列中

自旋线程的最大限制不能超过GOMAXPROCS,多出的线程休眠(⻓时间休眠等待GC回收销毁)

原文链接:https://blog.csdn.net/qq_42956653/article/details/121234816

扩展

  1. 如何控制同一时间的并发执行数,不能让程序崩溃?

(1)使用sync.WaitGroup控制协程数量。不是动态控制法,只是控制并发了

(2)使用sync.Mutex控制协程数量 ,这个待验证

(3) 使用带缓冲的通道限制并发数 。创建chan的时候手动设置缓存: c:=make(chan int, 2), 在协程创建前写入chan在协程结束前读出chan,达到限制并发数的需求

有关M和P的个数问题

  1. P的数量:

  • 由启动时环境变量 $GOMAXPROCS 或者是由 runtime 的方法 GOMAXPROCS() 决定。这意味着在程序执行的任意时刻都只有 $GOMAXPROCS 个 goroutine 在同时运行。

  1. M的数量:

  • go 语言本身的限制:go 程序启动时,会设置 M 的最大数量,默认 10000. 但是内核很难支持这么多的线程数,所以这个限制可以忽略。

  • runtime/debug 中的 SetMaxThreads 函数,设置 M 的最大数量

  • 一个 M 阻塞了,会创建新的 M。

M 与 P 的数量没有绝对关系,一个 M 阻塞,P 就会去创建或者切换另一个 M,所以,即使 P 的默认数量是 1,也有可能会创建很多个 M 出来。

P 和 M 何时会被创建?

  1. 在确定了 P 的最大数量 n 后,运行时系统会根据这个数量创建 n 个 P。

  1. 没有足够的 M 来关联 P 并运行其中的可运行的 G。比如所有的 M 此时都阻塞住了,而 P 中还有很多就绪任务,就会去寻找空闲的 M,而没有空闲的,就会去创建新的 M。

调度器的设计策略?

复用线程:避免频繁的创建、销毁线程,而是对线程的复用。

  1. work stealing 机制

  • 当本线程无可运行的 G 时,尝试从其他线程绑定的 P 偷取 G,而不是销毁线程。

  1. hand off 机制

  • 当本线程因为 G 进行系统调用阻塞时,线程释放绑定的 P,把 P 转移给其他空闲的线程执行。

利用并行:GOMAXPROCS 设置 P 的数量,最多有 GOMAXPROCS 个线程分布在多个 CPU 上同时运行。GOMAXPROCS 也限制了并发的程度,比如 GOMAXPROCS = 核数/2,则最多利用了一半的 CPU 核进行并行。

抢占:在 coroutine 中要等待一个协程主动让出 CPU 才执行下一个协程,在 Go 中,一个 goroutine 最多占用 CPU 10ms,防止其他 goroutine 被饿死,这就是 goroutine 不同于 coroutine 的一个地方。

全局 G 队列:,当 M 执行 work stealing 从其他 P 偷不到 G 时,它可以从全局 G 队列获取 G。

调度器的生命周期?

M0

M0 是启动程序后的编号为 0 的主线程,这个 M 对应的实例会在全局变量 runtime.m0 中,不需要在 heap 上分配,M0 负责执行初始化操作和启动第一个 G, 在之后 M0 就和其他的 M 一样了。

G0

G0 是每次启动一个 M 都会第一个创建的 gourtine,G0 仅用于负责调度的 G,G0 不指向任何可执行的函数,每个 M 都会有一个自己的 G0。在调度或系统调用时会使用 G0 的栈空间,全局变量的 G0 是 M0 的 G0。

可视化 GMP 编程?

方式 1:go tool trace 方式 2:Debug trace

更多详情点击查看点击这里

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/190392.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Dataset and DataLoader 加载数据集

文章目录7、Dataset and DataLoader 加载数据集7.1 Revision7.1.1 Manual data feed 手动数据输入7.1.2 Epoch, Batch-Size, Iterations7.2 DataLoader 数据加载器7.3 Dataset 数据集7.3.1 import7.3.2 class7.3.3 DataLoader7.4 Example: Diabetes Dataset7.4.1 Prepare datas…

【微服务】Seata的部署和集成

Seata的部署和集成一、部署Seata的tc-server1.下载2.解压3.修改配置4.在nacos添加配置5.创建数据库表6.启动TC服务二、微服务集成seata1.引入依赖2.修改配置文件三、TC服务的高可用和异地容灾1.模拟异地容灾的TC集群2.将事务组映射配置到nacos3.微服务读取nacos配置一、部署Sea…

【Redis】.net core 3.1 Redis安装和简单使用

Redis&#xff08;Remote Dictionary Server )&#xff0c;即远程字典服务&#xff0c;是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库&#xff0c;并提供多种语言的API。 简单来说&#xff0c;就是一个键值对数据库。 Redis支持的…

DynaSLAM-5 DynaSLAM中Mask R-CNN部分源码解析(Ⅳ)

目录 1.ROIAlign层 2.Mask分支 3.整体框架回顾 1.ROIAlign层 在上文中&#xff0c;我们现在手里已经有了正负样本数据以及它们对应的标签。接下来我们就要进行预测的操作了&#xff01; 但在预测之前&#xff0c;还有些小问题&#xff1a; ①每个ROI大小也不一样&#xff0c…

Biotin-SS-Sulfo-NHS;CAS:325143-98-4;生物素-二硫键-磺酸-活性酯

名称&#xff1a;生物素-二硫键-磺酸-活性酯 英文名称&#xff1a;Biotin-SS-Sulfo-NHS CAS:325143-98-4 分子式&#xff1a;C19H27N4NaO9S4 分子量&#xff1a;606.67 外观&#xff1a;白色固体或粘稠液体&#xff0c;取决于分子量大小 溶剂&#xff1a;溶于大部分有机溶…

JVM自动内存管理核心知识速览

目录运行时数据区程序计数器Java虚拟机栈本地方法栈Java堆方法区运行时常量池直接内存对象对象的创建类加载检查分配内存指针碰撞&#xff08;Bump The Pointer&#xff09;空闲列表&#xff08;Free List&#xff09;内存分配并发问题初始化值设置对象头执行init方法对象的内存…

一、Qt汽车仪表盘之绘制背景-绘制饼图

一、绘图坐标系分析 1、坐标系平移 1、从原来的坐标系中心移动到矩形仪表盘中心&#xff0c;相对应的坐标会发生变化。 2、了解绘制饼图的含义 &#xff08;1&#xff09;坐标系平移之后坐标变化 &#xff08;2&#xff09;绘制第一个饼图效果 第一个饼图&#xff1a;坐标…

[COMST 2022] 元宇宙的安全隐私问题

A Survey on Metaverse: Fundamentals, Security, and Privacyhttps://ieeexplore.ieee.org/abstract/document/9880528摘要元宇宙&#xff0c;作为下一代互联网的一个不断发展的范式&#xff0c;旨在建立一个完全沉浸式、超时空、自我维持的虚拟共享空间&#xff0c;供人类玩耍…

进销存ERP源码/ 进销存APP源码/小程序ERP系统/Thinkphp+Uniapp全开源销售进库出入库

框架&#xff1a;ThinkPHP5.0.24 uniapp 包含:服务端php全套开源源码&#xff0c;uniapp前端全套开源源码&#xff08;可发布H5/android/iod/微信小程序/抖音小程序/支付宝/百度小程序&#xff09; 注&#xff1a;这个是全开源&#xff0c;随便你怎么开&#xff0c;怎么来&…

JUC并发编程之SynchronousQueue的底层原理

作者简介&#xff1a;专注于研究Linux内核、Hotspot虚拟机、汇编语言、JDK源码、各大中间件源码等等喜欢的话&#xff0c;可以三连关注~SynchronousQueue是什么在JDK源码中JUC包下的并发编程阻塞/同步队列实现各种花样&#xff0c;但是队列的实现无非是。先进先出&#xff0c;后…

程序员必备的Linux命令——文件及目录命令

Linux命令就是我们对Linux系统进行管理的操作指令。类似于我们操作windows系统中可视化的各种操作动作。 在Linux系统中&#xff0c;我们任何东西都被认做是文件&#xff0c;比如cpu、内存、键盘以及用户全是文件。Linux命令类似于之前的DOS命令。 Linux系统中命令分为两种&a…

ORB-SLAM3算法和代码学习——系统初始化浅谈

总述 先放一张LocalMapping的代码结构图 相比于ORB-SLAM2&#xff0c;ORB-SLAM3的系统初始化分成了三个主要的模块&#xff1a;纯视觉初始化、纯IMU初始化、视觉和IMU联合优化。 纯视觉初始化和之前一样就是单目或者双目初始化&#xff0c;在Tracking线程中进行&#xff1b…

js数据结构之栈

1.栈数据结构 栈是一种遵从后进先出&#xff08;LIFO&#xff09;原则的有序集合。新添加或待删除的元素都保存在栈的同一端&#xff0c;称作栈顶&#xff0c;另一端就叫栈底。在栈里&#xff0c;新元素都靠近栈顶&#xff0c;旧元素都接近栈底。 在现实生活中也能发现许多栈的…

【服务器数据恢复】Raid5崩溃导致EMC存储不可用的数据恢复案例

服务器数据恢复环境&#xff1a; EMC存储&#xff0c;多块stat硬盘组建raid5磁盘阵列&#xff0c;两块热备盘&#xff0c;上层采用zfs文件系统。 服务器故障&检测&分析&#xff1a; EMC存储中的raid5磁盘阵列有2块硬盘出现故障&#xff0c;但是只有一块热备盘被激活&am…

关于原型和原型链的整理学习

关于原型和原型链是很多人学习或面试时遇到的问题&#xff0c;可能部分不懂&#xff0c;部分懂但不会说&#xff0c;下面关于原型和原型链进行简单的整理总结&#xff0c;希望可以帮助到大家。 一、JS中的原型和原型链 1、原型说明 所有的引用类型&#xff08;数组、函数、对…

【Tools】Git和VS Code配置

文章目录0 前期教程1 前言2 基本使用2.1 配置2.2 获取帮助3 GitHub仓库和git3.1 新建一个GitHub仓库3.2 删除一个仓库&#xff08;repository&#xff09;3.3 上传项目代码4 git常用指令4.1 创建分支4.2 合并分支4.3 在git提交记录上移动4.4 撤销变更4.5 整理提交记录5 在VS Co…

蓝桥杯 stm32 DAC

文章代码使用 HAL 库。 文章目录前言一、根据手册了解 DAC 重要特性 :二、CubeMX 创建工程&#xff1a;三、DAC 代码&#xff1a;1. 设置DAC输出值函数。2. 开启DAC输出函数。3. DAC 输出电压。总结前言 DAC 就是 数字模拟信号转换器 &#xff0c;也就是把 数字信号转变成模拟…

实施MES系统前,先想清楚首先用来解决什么问题

MES系统首先用来解决什么问题&#xff1f; 很多人会自然而然地认为&#xff0c;MES系统是用来解决管理问题的&#xff0c;是为了明确管理流程的&#xff0c;是为了建立管控标准的…… 甲方会有很多很多想解决的问题&#xff0c;甚至在系统导入过程中&#xff0c;各个部门也会…

vue中安装与引用echarts示例

第002个点击查看专栏目录Echarts发展到现在&#xff0c;已经陆续经过了很多版本&#xff0c;越来越完善&#xff0c;现在主要研究5.0以上的功能。这里是介绍在vue项目中&#xff0c;如果全局或者局部引用echarts&#xff0c;对项目初装echarts会起到非常大的帮助。 NPM 安装 E…

电脑文件如何自动备份?

电脑文件如何自动备份&#xff1f;计算机的出现是人类科技发展的重要标志&#xff0c;电脑已经成为我们工作、生活以及学习中必不可少的工具&#xff0c;尤其是在工作中的应用&#xff0c;它改变了以前传统的工作方式。电脑的使用给我们带来极大方便的同时&#xff0c;也带来了…