Golang 的 GMP 调度机制常见问题及解答

news2025/4/1 2:04:17

文章目录

  • Golang GMP 调度模型详解
  • 常见问题
    • 基础概念
      • 1. GMP 各组件的作用是什么?
      • 2. 为什么 Go 需要自己的调度器?
      • 3. GOMAXPROCS 的作用是什么?
    • 调度流程
      • 4. Goroutine 如何被调度到 M 上执行?
      • 5. 系统调用会阻塞整个线程吗?
      • 6. 什么是自旋线程(Spinning Thread)?
    • 高级特性
      • 7. Work Stealing 如何提升性能?
      • 8. Go 如何实现抢占式调度?
      • 9. 全局队列 vs. 本地队列的优势?
      • 10. Goroutine 泄露会导致什么问题?
      • 11. 如何诊断调度器瓶颈?
      • 12. 为什么 Goroutine 比线程更高效?
    • 实战场景
      • 13. GOMAXPROCS 设为 1 会发生什么?
      • 14. 大量 Goroutine 卡在 channel 会怎样?
      • 15. 如何优化高并发下的调度性能?
  • csview 中有关 GMP 调度机制的八个问题
    • 1. 简单介绍 GMP 模型?
    • 2. 简述 GMP 的调度流程?
    • 3. P 和 M 的个数?
    • 4. P 和 M 何时被创建?
    • 5. 简述 goroutine 的创建流程?
    • 6. goroutine 何时会被挂起?
    • 7. 同时启动了一万个 goroutine,会如何调度?
    • 8. goroutine 内存泄露和处理办法?

Golang GMP 调度模型详解

Golang 的 GMP 调度模型是 Go 语言高并发能力的核心设计,由以下三个组件组成:

  • G(Goroutine):轻量级用户态线程,所占用的内存更小(初始 2 KB),由 Go 运行时管理。
  • M(Machine):操作系统线程(OS Thread),负责执行 Goroutine,与内核线程一一对应。
  • P(Processor):逻辑处理器,管理 Goroutine 队列(本地队列),充当 M 和 G 的调度上下文。

核心机制

  • 协作式调度:Goroutine 会主动让出资源(如通过 channel 阻塞或函数调用时);
  • 抢占式调度:通过系统信号抢占长时间运行的 G;
  • Work Stealing:当 P 的本地队列为空时,从其它 P 或全局窃取 G;
  • Hand Off 机制:当 G 阻塞时,M 释放 P 给其它 M 使用,避免资源浪费。
    请添加图片描述

常见问题

基础概念

1. GMP 各组件的作用是什么?

G 是轻量级的用户态线程,是执行任务的最小单元;M 是操作系统级别的线程,是实际执行 G 的线程;P 是逻辑处理器,用于管理 G 的队列,并负责提供调度上下文。

2. 为什么 Go 需要自己的调度器?

因为传统的操作系统级线程切换成本高(需要由用户态切换到内存态度),GMP 模型通过用户态调度、复用线程并减少锁竞争,支持百万级 Goroutine 并发。

3. GOMAXPROCS 的作用是什么?

设置 P 的数量(默认等于 CPU 核数),决定并行执行的 Goroutine 数量。

调度流程

4. Goroutine 如何被调度到 M 上执行?

P 将本地队列中的 G 绑定到 M,若本地队列为空,则 P 从全局队列窃取或创建新的 G。

5. 系统调用会阻塞整个线程吗?

会,但 Go 的 GMP 调度机制会将 M 与 P 解绑,P 将被分配到空闲的 M 或新创建的 M,避免 G 阻塞。

6. 什么是自旋线程(Spinning Thread)?

M 在寻找可用的 G 时不进入休眠,而是循环检查队列,减少唤醒延迟,但会占用 CPU。

高级特性

7. Work Stealing 如何提升性能?

通过分散调度压力,避免单个 P 的队列成为瓶颈,提升多核利用率。

8. Go 如何实现抢占式调度?

通过向 M 发送 SIGURG 信号,触发调度器检查并抢占运行过久的 G。

9. 全局队列 vs. 本地队列的优势?

全局队列公平但加锁,本地队列无锁但可能导致负载不均,Work Stealing 弥补了这一点。

10. Goroutine 泄露会导致什么问题?

M 和 P 资源占用增加,可能导致程序内存耗尽或调度延迟升高。

11. 如何诊断调度器瓶颈?

使用 go tool trace 查看调度延迟,或通过 GODEBUG=schedtrace=1000 输出调度信息。

12. 为什么 Goroutine 比线程更高效?

Goroutine 的栈可动态扩容,线程切换由用户态调度,避免了从用户态陷入到内核态的上下文切换开销

实战场景

13. GOMAXPROCS 设为 1 会发生什么?

所有 Goroutine 串行执行,无法利用多核,但并发逻辑仍可通过调度正常运行。

14. 大量 Goroutine 卡在 channel 会怎样?

调度器会将阻塞的 G 移出 M,M 继续执行其它 G,但过多的阻塞 G 会增加调度开销。

15. 如何优化高并发下的调度性能?

减少锁竞争(如使用局部变量)、避免过度阻塞操作、调整 GOMAXPROCS 或拆分任务。

csview 中有关 GMP 调度机制的八个问题

1. 简单介绍 GMP 模型?

G(Goroutine):是 Golang 中协程 Goroutine 的缩写,相当于操作系统中的进程控制块。G 当中存放着 goroutine 运行时的栈信息、CPU 的一些寄存器状态以及执行的函数指令等。

M(Machine):代表一个操作系统的主线程,是对内核现成的封装,M 的数量对应于真实的 CPU 数。一个 M 直接关联一个 OS 内核线程,用于执行 G。M 会优先从关联的 P 的本地队列中直接获取待执行的 G

P(Processor):代表了 M 所需要的上下文环境,保存着 M 运行 G 所需要的全部资源。P 是处理用户级代码逻辑的处理器,可以将其看作一个局部调度器,使得 Golang 代码块可以在操作系统线程上运行。当 P 上有任务时,就需要创建或唤醒一个系统线程来执行其本地队列当中的任务,所以 P 和 M 是相互绑定的。

2. 简述 GMP 的调度流程?

  • 每个 P 都有局部队列,局部队列保存待执行的 goroutine,当 M 绑定的 P 的局部队列已满时,新追加的 goroutine 就会被放到全局队列。
  • 每一个 P 都和 M 绑定,M 是真正执行 P 中 goroutine 的实体,M 会从其所绑定的 P 当中获取 G 来执行。
  • 当 M 绑定的 P 的局部队列为空时,M 会从全局队列获取 goroutine 并转移到本地队列来执行 G,当从全局队列仍然没有可执行的 G 时,M 会从其它 P 的本地队列中偷取(Work Stealing)G 来执行。
  • 当 G 因系统调用(syscall)阻塞时,会阻塞 M,此时 P 会和 M 解绑(hand off),并寻找新的空闲的 M,若没有空闲的 M,就会新建一个 M(模糊点:需要注意的是,此时 P 与 M 解绑并与新的 M 绑定,继续执行 P 中其它可执行的 G,因为之前的 G 因系统调用将 M 阻塞了。当之前的 G 系统调用完成并恢复之后,被阻塞的 G 会被直接放回原 P 的本地队列,若原来的 P 已经被占用,则将 G 放入全局队列。位于全局队列当中的 G 可以通过 work stealing 被其它 P 窃取)。
  • 当 G 因 channel 或 network I/O 阻塞时,不会阻塞 M,M 会寻找其它可执行的 G。当阻塞的 G 恢复后会重新进行可执行状态并进入 P 队列等待执行。

3. P 和 M 的个数?

  • P:由启动时环境变量 GOMAXPROCS 决定。这意味着程序执行的任意时刻都只有 GOMAXPROCS 个 goroutine 在同时执行。
  • M:Go 程序启动时,会设置 M 的最大数量,默认为 10000,但内核很难支持这么多的线程数,所以这个限制可以忽略;一个 M 阻塞时,会创建新的 M。

总结
M 与 P 的数量没有绝对关系,一个 M 阻塞,P 就会去寻找空闲的 M,如果没有空闲的 M,那么就创建一个新的 M。因此,即使 P 的默认数量为 1,也有可能创建很多个 M 出来。

4. P 和 M 何时被创建?

P:在确定了 P 的最大数量 n 后,运行时系统会创建 n 个 P。

M:在没有足够的 M 来关联 P 并运行其中的 G 时,会创建新的 M 并关联 P。正如上文所提到的,假设当前所有 M 都由于 G 需要系统调用而阻塞了,而 P 当中还有很多就绪的 G,那么就会创建新的 M 来与 P 绑定。

5. 简述 goroutine 的创建流程?

调用 go func() 时,会调用 runtime.newproc 来创建一个 goroutine,这个 goroutine 有自己的栈空间,同时在 G 的 sched 中维护栈地址程序计数器信息(即调用 go func() 之后,创建一个 goroutine 并维护 goroutine 运行所需要的状态,比如栈空间以及程序计数器信息)。

创建好的 goroutine 会被放到它对应的内核线程 M 所使用的上下文 P 的 run_queue 中(如果 run_queue 已满,则保存至其它 P 的 run_queue,如果所有 P 的 run_queue 都满了,那么送至全局队列),等待 GMP 调度器决定这个 G 何时取出并执行(又分为两种情况,可能顺序等待自己的 P 调度执行,也可能触发 work stealing 由其它 M 执行)。

6. goroutine 何时会被挂起?

宏观上来说分为两种情况,分别是 goroutine 触发系统调用阻塞,以及 goroutine 等待 channel 或 network I/O。

触发系统调用而阻塞时,G 的 M 会被阻塞,此时与 M 绑定的 P 会寻找一个空闲的 M(无空闲 M 时创建一个新的 M),并取出当前处于就绪态的 G 执行。刚才触发系统调用的 G 在结束系统调用后,被阻塞的 M 会进入休眠状态,等待下一次被唤醒,G 会尝试放入原来 P 的本地队列,如果 P 的本地队列已满,则 G 被放入全局队列。位于全局队列中的 G 会通过 work stealing 机制被其它 P 窃取。

当 goroutine 等待 channel 或 network I/O 而阻塞时,不会阻塞 M,此时 M 会立即取出 P 中其它空闲的 G 执行。当前阻塞的 G 在就绪时会优先放入原来 P 的本地队列当中,否则将 G 放入全局队列。

7. 同时启动了一万个 goroutine,会如何调度?

一万个 G 会按照 P 的设定个数,尽可能平均地分配到每个 P 的本地队列当中。如果所有本地队列都已满,那么就放入 GMP 的全局队列当中。接下来开始执行 GMP 模型的调度策略:

  • 本地队列轮转:每一个 P 都维护着一个保存着 G 的本地队列。不考虑 G 进行系统调用和 I/O 情况下的阻塞,P 会周期性地从本地队列中调度 G 到 M 执行,执行一段时间后将 G 的上下文保存起来并插入到队尾,再从队首调度 G 执行;
  • 系统调用:P 的个数默认等于 CPU 的核数,每一个 M 必须与 P 绑定才能够运行 P 队列当中的 G。通常来说,运行时 M 的个数会略大于 P 的个数,原因是当 G 触发系统调用时,M 会被阻塞,此时与 M 绑定的 P 会触发 hand off 机制与 M 解绑,并寻找一个新的空闲的 M1 并与之绑定,继续执行这个 P 中就绪的 G。被阻塞的 M 就绪时,会进入休眠状态,等待下一次与 P 绑定。
  • 工作量窃取:多个 P 中维护的 G 队列可能是不平衡的,当某个 P 执行完了全部本地队列当中的 G,就会去查询全局队列,如果全局队列在无 G,那么就从另一个 P 的本地队列当中窃取 G 并执行。一般来说每次窃取一半。

8. goroutine 内存泄露和处理办法?

Goroutine 内存泄漏是指程序中启动的 goroutine 由于某些原因无法正常退出,从而长期占用了内存和资源,最终导致程序内存耗尽或性能下降。

预防 Goroutine 泄露的最佳实践

  1. 始终为阻塞操作设置超时(如 channel、I/O 请求,可以通过 select + time.After 来完成);
  2. 使用 context 传递取消信号,确保 goroutine 可以及时退出;
  3. 优先使用带 buffer 的 channel,避免无缓存 channel 的意外阻塞;
  4. 通过 defer 关闭资源;
  5. 定期检查 goroutine 的数量,结合监控工具预警异常增长(比如 pprofgo tool trace

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2323887.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

项目-苍穹外卖(十五) Apache ECharts+数据统计

一、介绍 二、营业额统计 需求分析和设计&#xff1a; Controller: Service: /*** 营业额统计* param begindate* param enddate* return* */Overridepublic TurnoverReportVO turnoverStatistics(LocalDate begindate, LocalDate enddate) {//创建时间集合List<LocalDate&…

Spring Data审计利器:@LastModifiedDate详解(依赖关系补充篇)!!!

&#x1f552; Spring Data审计利器&#xff1a;LastModifiedDate详解&#x1f525;&#xff08;依赖关系补充篇&#xff09; &#x1f50c; 核心依赖解析 使用LastModifiedDate必须知道的依赖关系 #mermaid-svg-qm1OUa9Era9ktbeK {font-family:"trebuchet ms",verd…

Tweak Power:全方位电脑系统优化的高效工具

Tweak Power&#xff08;系统&#xff09; Tweak Power是一款功能强大的系统优化工具&#xff0c;专为提升Windows电脑的性能和稳定性而设计。它提供了全面的清理、优化和调整选项&#xff0c;帮助用户轻松管理系统资源、提高运行速度、延长设备寿命。 快速扫描并清理系统垃圾…

CLion下载安装(Windows11)

目录 CLion工具下载安装其他 CLion CLion-2024.1.4.exe 工具 系统&#xff1a;Windows 11 下载 1.通过百度网盘分享的文件&#xff1a;CLion-2024.1.4.exe 链接&#xff1a;https://pan.baidu.com/s/1-zH0rZPCZtQ60IqdHA7Cew?pwdux5a 提取码&#xff1a;ux5a 安装 打开…

如何用 Postman 进行高效的 Mock 测试?

Postman 是一个强大的 API 开发和测试工具&#xff0c;它可以让你轻松地创建和发送各种 HTTP 请求&#xff0c;查看响应结果&#xff0c;并进行调试和优化。但是有时候&#xff0c;你可能还没有开发好后端服务&#xff0c;或者想要模拟不同的响应场景&#xff0c;这时候就可以使…

DeepSeek API集成开发指南——Flask示例实践

DeepSeek API集成开发指南——Flask示例实践 序言&#xff1a;智能化开发新范式 DeepSeek API提供了覆盖自然语言处理、代码生成等多领域的先进AI能力。本文将以一个功能完备的Flask示例系统为载体&#xff0c;详解API的集成方法与最佳实践。通过本案例&#xff0c;开发者可快…

【天梯赛】L2-004 这是二叉搜索树吗(经典问题C++)

解题反思 //镜像树满足&#xff1a;左子树>根节点>右子树 //特殊&#xff1a;独腿二叉树&#xff0c;如pre {2&#xff0c;3&#xff0c;4}&#xff0c;递归函数用if(root tail) return&#xff1b;无法识别这种二叉树 // 用ismirror来将一般二叉树和镜像二叉搜索树的…

Postman 全局 Header 如何设置?全局设置了解一下

在使用 Postman 设置全局请求头信息的关键步骤包括&#xff1a;在集合设置页面中添加所需的头部信息&#xff0c;并确保选择适当的类型和值&#xff1b;如果需要&#xff0c;可通过 JavaScript 脚本添加其他请求头&#xff1b;最后&#xff0c;验证设置是否成功生效。 Postman…

科技赋能建筑业变革:中建海龙创新引领高质量发展新路径

在建筑工业化浪潮中&#xff0c;中建海龙科技有限公司&#xff08;以下简称“中建海龙”&#xff09;凭借深厚的技术积累与持续创新&#xff0c;成为推动行业转型升级的标杆企业。作为中国建筑国际集团旗下核心科技力量&#xff0c;中建海龙深耕模块化集成建筑&#xff08;MiC&…

QT计算器开发

1.项目架构 1.图形化界面 ​ 2.widget.h​ #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QString> #include <QStack>QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACEclass Widget : public QWidget {Q_OBJECTp…

R语言对偏态换数据进行转换(对数、平方根、立方根)

我们进行研究的时候经常会遇见偏态数据&#xff0c;数据转换是统计分析和数据预处理中的一项基本技术。使用 R 时&#xff0c;了解如何正确转换数据有助于满足统计假设、标准化分布并提高分析的准确性。在 R 中实现和可视化最常见的数据转换&#xff1a;对数、平方根和立方根转…

【云服务器】在 Linux(Ubuntu / CentOS 7)上快速搭建我的世界 Minecraft 服务器,并实现远程联机,详细教程

【云服务器】在 Linux&#xff08;Ubuntu / CentOS 7&#xff09;上快速搭建我的世界 Minecraft 服务器&#xff0c;并实现远程联机&#xff0c;详细教程 一、 服务器介绍二、下载 Minecraft 服务端二、安装 JRE 21三、安装 MCS manager 面板四、搭建服务器五、本地测试连接六、…

docker torcherve打包mar包并部署模型

使用Docker打包深度网络模型mar包到服务端 参考链接&#xff1a;Docker torchserve 部署模型流程——以WSL部署YOLO-FaceV2为例_class myhandler(basehandler): def initialize(self,-CSDN博客 1、docker拉取环境镜像命令 docker images出现此提示为没有权限取执行命令&…

【安当产品应用案例100集】042-基于安当KADP实现机密文件安全流转

一、客户需求 某集团公司客户&#xff0c;在系统业务流中&#xff0c;存在大量的内部文件流转的需求。内部业务文件有不同的安全密级&#xff0c;最初在文件流转时&#xff0c;公司内部规定点对点的文件传输&#xff0c;要使用加密工具加密后再发给需要的一方。这种方式虽然能…

附录C SLAC匹配过程命令定义与实际抓包

附录C SLAC匹配过程命令定义与实际抓包 ISO15118-3 附录A中规定了SLAC匹配过程中的请求命令及应答&#xff0c; 本文将会对比协议中的定义和实际抓包内容&#xff0c;以便读者获得直观的认识。 1 CM_SET_KEY.REQ 定义内容&#xff1a; 实际数据&#xff1a; 注意报文中的 08…

【QT】新建QT工程(详细步骤)

新建QT工程 1.方法(1)点击new project按钮&#xff0c;弹出对话框&#xff0c;新建即可&#xff0c;步骤如下&#xff1a;(2) 点击文件菜单&#xff0c;选择新建文件或者工程&#xff0c;后续步骤如上 2.QT工程文件介绍(1).pro文件 --》QT工程配置文件(2)main.cpp --》QT工程主…

安装Webpack并创建vue项目

1、新建一个工程目录 在E盘中进行新建项目 2、从命令行进入该目录,并执行NPM 的初始化命令 3、会看到目录中生成了一个“package.json”文件,它相当于NPM项目的说明书&#xff0c;里面记录了项目名称、版本、仓库地址等信息。 4、执行安装 Webpack 的命令 npm install webpac…

如何快速解决django存储session变量时出现的django.db.utils.DatabaseError错误

我们在学习django进行web编程的时候&#xff0c;有时需要将一些全局变量信息存储在session中&#xff0c;但使用过程中&#xff0c;却发现会引起数据库的报错。通过查看django源码信息&#xff0c;发现其对session信息进行了ORM映射&#xff0c;如果数据库中不存在对应的表信息…

04 单目标定实战示例

看文本文,您将获得以下技能: 1:使用opencv进行相机单目标定实战 2:标定结果参数含义和数值分析 3:Python绘制各标定板姿态,查看图像采集多样性 4:如果相机画幅旋转90,标定输入参数该如何设置? 5:图像尺寸缩放,标定结果输出有何影响? 6:单目标定结果应用类别…

极速全场景 MPP数据库starrocks介绍

目录 一、引子 二、起源 &#xff08;一&#xff09;前身 &#xff08;二&#xff09;定位 三、特点 &#xff08;一&#xff09;高性能架构 &#xff08;二&#xff09;实时分析 &#xff08;三&#xff09;高并发与扩展性 &#xff08;四&#xff09;兼容性与生态 …