【Cpython的GIL详细了解一下?】

news2024/9/27 23:35:03

在这里插入图片描述

简单解释

全局解释器锁(Global Interpreter Lock,简称 GIL)是 CPython 解释器内部的一个同步原语,它用于在同一时间只允许一个线程执行 Python 字节码。

GIL 的工作原理如下:

  1. 在 CPython 中,每个线程都需要获得 GIL 才能执行 Python 字节码。
  2. 当一个线程获得 GIL 后,其他线程就不能执行 Python 字节码,只能等待 GIL 被释放。
  3. 在 I/O 操作、调用 C 扩展或者达到一定的字节码执行次数后,线程会自动释放 GIL,允许其他线程执行。

尽管 GIL 限制了多线程并行性,但对于 I/O 密集型任务,它不会带来太大影响。在这种情况下,线程经常在等待 I/O 操作完成,而不是竞争 CPU 资源,因此 GIL 对性能的影响较小。

然而,对于计算密集型任务,GIL 可能会导致性能瓶颈。例如,假设有两个线程,每个线程都在执行密集型计算任务。由于 GIL 的存在,这两个线程不能同时在多核处理器上运行,而是必须串行执行。这种情况下,Python 多线程性能可能不如单线程。

为了绕过 GIL,可以采用以下方法:

  1. 使用多进程,而非多线程。每个进程都有自己的 Python 解释器和内存空间,因此 GIL 不会影响多进程之间的并行性。
  2. 使用其他 Python 实现,如PyPyJython,它们没有 GIL 限制。
  3. 使用 C 或 C++ 扩展,将计算密集型任务放在 C/C++ 代码中执行,从而避免 GIL。

GIL的历史原因

GIL 存在的主要原因是为了确保 CPython 解释器在多线程环境下的内存管理和对象操作的线程安全。GIL 的历史可以追溯到 1990 年代初期,Python 的创始人 Guido van Rossum 在设计 Python 时,引入了 GIL 作为一个简单有效的解决方案。

CPython 使用引用计数来管理对象的内存。当一个对象的引用计数变为 0 时,对象所占用的内存将被释放。在多线程环境下,如果没有 GIL,多个线程可能同时对同一个对象的引用计数进行操作,导致竞争条件和内存泄漏等问题。

为了解决这个问题,可以引入一些复杂的同步机制,如每个对象都有自己的锁。然而,这样的设计会导致大量的锁竞争和死锁等问题,以及增加实现的复杂性。相比之下,GIL 是一个简单有效的解决方案,只需要保证在同一时刻只有一个线程执行 Python 字节码,就可以避免这些问题。

然而,GIL 的引入导致了一个明显的副作用,即限制了 Python 多线程程序在多核处理器上的并行性。随着多核处理器的普及,这个问题愈发突出。尽管如此,GIL 仍然存在于 CPython 中,这是因为移除 GIL 并替换为其他线程安全机制需要对整个 CPython 解释器进行重大改动,这可能导致许多现有的 Python 应用程序和 C 扩展无法正常工作。

为了避免 GIL 带来的性能限制,开发者可以选择其他没有 GIL 限制的 Python 实现(如 JythonPyPy 等),或者使用多进程、C/C++ 扩展等方法。

看点源码

CPython 源码中,GIL 是通过 PyThread_type_lock 数据结构实现的。具体的实现可能因 CPython 版本和平台而异。以下是在 CPython 3.9 源码中,GIL 的关键部分。

  1. Python/pystate.h 文件中,可以找到 GIL 的声明:
PyAPI_DATA(PyThread_type_lock) _PyRuntimeState.ceval_gil;
  1. Python/ceval_gil.h 文件中,定义了用于获取和释放 GIL 的宏:
/* Lock and unlock the global interpreter lock (GIL) */

#define _PyEval_AcquireThread(tstate) \
    do { PyThread_acquire_lock(_PyRuntime.ceval_gil, WAIT_LOCK); } while (0)

#define _PyEval_ReleaseThread(tstate) \
    do { PyThread_release_lock(_PyRuntime.ceval_gil); } while (0)

#define _PyEval_AcquireInterpreter(interp) \
    do { PyThread_acquire_lock((interp)->ceval_gil, WAIT_LOCK); } while (0)

#define _PyEval_ReleaseInterpreter(interp) \
    do { PyThread_release_lock((interp)->ceval_gil); } while (0)
  1. Python/ceval.c 文件中,可以找到 GIL 的初始化和释放操作:
void
_PyEval_FiniThreads(void)
{
    /* Destroy the GIL */
    PyThread_free_lock(_PyRuntime.ceval_gil);
}

int
_PyEval_InitThreads(PyThreadState *tstate)
{
    if (!_PyRuntime.ceval_gil) {
        _PyRuntime.ceval_gil = PyThread_allocate_lock();
        PyThread_acquire_lock(_PyRuntime.ceval_gil, WAIT_LOCK);
    }
    return 0;
}

在 Python 字节码的执行过程中,_PyEval_AcquireThread_PyEval_ReleaseThread 宏用于获取和释放 GIL。在实际使用中,还有一些其他函数和宏用于管理 GIL,例如在调用 C 扩展时,可以使用 Py_BEGIN_ALLOW_THREADSPy_END_ALLOW_THREADS 宏临时释放 GIL。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/438895.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

systemctl 命令设置开机自启动失败

1.案例现象 我在 3 月 31日的时候发表了一篇《shell 脚本之一键部署安装 Nginx 》,介绍了如何通过 shell 脚本一键安装 Nginx 我脚本中执行了 Nginx 开机自启动的命令,当我使用 systemctl status nginx 命令复核的时候,我发现 Nginx 服务设…

C# NetCore XML 反序列化解析错误:<xml xmlns=‘‘> was not expected 及 Encoding=utf-16问题

xml帮助类在最后 刚好有业务需要解析xml文件&#xff0c;于是找到帮助类代码开始尝试解析文件&#xff0c;总是出现异常&#xff1a;<xml xmlnsxxxxxxxxxxxxxxxx> was not expected&#xff0c;开始寻找解决方案&#xff1a; 要使结果正确&#xff0c;必须满足两个条件…

【Qt】QString与QChar的源码学习及二者与Unicode的关系【2023.04.20】

简介 关于QString乱码的一些补充。主要就两点&#xff0c;QChar、QString底层存储的字符都是16进制的Unicode编码。 QChar QChar对应16位的Unicode字符集。 The QChar class provides a 16-bit Unicode character. In Qt, Unicode characters are 16-bit entities without an…

Redis RDB 和 AOF原理讲解

redis提供了两种持久化方式。 aof&#xff08;APPEND ON FILE&#xff09;持久化&#xff1a;原理是将redis的操作以命令的方式写入aof文件中&#xff0c;追加。 rdb&#xff08;Redis DataBase&#xff09;内存快照持久化&#xff0c;就是将redis的内存中的数据全量拷贝一份存…

【C++STL精讲】stack与queue的基本使用及模拟实现

文章目录 &#x1f490;专栏导读&#x1f490;文章导读&#x1f337;stack是什么&#xff1f;&#x1f337;stack的基本使用&#x1f337;stack的模拟实现&#x1f337;queue是什么&#xff1f;&#x1f337;queue的基本使用&#x1f337;queue的模拟实现 &#x1f490;专栏导读…

Python基础实战2-Python安装

安装简介 电脑系统&#xff1a;Windwos 10 安装的Python版本&#xff1a;3.7.8 安装Python环境 安装运行Python程序的工具&#xff0c;也称位Python解释器。 初学者可以安装anaconda&#xff0c;里面自带500常用库。 第一步&#xff0c;下载Python 可以在Python官方网站…

mockjs基础及项目使用

Mock介绍 Mock.js 是一款模拟数据生成器&#xff0c;旨在帮助前端攻城师独立于后端进行开发&#xff0c;帮助编写单元测试。提供了以下模拟功能&#xff1a; 1. 根据数据模板生成模拟数据 2. 模拟 Ajax 请求&#xff0c;生成并返回模拟数据 3. 基于 HTML 模板生成模拟数据 以上…

网络安全之ATP

目录 APT 定义 特点 目的 APT攻击的生命周期 阶段一 --- 扫描探测 阶段二 --- 工具投送 阶段三 ---漏洞利用 阶段四 --- 木马植入 阶段五 --- 远程控制 阶段六 --- 横向渗透 阶段七 --- 目标行动 防御APT 最佳有效办法 --- 沙箱技术 沙箱技术 针对APT攻击的防御…

归并排序的递归实现

归并排序是一种比较排序&#xff0c;通过分治法思想来进行实现的&#xff0c;其基本思想是&#xff1a; 将已有序的子序列合并&#xff0c;得到完全有序的序列&#xff0c;即先使每个子序列有序&#xff0c;再使子序列段间有序。 若将两个有序表合并成一个有序表&#xff0c;称…

【轻松开发微信小程序】实现用户增删改查功能

文章目录 前言创建微信小程序项目创建项目目录结构编写首页页面编写编辑页面实现增删改查功能展示最终效果总结写在最后 前言 上一篇博客中我们学习了什么是小程序以及开发一个小程序的具体步骤。 在本篇博客中&#xff0c;我们来开发一个用户列表增删改查功能的完整流程&…

【UE】UE5 学习笔记

UE5 学习笔记&#xff08;持续更新中&#xff09; 界面 快捷键 快捷键描述F定位关一卡对象:双击游戏对象名字或选游戏对象名字鼠标中键移动视野alt鼠标左键移旋转视野滑动鼠标滚轮缩放视野alt鼠标右键拖动鼠标缩放视野鼠标左键移动鼠标前后漫游WASD鼠标右键自由漫游漫游时滑…

【vue】插件集合

一、复制粘贴vue-clipboard2 1、安装vue-clipboard2 npm install ue-clipboard2 2、main.js引入插件 // 复制 import VueClipboard from vue-clipboard2 Vue.use(VueClipboard) 3、页面使用 <el-buttonsize"mini"type"text"ref"copyButton&q…

JAVAWeb06-动态WEB开发核心Servlet-02-ServletConfig/Context

1. ServletConfig 1.1 ServletConfig 基本介绍 ServletConfig 类是为 Servlet 程序的配置信息的类Servlet 程序和 ServletConfig 对象都是由 Tomcat 负责创建Servlet 程序默认是第 1 次访问的时候创建&#xff0c;ServletConfig 在 Servlet 程序创建时&#xff0c;就创建一个…

thinkphp5 线上部署后view-source:可以看到源码,但是http显示空白页面的原因及解决方法汇总

本篇文章主要讲解:thinkphp5 项目线上部署后view-source:可以看到源码,但是http显示空白页面的原因及解决方法教程 作者:任聪聪 日期:2023年4月17日 thinkphp版本5.1 现象说明: 线下测试环境,显示可以看到界面 部署到线上配置完毕后发现页面空白 在php中写入echo 1232…

pytorch进阶学习(七):神经网络模型验证过程中混淆矩阵、召回率、精准率、ROC曲线等指标的绘制与代码

参考笔记 【机器学习】五分钟搞懂如何评价二分类模型&#xff01;混淆矩阵、召回率、精确率、准确率超简单解释&#xff0c;入门必看&#xff01;_哔哩哔哩_bilibili 混淆矩阵的概念_GIS_JH的博客-CSDN博客 机器学习中的混淆矩阵&#xff0c;准确率&#xff0c;精确率&#…

[java]String类

String表示字符串类型。 注意c中没有表示字符串的类型。 String内部包含如下两个变量。 java中String结尾没有/0&#xff0c;java不需要/0标注结束位置。 str2代表指向的对象内容为空&#xff0c;str3代表不指向任何对象。 str1和str2指向对象不一样&#xff0c;所以不相等 可…

在Linux中进行Jenkins-2.190的安装及使用

Jenkins-2.190安装在公网IP为x.x.x.x的服务器上 环境准备 第一步&#xff0c;下载server-jre-8u202-linux-x64.tar.gz安装包。 登录地址&#xff1a;https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html下载server-jre-8u202-linux-x64.tar.gz…

黑马程序员---微服务笔记【实用篇】

微服务技术栈导学 微服务实现流程&#xff1a; 所有要学的技术&#xff1a; 分层次教学&#xff1a; 具体分层&#xff1a; 实用篇---第一天 一、认识微服务 单体架构 将业务所有功能集中在一个项目中开发&#xff0c;打成一个包部署 优点&#xff1a;架构简单、部署成本低 …

Linux系统编程(三)—— 文件编程(2)系统数据文件和信息

一、文件&#xff1a;/etc/passwd 这是 /etc/passswd 文件下的内容&#xff1a; &#xff08;1&#xff09;标准库函数&#xff1a;getpwuid( ) 和 getpwname( ) getpwuid( )函数是根据 uid 来找到系统用户的信息&#xff1b;getpwname( )函数是根据 name 来找到用户的信息&…

机器学习 day04(梯度下降算法,学习率,偏导数,执行过程示意图)

1. 梯度下降 我们可以用一种更系统的方法&#xff0c;来找到一组w&#xff0c;b&#xff0c;使成本函数的值最小。这个方法叫梯度下降算法&#xff0c;它可用于最小化任何函数&#xff0c;不仅仅包括线性回归的成本函数&#xff0c;也包括两个以上参数的其他成本函数在线性回…