【通过Cpython3.9源码看看python的内存回收机制】

news2024/11/24 16:55:50

在这里插入图片描述

一：建立对象引用计数

1. 相关代码

void
_Py_NewReference(PyObject *op)
{
    if (_Py_tracemalloc_config.tracing) {
        _PyTraceMalloc_NewReference(op);
    }
#ifdef Py_REF_DEBUG
    _Py_RefTotal++;
#endif
    Py_SET_REFCNT(op, 1);
#ifdef Py_TRACE_REFS
    _Py_AddToAllObjects(op, 1);
#endif
}

2. 代码解释

_Py_NewReference这个函数的主要目的是为新创建的Python对象建立引用计数。在CPython中，引用计数是用来管理内存的一种方法，当一个Python对象的引用计数变为零时，表示没有其他对象引用该对象，因此可以安全地将其内存回收。

下面是_Py_NewReference函数的各个部分的简要说明：

  1. _Py_tracemalloc_config.tracing：当内存追踪功能启用时（即_Py_tracemalloc_config.tracing为真），调用_PyTraceMalloc_NewReference(op)以记录新引用的内存分配。
  2. #ifdef Py_REF_DEBUG：如果启用了引用计数调试（即编译时定义了Py_REF_DEBUG），则增加全局引用计数_Py_RefTotal。
  3. Py_SET_REFCNT(op, 1)：将新对象op的引用计数设置为1。
  4. #ifdef Py_TRACE_REFS：如果启用了引用跟踪功能（即编译时定义了Py_TRACE_REFS），则调用_Py_AddToAllObjects(op, 1)将新对象op添加到所有对象列表中以进行跟踪。

这个函数通常在创建新的Python对象时调用，以便正确初始化引用计数。需要注意的是，这个函数是CPython内部使用的，不应该在普通Python代码或扩展模块中直接使用。

#ifdef Py_REF_DEBUG是一个C预处理器指令，它会检查是否在编译时定义了Py_REF_DEBUG宏。如果定义了这个宏，那么在#ifdef和#endif之间的代码块将被编译并包含在最终的程序中。否则，这部分代码将被忽略。

Py_REF_DEBUG宏用于启用引用计数调试功能。这个功能允许CPython开发者和扩展模块开发者在开发过程中更轻松地追踪和诊断潜在的引用计数错误。这对于调试内存泄漏或提前释放对象等问题非常有用。

当启用Py_REF_DEBUG时，_Py_RefTotal变量被用来跟踪当前分配给Python对象的总引用计数。这个全局计数器在每次创建新引用（如在_Py_NewReference函数中）时递增，在释放引用时递减。通过检查_Py_RefTotal的值，开发者可以在某些情况下发现可能的内存泄漏或错误的引用计数操作。

需要注意的是，Py_REF_DEBUG功能会带来一定的性能开销，因此在生产环境中通常不启用。在发布构建中，默认情况下不会定义Py_REF_DEBUG宏。在开发和调试阶段，可以通过配置构建选项来启用这个功能。

二: 引用计数增加

1. 相关源码

// 引用计数增加
void
Py_IncRef(PyObject *o)
{
    Py_XINCREF(o);
}

// 宏定义
#define Py_XINCREF(op) _Py_XINCREF(_PyObject_CAST(op))

// 内联函数
static inline void _Py_XINCREF(PyObject *op)
{
    if (op != NULL) {
        Py_INCREF(op);
    }
}

// 宏定义
#define Py_INCREF(op) _Py_INCREF(_PyObject_CAST(op))

static inline void _Py_INCREF(PyObject *op)
{
#ifdef Py_REF_DEBUG
    _Py_RefTotal++;
#endif
    op->ob_refcnt++;  // 对象的引用计数加1
}

2. 源码解释

_Py_INCREF函数是一个静态内联函数，用于增加给定Python对象（op）的引用计数。内联函数允许编译器在调用处内联展开函数体，以减少函数调用的开销。以下是_Py_INCREF函数的各个部分的简要说明：

  1. #ifdef Py_REF_DEBUG：如果启用了引用计数调试（即编译时定义了Py_REF_DEBUG），则增加全局引用计数_Py_RefTotal。
  2. op->ob_refcnt++：增加给定Python对象op的引用计数（ob_refcnt字段）。

Py_INCREF是一个宏，用于调用_Py_INCREF函数。在调用_Py_INCREF之前，它首先使用_PyObject_CAST宏将给定的对象（op）转换为PyObject指针。这是为了确保_Py_INCREF函数接收到的参数具有正确的类型。在编写Python C扩展时，通常会使用Py_INCREF宏来增加Python对象的引用计数。

三：引用计数减少

1. 相关源码

void
Py_DecRef(PyObject *o)
{
    Py_XDECREF(o);
}

#define Py_XDECREF(op) _Py_XDECREF(_PyObject_CAST(op))

static inline void _Py_XDECREF(PyObject *op)
{
    if (op != NULL) {
        Py_DECREF(op);
    }
}

define Py_DECREF(op) _Py_DECREF(_PyObject_CAST(op))

static inline void _Py_DECREF(
#ifdef Py_REF_DEBUG
    const char *filename, int lineno,
#endif
    PyObject *op)
{
#ifdef Py_REF_DEBUG
    _Py_RefTotal--;
#endif
    if (--op->ob_refcnt != 0) {
#ifdef Py_REF_DEBUG
        if (op->ob_refcnt < 0) {
            _Py_NegativeRefcount(filename, lineno, op);
        }
#endif
    }
    else {
        _Py_Dealloc(op);
    }
}

// 引用计数等于0了，就调用dealloc函数进行对象删除
void
_Py_Dealloc(PyObject *op)
{
    destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS
    _Py_ForgetReference(op);
#endif
    (*dealloc)(op);
}

2. 源码解释

在这段代码中，我们可以看到Py_DecRef、Py_XDECREF、_Py_XDECREF、Py_DECREF和_Py_DECREF这几个用于处理Python对象引用计数的函数和宏。

  1. Py_DecRef：这是一个简单的封装函数，接受一个指向PyObject的指针o作为参数，然后调用Py_XDECREF(o)宏。

  2. Py_XDECREF：这是一个宏，用于调用_Py_XDECREF函数。在调用之前，它使用_PyObject_CAST(op)宏将给定的对象（op）转换为PyObject指针。

  3. _Py_XDECREF：这是一个静态内联函数，用于在给定对象不为NULL时调用Py_DECREF宏。这意味着如果对象指针为空（即op == NULL），则不会对引用计数进行任何操作。

  4. Py_DECREF：这是一个宏，用于调用_Py_DECREF函数。在调用之前，它使用_PyObject_CAST(op)宏将给定的对象（op）转换为PyObject指针。

  5. _Py_DECREF：这是一个静态内联函数，用于减少给定Python对象（op）的引用计数。以下是_Py_DECREF函数的各个部分的简要说明：

    a. #ifdef Py_REF_DEBUG：如果启用了引用计数调试（即编译时定义了Py_REF_DEBUG），则减少全局引用计数_Py_RefTotal。

    b. 减少对象的引用计数：使用--op->ob_refcnt来减少给定对象op的引用计数。

    c. 判断引用计数是否为0：如果引用计数不为0，表示仍有其他对象引用该对象。如果引用计数为0，则调用_Py_Dealloc(op)来释放对象的内存。在引用计数调试模式下，还会检查引用计数是否为负数，如果是，则调用_Py_NegativeRefcount(filename, lineno, op)报告错误。

在Python C扩展中，通常使用Py_DECREF和Py_XDECREF宏来减少Python对象的引用计数。这些宏提供了安全和高效的方式来处理引用计数，以防止内存泄漏和提前释放对象。

四：对象删除

1. 相关源码

void
_Py_Dealloc(PyObject *op)
{
    destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS
    _Py_ForgetReference(op);
#endif
    (*dealloc)(op);
}

2. 源码解释

_Py_Dealloc函数是CPython中用于释放Python对象内存的函数。它在对象的引用计数变为零时调用，表示没有其他对象引用该对象，可以安全地回收其内存。以下是_Py_Dealloc函数的各个部分的简要说明：

  1. destructor dealloc = Py_TYPE(op)->tp_dealloc;：从给定Python对象op的类型对象中获取析构函数（tp_dealloc），并将其赋值给dealloc。每个类型对象都有一个与之关联的析构函数，该函数负责清理该类型的对象所占用的内存。
  2. #ifdef Py_TRACE_REFS：如果启用了引用跟踪功能（即编译时定义了Py_TRACE_REFS），则调用_Py_ForgetReference(op)将对象op从所有对象列表中删除，以便不再跟踪该对象。
  3. (*dealloc)(op);：调用dealloc指向的析构函数，释放对象op所占用的内存。这里使用了函数指针，这意味着dealloc可以指向任何类型的析构函数，从而可以灵活地处理不同类型的Python对象。

需要注意的是，_Py_Dealloc函数是CPython内部使用的，不应该在普通Python代码或扩展模块中直接使用。在Python扩展模块中，您应该使用相应的宏和API函数来管理引用计数，例如Py_DECREF和Py_XDECREF。

Py_TYPE(op)是一个宏，用于获取给定Python对象（op）的类型。它返回一个指向PyTypeObject结构的指针，这个结构包含了对象类型的相关信息，如类型名、方法、属性、析构函数等。

在CPython内部实现中，每个Python对象都包含一个指向其类型对象的指针。这个指针位于PyObject结构的ob_type字段中。Py_TYPE(op)宏实际上就是访问这个ob_type字段，即op->ob_type。

在Python C扩展和嵌入式代码中，Py_TYPE(op)宏可以用于检查对象的类型、获取类型特定的函数或执行类型相关的操作。例如，可以通过比较两个对象的类型对象来判断它们是否属于相同的类型。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/417898.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【算法】AB3DMOT之Sutherland Hodgman多边形裁剪

【算法】AB3DMOT之Sutherland Hodgman多边形裁剪

在AB3MOT模型中有一个步骤为计算IOU时&#xff0c;需要先计算两个立体在地面的投影2D形状&#xff0c;然后计算两个投影的重叠部分&#xff0c;实际上为多边形的裁剪算法。 AB3MOT classmethod def box2corners3d_camcoord(cls, bbox):Takes an objects 3D box with the repr…
阅读更多...
懒人式迁移服务器深度学习环境（完全不需要重新下载）

懒人式迁移服务器深度学习环境（完全不需要重新下载）

换服务器了&#xff1f;想迁移原来服务器上的深度学习环境&#xff0c;但又觉得麻烦懒得重新安装一遍anaconda、pytorch&#xff1f;有没有办法能不费吹灰之力直接迁移&#xff1f;接下来跟着我一起&#xff0c;懒汉式迁移。   本方法适用于在同一内网下的两台服务器之间互相…
阅读更多...
【深度强化学习】(8) iPPO 模型解析，附Pytorch完整代码

【深度强化学习】(8) iPPO 模型解析，附Pytorch完整代码

大家好&#xff0c;今天和各位分享一下多智能体深度强化学习算法 ippo&#xff0c;并基于 gym 环境完成一个小案例。完整代码可以从我的 GitHub 中获得&#xff1a;https://github.com/LiSir-HIT/Reinforcement-Learning/tree/main/Model 1. 算法原理 多智能体的情形相比于单智…
阅读更多...
SpringCloud GateWay与Nacos使用

SpringCloud GateWay与Nacos使用

网关就相当于一个内网与外网的出入口&#xff0c;起着 安全、验证的功能&#xff0c;如果没有网关&#xff0c;那么如果需要实现验证的功能&#xff0c;除非 SpringCloud GateWay 作为微服务的网关,起着如下作用 ① 作为所有API接口服务请求的接入点 ② 作为所有后端业务服务…
阅读更多...
SpringBoot 整合 RabbitMQ (四十一)

SpringBoot 整合 RabbitMQ (四十一)

二八佳人体似酥&#xff0c;腰间仗剑斩愚夫。虽然不见人头落&#xff0c;暗里教君骨髓枯。 上一章简单介绍了SpringBoot 实现 Web 版本控制 (四十),如果没有看过,请观看上一章 关于消息中间件 RabbitMQ, 可以看老蝴蝶之前的文章: https://blog.csdn.net/yjltx1234csdn/categor…
阅读更多...
还不懂如何与AI高效交流？保姆级且全面的chatGPT提示词工程教程来啦！（一）基础篇

还不懂如何与AI高效交流？保姆级且全面的chatGPT提示词工程教程来啦！（一）基础篇

还不懂如何与chatGPT高效交流&#xff1f;保姆级且全面的chatGPT提示词工程教程来啦&#xff01;&#xff08;一&#xff09;基础篇 文章目录还不懂如何与chatGPT高效交流&#xff1f;保姆级且全面的chatGPT提示词工程教程来啦&#xff01;&#xff08;一&#xff09;基础篇一&…
阅读更多...
CDH6.3.2大数据集群生产环境安装(七)之PHOENIX组件安装

CDH6.3.2大数据集群生产环境安装(七)之PHOENIX组件安装

添加phoenix组件 27.1. 准备安装资源包 27.2. 拷贝资源包到相应位置 拷贝PHOENIX-1.0.jar到/opt/cloudera/csd/ 拷贝PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha、PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel到/opt/cloudera/parcel-repo 27.3. 进入cm页面进行分发、…
阅读更多...
【AIGC】9、BLIP-2 | 使用 Q-Former 连接冻结的图像和语言模型 实现高效图文预训练

【AIGC】9、BLIP-2 | 使用 Q-Former 连接冻结的图像和语言模型 实现高效图文预训练

文章目录一、背景二、方法2.1 模型结构2.2 从 frozen image encoder 中自主学习 Vision-Language Representation2.3 使用 Frozen LLM 来自主学习 Vision-to-Language 生成2.4 Model pre-training三、效果四、局限性论文&#xff1a;BLIP-2: Bootstrapping Language-Image Pre-…
阅读更多...
unity 序列化那些事，支持Dictionary序列化

unity 序列化那些事，支持Dictionary序列化

目录 一、普通类型和UnityEngine空间类型序列化 二、数组、list的序列化 三、自定义类的序列化支持 四、自定义asset 五、在inspector面板中支持Dictionary序列化 1、在MonoBehaviour中实现Dictionary序列化 2、自定义property&#xff0c;让其在inpsector能够显示 3、Mo…
阅读更多...
【从零开始学Skynet】实战篇《球球大作战》（七）：gateway代码设计（下）

【从零开始学Skynet】实战篇《球球大作战》（七）：gateway代码设计（下）

1、确认登录接口 在完成了登录流程后&#xff0c;login会通知gateway&#xff08;第⑧阶段&#xff09;&#xff0c;让它把客户端连接和新agent&#xff08;第⑨阶段&#xff09;关联起来。 sure_agent代码如下所示&#xff1a; s.resp.sure_agent function(source, fd, play…
阅读更多...
[Gitops--1]GitOps环境准备

[Gitops--1]GitOps环境准备

GitOps环境准备 1. 主机规划 序号主机名主机ip主机功能软件1dev192.168.31.1开发者 项目代码 apidemogit,golang,goland2gitlab192.168.31.14代码仓库,CI操作git-lab,git,golang,docker,gitlab-runner3harbor192.168.31.104管理和存储镜像docker,docker-compose,harbor4k8s-m…
阅读更多...
基础排序算法【计数排序】非比较排序

基础排序算法【计数排序】非比较排序

基础排序算法【计数排序】非比较排序⏰【计数排序】&#x1f550;计数&#x1f566;排序&#x1f553;测试⏰总结&#xff1a;⏰【计数排序】 计数排序又称为鸽巢原理&#xff0c;是对哈希直接定址法的变形应用 > 基本思路&#xff1a; 1.统计数据出现的次数 2.根据统计的结…
阅读更多...
并行分布式计算 并行算法与并行计算模型

并行分布式计算 并行算法与并行计算模型

文章目录并行分布式计算 并行算法与并行计算模型基础知识定义与描述复杂性度量同步和通讯并行计算模型PRAM 模型异步 PRAM 模型 &#xff08;APRAM&#xff09;BSP 模型LogP 模型层次存储模型分层并行计算模型并行分布式计算 并行算法与并行计算模型 基础知识 定义与描述 并…
阅读更多...
15个最适合初创公司创始人使用的生产力工具

15个最适合初创公司创始人使用的生产力工具

创业是一段激动人心且收获颇丰的旅程&#xff0c;同时也伴随着一些挑战。创始人往往要面对长时间的工作、紧迫的期限和大量的压力时刻。因此&#xff0c;初创公司创始人必须最大限度地利用他们的时间并利用他们可用的生产力工具——不仅是为了发展他们的业务&#xff0c;而且是…
阅读更多...
Cron表达式简单介绍 + Springboot定时任务的应用

Cron表达式简单介绍 + Springboot定时任务的应用

前言 表达式是一个字符串&#xff0c;主要分成6或7个域&#xff0c;但至少需要6个域组成&#xff0c;且每个域之间以空格符隔开。 以7个域组成的&#xff0c;从右往左是【年 星期 月份 日期 小时 分钟 秒钟】 秒 分 时 日 月 星期 年 以6个域组成的&#xff0c;从右往左是【星…
阅读更多...
【精华】表格识别技术-MI

【精华】表格识别技术-MI

表格识别是指将图片中的表格结构和文字信息识别成计算机可以理解的数据格式&#xff0c;在办公、商务、教育等场景中有着广泛的实用价值&#xff0c;也一直是文档分析研究中的热点问题。围绕这个问题&#xff0c;我们研发了一套表格识别算法&#xff0c;该算法高效准确地提取图…
阅读更多...
RabbitMq 的消息可靠性问题(二)---MQ的消息丢失和consumer消费问题

RabbitMq 的消息可靠性问题(二)---MQ的消息丢失和consumer消费问题

前言 RabbitMq 消息可靠性问题(一) — publisher发送时丢失 前面我们从publisher的方向出发解决了发送时丢失的问题&#xff0c;那么我们在发送消息到exchange, 再由exchange转存到queue的过程中。如果MQ宕机了&#xff0c;那么我们的消息是如何确保可靠性的呢&#xff1f;当消…
阅读更多...
SQL的函数

SQL的函数

文章目录一、SQL MIN() Function二、SQL SUM() 函数三、SQL GROUP BY 语句四、SQL HAVING 子句五、SQL EXISTS 运算符六、SQL UCASE() 函数总结一、SQL MIN() Function MIN() 函数返回指定列的最小值。 SQL MIN() 语法 SELECT MIN(column_name) FROM table_name;演示数据库 …
阅读更多...
Numba witch makes Python code fast

Numba witch makes Python code fast

一. 前言&#xff1a;numba&#xff0c;让python速度提升百倍 python由于它动态解释性语言的特性&#xff0c;跑起代码来相比java、c要慢很多&#xff0c;尤其在做科学计算的时候&#xff0c;十亿百亿级别的运算&#xff0c;让python的这种劣势更加凸显。 办法永远比困难多&a…
阅读更多...
ASP.NET Core MVC 从入门到精通之接化发（二）

ASP.NET Core MVC 从入门到精通之接化发（二）

随着技术的发展&#xff0c;ASP.NET Core MVC也推出了好长时间&#xff0c;经过不断的版本更新迭代&#xff0c;已经越来越完善&#xff0c;本系列文章主要讲解ASP.NET Core MVC开发B/S系统过程中所涉及到的相关内容&#xff0c;适用于初学者&#xff0c;在校毕业生&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023