深入理解python虚拟机:程序执行的载体——栈帧

news2024/12/28 8:08:58

栈帧(Stack Frame)是 Python 虚拟机中程序执行的载体之一,也是 Python 中的一种执行上下文。每当 Python 执行一个函数或方法时,都会创建一个栈帧来表示当前的函数调用,并将其压入一个称为调用栈(Call Stack)的数据结构中。调用栈是一个后进先出(LIFO)的数据结构,用于管理程序中的函数调用关系。

栈帧的创建和销毁是动态的,随着函数的调用和返回而不断发生。当一个函数被调用时,一个新的栈帧会被创建并推入调用栈,当函数调用结束后,对应的栈帧会从调用栈中弹出并销毁。

栈帧的使用使得 Python 能够实现函数的嵌套调用和递归调用。通过不断地创建和销毁栈帧,Python 能够跟踪函数调用关系,保存和恢复局部变量的值,实现函数的嵌套和递归执行。同时,栈帧还可以用于实现异常处理、调试信息的收集和优化技术等。

需要注意的是,栈帧是有限制的,Python 解释器会对栈帧的数量和大小进行限制,以防止栈溢出和资源耗尽的情况发生。在编写 Python 程序时,合理使用函数调用和栈帧可以帮助提高程序的性能和可维护性。

栈帧数据结构

 
typedef struct _frame {
PyObject_VAR_HEAD
struct _frame *f_back; /* previous frame, or NULL */
PyCodeObject *f_code; /* code segment */
PyObject *f_builtins; /* builtin symbol table (PyDictObject) */
PyObject *f_globals; /* global symbol table (PyDictObject) */
PyObject *f_locals; /* local symbol table (any mapping) */
PyObject **f_valuestack; /* points after the last local */
/* Next free slot in f_valuestack. Frame creation sets to f_valuestack.
Frame evaluation usually NULLs it, but a frame that yields sets it
to the current stack top. */
PyObject **f_stacktop;
PyObject *f_trace; /* Trace function */
/* In a generator, we need to be able to swap between the exception
state inside the generator and the exception state of the calling
frame (which shouldn't be impacted when the generator "yields"
from an except handler).
These three fields exist exactly for that, and are unused for
non-generator frames. See the save_exc_state and swap_exc_state
functions in ceval.c for details of their use. */
PyObject *f_exc_type, *f_exc_value, *f_exc_traceback;
/* Borrowed reference to a generator, or NULL */
PyObject *f_gen;
int f_lasti; /* Last instruction if called */
/* Call PyFrame_GetLineNumber() instead of reading this field
directly. As of 2.3 f_lineno is only valid when tracing is
active (i.e. when f_trace is set). At other times we use
PyCode_Addr2Line to calculate the line from the current
bytecode index. */
int f_lineno; /* Current line number */
int f_iblock; /* index in f_blockstack */
char f_executing; /* whether the frame is still executing */
PyTryBlock f_blockstack[CO_MAXBLOCKS]; /* for try and loop blocks */
PyObject *f_localsplus[1]; /* locals+stack, dynamically sized */
} PyFrameObject;

内存申请和栈帧的内存布局

在 cpython 当中,当我们需要申请一个 frame object 对象的时候,首先需要申请内存空间,但是在申请内存空间的时候并不是单单申请一个 frameobject 大小的内存,而是会申请额外的内存空间,大致布局如下所示。

  • f_localsplus,这是一个数组用户保存函数执行的 local 变量,这样可以直接通过下标得到对应的变量的值。
  • ncells 和 nfrees,这个变量和我们前面在分析 code object 的函数闭包相关,ncells 和 ncells 分别表示 cellvars 和 freevars 中变量的个数。
  • stack,这个变量就是函数执行的时候函数的栈帧,这个大小在编译期间就可以确定因此可以直接确定栈空间的大小。

下面是在申请 frame object 的核心代码:

 
Py_ssize_t extras, ncells, nfrees;
ncells = PyTuple_GET_SIZE(code->co_cellvars); // 得到 co_cellvars 当中元素的个数 没有的话则是 0
nfrees = PyTuple_GET_SIZE(code->co_freevars); // 得到 co_freevars 当中元素的个数 没有的话则是 0
// extras 就是表示除了申请 frame object 自己的内存之后还需要额外申请多少个 指针对象
// 确切的带来说是用于保存 PyObject 的指针
extras = code->co_stacksize + code->co_nlocals + ncells +
nfrees;
if (free_list == NULL) {
f = PyObject_GC_NewVar(PyFrameObject, &PyFrame_Type,
extras);
if (f == NULL) {
Py_DECREF(builtins);
return NULL;
}
}
// 这个就是函数的 code object 对象 将其保存到栈帧当中 f 就是栈帧对象
f->f_code = code;
extras = code->co_nlocals + ncells + nfrees;
// 这个就是栈顶的位置 注意这里加上的 extras 并不包含栈的大小
f->f_valuestack = f->f_localsplus + extras;
// 对额外申请的内存空间尽心初始化操作
for (i=0; i<extras; i++)
f->f_localsplus[i] = NULL;
f->f_locals = NULL;
f->f_trace = NULL;
f->f_exc_type = f->f_exc_value = f->f_exc_traceback = NULL;
f->f_stacktop = f->f_valuestack; // 将栈顶的指针指向栈的起始位置
f->f_builtins = builtins;
Py_XINCREF(back);
f->f_back = back;
Py_INCREF(code);
Py_INCREF(globals);
f->f_globals = globals;
/* Most functions have CO_NEWLOCALS and CO_OPTIMIZED set. */
if ((code->co_flags & (CO_NEWLOCALS | CO_OPTIMIZED)) ==
(CO_NEWLOCALS | CO_OPTIMIZED))
; /* f_locals = NULL; will be set by PyFrame_FastToLocals() */
else if (code->co_flags & CO_NEWLOCALS) {
locals = PyDict_New();
if (locals == NULL) {
Py_DECREF(f);
return NULL;
}
f->f_locals = locals;
}
else {
if (locals == NULL)
locals = globals;
Py_INCREF(locals);
f->f_locals = locals;
}
f->f_lasti = -1;
f->f_lineno = code->co_firstlineno;
f->f_iblock = 0;
f->f_executing = 0;
f->f_gen = NULL;

现在我们对 frame object 对象当中的各个字段进行分析,说明他们的作用:

  • PyObject_VAR_HEAD:表示对象的头部信息,包括引用计数和类型信息。
  • f_back:前一个栈帧对象的指针,或者为NULL。
  • f_code:指向 PyCodeObject 对象的指针,表示当前帧执行的代码段。
  • f_builtins:指向 PyDictObject 对象的指针,表示当前帧的内置符号表,字典对象,键是字符串,值是对应的 python 对象。
  • f_globals:指向 PyDictObject 对象的指针,表示当前帧的全局符号表。
  • f_locals:指向任意映射对象的指针,表示当前帧的局部符号表。
  • f_valuestack:指向当前帧的值栈底部的指针。
  • f_stacktop:指向当前帧的值栈顶部的指针。
  • f_trace:指向跟踪函数对象的指针,用于调试和追踪代码执行过程,这个字段我们在后面的文章当中再进行分析。
  • f_exc_type、f_exc_value、f_exc_traceback:这个字段和异常相关,在函数执行的时候可能会产生错误异常,这个就是用于处理异常相关的字段。
  • f_gen:指向当前生成器对象的指针,如果当前帧不是生成器,则为NULL。
  • f_lasti:上一条指令在字节码当中的下标。
  • f_lineno:当前执行的代码行号。
  • f_iblock:当前执行的代码块在f_blockstack中的索引,这个字段也主要和异常的处理有关系。
  • f_executing:表示当前帧是否仍在执行。
  • f_blockstack:用于try和loop代码块的堆栈,最多可以嵌套 CO_MAXBLOCKS 层。
  • f_localsplus:局部变量和值栈的组合,是一个动态大小的数组。

如果我们在一个函数当中调用另外一个函数,这个函数再调用其他函数就会形成函数的调用链,就会形成下图所示的链式结构。

例子分析

我们现在来模拟一下下面的函数的执行过程。

 
import dis
def foo():
a = 1
b = 2
return a + b
if __name__ == '__main__':
dis.dis(foo)
print(foo.__code__.co_stacksize)
foo()

上面的 foo 函数的字节码如下所示:

 
6 0 LOAD_CONST 1 (1)
2 STORE_FAST 0 (a)
7 4 LOAD_CONST 2 (2)
6 STORE_FAST 1 (b)
8 8 LOAD_FAST 0 (a)
10 LOAD_FAST 1 (b)
12 BINARY_ADD
14 RETURN_VALUE

函数 foo 的 stacksize 等于 2 。

初始时 frameobject 的布局如下所示:

现在执行第一条指令 LOAD_CONST 此时的 f_lasti 等于 -1,执行完这条字节码之后栈帧情况如下:

在执行完这条字节码之后 f_lasti 的值变成 0。字节码 LOAD_CONST 对应的 c 源代码如下所示:

 
TARGET(LOAD_CONST) {
PyObject *value = GETITEM(consts, oparg); // 从常量表当中取出下标为 oparg 的对象
Py_INCREF(value);
PUSH(value);
FAST_DISPATCH();
}

首先是从 consts 将对应的常量拿出来,然后压入栈空间当中。

再执行 STORE_FAST 指令,这个指令就是将栈顶的元素弹出然后保存到前面提到的 f_localsplus 数组当中去,那么现在栈空间是空的。STORE_FAST 对应的 c 源代码如下:

 
TARGET(STORE_FAST) {
PyObject *value = POP(); // 将栈顶元素弹出
SETLOCAL(oparg, value); // 保存到 f_localsplus 数组当中去
FAST_DISPATCH();
}

执行完这条指令之后 f_lasti 的值变成 2 。

接下来的两条指令和上面的一样,就不做分析了,在执行完两条指令,f_lasti 变成 6 。

接下来两条指令分别将 a b 加载进入栈空间单中现在栈空间布局如下所示:

然后执行 BINARY_ADD 指令 弹出栈空间的两个元素并且把他们进行相加操作,最后将得到的结果再压回栈空间当中。

 
TARGET(BINARY_ADD) {
PyObject *right = POP();
PyObject *left = TOP();
PyObject *sum;
if (PyUnicode_CheckExact(left) &&
PyUnicode_CheckExact(right)) {
sum = unicode_concatenate(left, right, f, next_instr);
/* unicode_concatenate consumed the ref to left */
}
else {
sum = PyNumber_Add(left, right);
Py_DECREF(left);
}
Py_DECREF(right);
SET_TOP(sum); // 将结果压入栈中
if (sum == NULL)
goto error;
DISPATCH();
}

最后执行 RETURN_VALUE 指令将栈空间结果返回。

总结

在本篇文章当中主要介绍了 cpython 当中的函数执行的时候的栈帧结构,这里面包含的程序执行时候所需要的一些必要的变量,比如说全局变量,python 内置的一些对象等等,同时需要注意的是 python 在查询对象的时候如果本地 f_locals 没有找到就会去全局 f_globals 找,如果还没有找到就会去 f_builtins 里面的找,当一个程序返回的时候就会找到 f_back 他上一个执行的栈帧,将其设置成当前线程正在使用的栈帧,这就完成了函数的调用返回,关于这个栈帧还有一些其他的字段我们没有谈到在后续的文章当中将继续深入其中一些字段。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/899868.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

RT1052的EPWM

文章目录 1 EPWM介绍1.1 引脚1.2 时钟1.3 比较寄存器 2 函数 1 EPWM介绍 RT1052 具有 4 个 eFlexPWM(eFlexWM1~eFlex_PWM4)。 每个 eFlexPWM 可以产生四路互补 PWM即产生 8 个 PWM&#xff0c;也可以产生相互独立的 PWM 波。四路分别是模块0-3每个 eFlexPWM 具有各自的故障检…

如何学习专业的学术用语01

问题的提出——凭啥人家写的词汇这么专业 做法一 做法二&#xff1a;做一个专业数据库 专门做教育技术类的

换过3个工作,我却得出10年测试人的血泪经验

我跟大多数IT职场的测试新人起点差不多&#xff0c;在测试的这条路上&#xff0c;没有天生的聪明天资&#xff0c;也没有一个耀眼的学历。在北京这样一个随便一个同事不是清华的本硕&#xff0c;就是北邮北航的硕士下&#xff0c;自己也常常感到惭愧。 自己从事测试多年&#…

论文笔记 Graph Attention Networks

2018 ICLR 1 intro 1.1. GCN的不足 无法完成inductive任务 inductive任务是指&#xff1a; 训练阶段与测试阶段需要处理的graph不同。通常是训练阶段只是在子图上进行&#xff0c;测试阶段需要处理未知的顶点。GGN 的参数依赖于邻接矩阵A/拉普拉斯矩阵L&#xff0c;所以换了…

一个完整挖洞 /src 漏洞实战流程【渗透测试】

目录: 1.如何找漏洞 2.找到后如何挖漏洞 3.漏洞如何提交 只要搞渗透&#xff0c;不就会听到很多行业内人前辈一直在重复:“信息搜集” 信息搜集有多重要&#xff0c;你搜集的到的多少资产信息&#xff0c;决定了你后续进行的一系列实战到什么程度! 要说 SQL 注入的漏洞咋找…

【博客700】如何使用 Nginx Ingress 快速实现金丝雀与蓝绿部署

如何使用 Nginx Ingress 快速实现金丝雀与蓝绿部署 背景 越来越多的应用采用微服务架构&#xff0c;应用数量相比传统模式更多&#xff0c;管理更加复杂&#xff0c;发布更加频繁&#xff0c;如果直接将新版本上线发布给全部用户。一旦遇到线上事故&#xff08;或BUG&#xff…

Selenium的使用:WEB功能测试

Selenium是ThrougthWorks公司一个强大的开源WEB功能测试工具系列&#xff0c;本系统包括多款软件 Selenium语言简单&#xff0c;用(Command,target,value)三种元素组成一个行为&#xff0c;并且有协助录制脚本工具&#xff0c;但Selenese有一些严格的限制&#xff1a; …

在字节和滴滴划水四年,过于真实了...

先简单交代一下&#xff0c;我是某不知名211的计算机本硕&#xff0c;18年毕业加入滴滴&#xff0c;之后跳槽到了头条&#xff0c;一直从事测试开发相关的工作。之前没有实习经历&#xff0c;算是四年半的工作经验吧。 这四年半之间完成了一次晋升&#xff0c;换了一家公司&am…

torch.cuda.is_available()为false的解决办法

一、问题 在进行torch进行开发的过程中&#xff0c;我们习惯性的会使用pip install torch这样的方式来安装torch的包。 其实这样的是安装CPU的torch。 在导入包&#xff0c;执行下面代码的过程中&#xff0c;会出现结果为false。 import torchprint(torch.cuda.is_availabl…

04-数据集汇总

一、3D检测数据集 1、Argoverse数据集[参考] 年份&#xff1a;2019年&#xff1b; 作者&#xff1a;Argo AI等&#xff1b; 场景数&#xff1a;共113个场景&#xff0c;室外&#xff0c;包括USA&#xff0c;Pennsylvania&#xff0c;Miami&#xff0c;Florida等&#xff1b…

Django进阶:DRF(Django REST framework)

什么是DRF&#xff1f; DRF即Django REST framework的缩写&#xff0c;官网上说&#xff1a;Django REST framework是一个强大而灵活的工具包&#xff0c;用于构建Web API。 简单来说&#xff1a;通过DRF创建API后&#xff0c;就可以通过HTTP请求来获取、创建、更新或删除数据(…

CFDEM-OpenFOAM-Yade安装教程

在网上搜索与OpenFOAM相关的颗粒两相流计算资料时&#xff0c;发现了一个CFD-DEM coupled simulations with Yade and OpenFOAM。 在此之前&#xff0c;我学习过OpenFOAM自带的颗粒计算求解器&#xff0c;但是自带的求解器有很多缺点&#xff0c;最大的缺点就是颗粒运动方程的求…

10. 实现业务功能--退出登录

目录 1. 实现 Controller 2. 单体测试 3. 实现前端界面 退出的具体实现逻辑如下&#xff1a; 1. 用户访问退出接口 2. 服务器注销 Session( 在 Controller 中可以直接进行处理 &#xff09; 3. 返回成功或失败 4. 如果返回成功浏览器跳转到相应页面 5. 结束 一般来说&#…

Python入门--开发工具

Python是一种优秀的编程语言&#xff0c;具有简单易学、开放源代码、高效可靠等特点&#xff0c;广泛应用于Web开发、科学计算、数据分析、人工智能等领域。以下是常用的Python开发工具&#xff1a; PyCharm&#xff1a;JetBrains公司开发的Python IDE&#xff0c;功能强大&…

VMware vSphere Client端设置热添加虚拟机的CPU和内存

使用vSphere Client连接到VMware ESXi Server&#xff0c;在“配置→网络”中&#xff0c;可以看到&#xff0c;当前有两个虚拟交换机&#xff0c;并且为该虚拟交换机分配了管理地址10.10.228.81&#xff0c;点击“添加网络”如图所示。 添加配置向导&#xff0c;在网络类型&am…

AIGC的变革

AIGC&#xff08;Artificial Intelligence and General Computing&#xff09;是一个涵盖人工智能和通用计算的领域&#xff0c;它的发展前景非常广阔。以下是一些关于AIGC发展前景的观点&#xff1a; 人工智能市场增长迅速&#xff1a;随着人工智能技术的迅猛发展&#xff0c;…

嵌入式学习之投票系统改进版本

今天周六&#xff0c;9点钟就开始写代码&#xff0c;但是呢&#xff0c;一直在家里面&#xff0c;真的很容易心烦气躁&#xff0c;我正在研究有没有什么方法可以改变我的状态&#xff0c;今天写的代码是做昨天做的选票系统的改进&#xff0c;代码如下&#xff1a;

C语言实现贷款计算器

等额本金&#xff0c;等额本息数学推导:贷款 买房&#xff0c;利息怎么算&#xff1f;不要被忽悠了&#xff01;李永乐老师讲等额本金和等额本息 一个心血来潮的研究&#xff0c;避免以后买房被坑。 捣鼓了半天才发现原来支付宝的那个利率是年利率不是月利率&#xff0c;坑了…

猿人学刷题系列(第一届比赛)——第四题

题目&#xff1a;采集这5页的全部数字&#xff0c;计算加和并提交结果 地址&#xff1a;https://match.yuanrenxue.cn/match/4 页面分析 首先打开开发者工具然后刷新界面进行抓包。 通过返回的数据来看&#xff0c;我们需要的数据极有可能是位于info键对应的值中&#xff0c;…

Nginx介绍(Nginx是什么?能干什么?)

Nginx的产生 没有听过Nginx&#xff1f;那么一定听过它的"同行"Apache吧&#xff01;Nginx同Apache一样都是一种WEB服务器&#xff0c;基于REST架构风格&#xff0c;以统一资源描述符(Uniform Resources Identifier)URI或者统一资源定位符(Uniform Resources Locator…