简单解释
全局解释器锁(Global Interpreter Lock,简称 GIL)是 CPython
解释器内部的一个同步原语,它用于在同一时间只允许一个线程执行 Python 字节码。
GIL 的工作原理如下:
- 在 CPython 中,每个线程都需要获得 GIL 才能执行 Python 字节码。
- 当一个线程获得 GIL 后,其他线程就不能执行 Python 字节码,只能等待 GIL 被释放。
- 在 I/O 操作、调用 C 扩展或者达到一定的字节码执行次数后,线程会自动释放 GIL,允许其他线程执行。
尽管 GIL 限制了多线程并行性,但对于 I/O 密集型任务,它不会带来太大影响。在这种情况下,线程经常在等待 I/O 操作完成,而不是竞争 CPU 资源,因此 GIL 对性能的影响较小。
然而,对于计算密集型任务,GIL 可能会导致性能瓶颈。例如,假设有两个线程,每个线程都在执行密集型计算任务。由于 GIL 的存在,这两个线程不能同时在多核处理器上运行,而是必须串行执行。这种情况下,Python 多线程性能可能不如单线程。
为了绕过 GIL,可以采用以下方法:
- 使用多进程,而非多线程。每个进程都有自己的 Python 解释器和内存空间,因此 GIL 不会影响多进程之间的并行性。
- 使用其他 Python 实现,如
PyPy
或Jython
,它们没有 GIL 限制。 - 使用 C 或 C++ 扩展,将计算密集型任务放在 C/C++ 代码中执行,从而避免 GIL。
GIL的历史原因
GIL 存在的主要原因是为了确保 CPython
解释器在多线程环境下的内存管理和对象操作的线程安全。GIL 的历史可以追溯到 1990 年代初期,Python 的创始人 Guido van Rossum
在设计 Python 时,引入了 GIL 作为一个简单有效的解决方案。
CPython
使用引用计数来管理对象的内存。当一个对象的引用计数变为 0 时,对象所占用的内存将被释放。在多线程环境下,如果没有 GIL,多个线程可能同时对同一个对象的引用计数进行操作,导致竞争条件和内存泄漏等问题。
为了解决这个问题,可以引入一些复杂的同步机制,如每个对象都有自己的锁。然而,这样的设计会导致大量的锁竞争和死锁等问题,以及增加实现的复杂性。相比之下,GIL 是一个简单有效的解决方案,只需要保证在同一时刻只有一个线程执行 Python 字节码,就可以避免这些问题。
然而,GIL 的引入导致了一个明显的副作用,即限制了 Python 多线程程序在多核处理器上的并行性。随着多核处理器的普及,这个问题愈发突出。尽管如此,GIL 仍然存在于 CPython
中,这是因为移除 GIL 并替换为其他线程安全机制需要对整个 CPython
解释器进行重大改动,这可能导致许多现有的 Python 应用程序和 C 扩展无法正常工作。
为了避免 GIL 带来的性能限制,开发者可以选择其他没有 GIL 限制的 Python 实现(如 Jython
、PyPy
等),或者使用多进程、C/C++ 扩展等方法。
看点源码
在 CPython
源码中,GIL 是通过 PyThread_type_lock
数据结构实现的。具体的实现可能因 CPython
版本和平台而异。以下是在 CPython 3.9
源码中,GIL 的关键部分。
- 在
Python/pystate.h
文件中,可以找到 GIL 的声明:
PyAPI_DATA(PyThread_type_lock) _PyRuntimeState.ceval_gil;
- 在
Python/ceval_gil.h
文件中,定义了用于获取和释放 GIL 的宏:
/* Lock and unlock the global interpreter lock (GIL) */
#define _PyEval_AcquireThread(tstate) \
do { PyThread_acquire_lock(_PyRuntime.ceval_gil, WAIT_LOCK); } while (0)
#define _PyEval_ReleaseThread(tstate) \
do { PyThread_release_lock(_PyRuntime.ceval_gil); } while (0)
#define _PyEval_AcquireInterpreter(interp) \
do { PyThread_acquire_lock((interp)->ceval_gil, WAIT_LOCK); } while (0)
#define _PyEval_ReleaseInterpreter(interp) \
do { PyThread_release_lock((interp)->ceval_gil); } while (0)
- 在
Python/ceval.c
文件中,可以找到 GIL 的初始化和释放操作:
void
_PyEval_FiniThreads(void)
{
/* Destroy the GIL */
PyThread_free_lock(_PyRuntime.ceval_gil);
}
int
_PyEval_InitThreads(PyThreadState *tstate)
{
if (!_PyRuntime.ceval_gil) {
_PyRuntime.ceval_gil = PyThread_allocate_lock();
PyThread_acquire_lock(_PyRuntime.ceval_gil, WAIT_LOCK);
}
return 0;
}
在 Python 字节码的执行过程中,_PyEval_AcquireThread
和 _PyEval_ReleaseThread
宏用于获取和释放 GIL。在实际使用中,还有一些其他函数和宏用于管理 GIL,例如在调用 C 扩展时,可以使用 Py_BEGIN_ALLOW_THREADS
和 Py_END_ALLOW_THREADS
宏临时释放 GIL。