Python：Python进阶：Python字符串驻留技术

news2024/10/6 22:26:33

Python字符串驻留技术

1.什么是字符串驻留
2. 为什么要驻留字符串
3. Python的字符串驻留
4. Python 字符驻留原理
- 4.1 如何驻留字符串
- 4.2 如何清理驻留的字符串
5. 字符串驻留的实现
- 5.1. 变量、常量与函数名
- 5.2 字典的键
- 5.3 任何对象的属性
- 5.4 显式地驻留
6 字符串驻留的其他发现

由于字符串是任何编程语言中不可或缺的一个部分，因此，如果有快速操作字符串的能力，就有可以迅速的提高整体的性能。
本文，我们将深入研究Python 的内部实现，并了解 Python如何使用一种名为字符串驻留（string Interning）的技术，实现解释器的高性能。以下是本文的提纲

在这里插入图片描述

1.什么是字符串驻留

字符串驻留是编译器/解释器的优化方法，它通过缓存一般性的字符串，从而节省字符串处理任务的空间和时间。
事实上这种优化方法不会每次都创建一个新的字符串副本，而是仅为每个适当的不可变值保留一个字符串副本，并使用指针引用之。
string interning 一般译为 “ 字符串驻留或字符串留用” 在某些语言中可能习惯使用 string pool （字符串常量池）的概念，其实这是对同一种机制的不同表述。

2. 为什么要驻留字符串

首先字符串驻留提升了字符串比较的速度。 如果没有驻留，当我们要比较两个字符串是否相等时，它的时间复杂度将会上升到 o(n) ，即需要检查两个字符串中的每个字符，才能判断他们是否相等。
但是，如果两个字符串使用的是同一个对象的引用，那么我们只需要判断检查指针是否相同，就足以判断出两个字符串是否相同，不需要逐一检查每个字符串。
字符串驻留技术减少了内存占用，Python避免内存中充斥多余的字符串对象，通过享元设计模式共享和重用已经定义的对象，从而优化内存占用。

3. Python的字符串驻留

在Python中使用 is 运算符，检查两个对象是否引用同一个内存对象。注意在 Python3.8 版本之后，需要使用 == 来判断两个对象是否相等。

"python" == 'python'  # true
1==2 # false
"Python" == 'python'  # false

4. Python 字符驻留原理

在 CPython 中，字符串的引用被一个名为 interned 的 python字典所存储，访问和管理。该字典在第一调用字符串驻留时，被延迟的初始化，并持有全部已驻留字符串对象的引用。

4.1 如何驻留字符串

在 CPython 中，负责驻留字符串的核心函数是 PyUnicode_InternInplace 它定义在 unicodeobject.c 中，当调用时，它会创建一个准备容纳所有驻留字符串的字典 Interned , 然后登记入参中的对象，然后另其键和值都使用相同的对象引用

void PyUnicode_InternInplace(PyObject **p)
{
	PyObject *s = p;
	........
	// Lazing build the dicrionary to hold interned strings
	if (interned ==NULL) {
    	interned  = PyDict_New();
    	if (interned ==NULL)
    	{
			PyErr_Clear();
			return;
        }
    }
    PyObject *t;
    // make an entry to the interned dictionary for the given object
    t = PyDict_SetDefault(interned, s, s);
    ......
    // set the state of the string to be INTERNED
    _PyUnicode_STATE(s).interned = SSTATE_INTERNED_MORTAL;
}

4.2 如何清理驻留的字符串

清理函数从 interned 字典中遍历所有的字符串，调整这些对象的引用计数，并把它们标记为 NOT_INTERNED，使其被垃圾回收，一旦所有的字符串被标记为 NOT_INTERNED，则 interned 字典会被清空并删除。

这个清理函数就是 _PyUnicode_ClearInterned ，在 unicodeobject.c 中定义

void _PyUnicode_ClearInterned(PyThreadState *tstate)
{
	// Get all the keys to the interned dictionary
	PyObject *keys = PyDict_Keys(interned);
	.......
	// Interned Unicode strings are not forcibly deallocated
	// rather ,we give them their stolen references back
	// and then clear and DECREF the interned dict
	for(Py_ssize_t i = 0; i< n; i++)
	{
		PyObject *s = PyList_GET_ITEM(keys,i);
		.....
		switch (PyUnicode_CHECK_INTERNED(s)){
		case SSTATE_INTERNED_IMMORTAL:
			   Py_SET_REFCNT(s,Py_REFCNT(s)+1);
			   break;
		case SSTATE_INTERNED_MORTAL:
		     // Restore the two references(key and balue) ignored
		     // by PyUnicode_InterInPlace()
		     Py_SET_REFCNT(s,Py_REFCNT(s) +2);
		     break;
		case SSTATE_NOTINTERNED:
		default:
			Py_UNREACHABLE();
        }
        // making the string to be  NOT_INTERNED
        _PyUnicode_STATE(s).interned = SSTATE_NOT_INTERNED;
	}
	// decreasing the refernece to the initialized and
	// access可以是object
	Py_DECREF(keys);
	// clearing the dictionary
	PyDict_Clear(interned);
	// clearing the object interned
	Py_CLEAR(interned);
}