1. pickle标准库简介
- pickle，作为名词表示泡菜，作为动词表示用醋或盐水保存食物。由此不难联想到，用存储设备持久化保存数据。而pickle标准库恰是一个 Python 对象结构的二进制序列化和反序列化的核心库，专用于表示Python语言大量数据类型，是序列化 Python 对象时的首选。
- pickle标准库是一个纯Python实现的标准版本，cPickle标准库(Python 3.x更名为_pickle)则是C语言实现的加速版本，读写效率较高。
- 实际使用Python3.x过程中，我们直接导入标准版本即可，源代码最后部分会尝试导入加速版本对应函数，不必单独导入pickle模块，如下所示：
# Use the faster _pickle if possible
try:
from _pickle import (
PickleError,
PicklingError,
UnpicklingError,
Pickler,
Unpickler,
dump,
dumps,
load,
loads
)
except ImportError:
Pickler, Unpickler = _Pickler, _Unpickler
dump, dumps, load, loads = _dump, _dumps, _load, _loads
1.1 预备知识
-
数据持久化(Data Persistence)：将内存中的数据模型转换为存储模型，以及将存储模型转换为内存中的数据模型的统称，一般是指把瞬时数据（如内存中的对象）转换为持久数据永久保存到存储设备中（如磁盘）。
-
序列化\反序列化分类：二进制序列、文本序列
-
序列化(Serialization)：将对象的状态信息转换为可以存储或传输的形式的过程，目的是使内存中的状态信息持久化便于以后恢复、
方便在网络传输以实现跨平台数据交互。
-
反序列化(Deserialization)：将序列重新恢复成对象的过程，是序列化的逆过程
1.2 pickle与json的对比
| 比较维度\标准库 | pickle | json |
|---|---|---|
| 序列化方式 | 二进制序列 | 文本序列 |
| 人类直观可读 | 否 | 是 |
| 跨平台、语言、协议 | 否，Python专用 | 是 |
| 数据类型表示支持 | 可表示大量Python数据类型 | 只能表示Python内置类型子集，不能表示自定义的类 |
2. pickle常用函数
2.1 pickle.dump(obj, file, protocol=None, *, fix_imports=True)
将 Python 对象写入已打开的二进制文件
# define a dict object
obj={
"name":"Bonnie",
"isAGirl":True,
"age":22,
"hobbies":["guitar","singing","traveling"]
}
# 将obj写入已打开的二进制文件，序列化
with open("puppy_love.pkl","wb") as f:
pickle.dump(obj,f,protocol=pickle.HIGHEST_PROTOCOL) # 设置为可用的最高协议
2.2 pickle.load(file, *, fix_imports=True, encoding='ASCII', errors='strict')
从已打开的二进制文件中读取打包后的对象，重建其中特定对象的层次结构并返回
# 从打开的二进制文件重建对象，反序列化
with open("puppy_love.pkl","rb") as f:
obj_again=pickle.load(f)
print("反序列化后的对象为{}".format(obj_again))
2.3 pickle.dumps(obj, protocol=None, *, fix_imports=True)
将 obj 打包以后的对象作为bytes 类型直接返回，而不是将其写入到文件
# 将Python对象直接转为bytes类型，不写入文件
bytes_obj=pickle.dumps(obj,protocol=pickle.HIGHEST_PROTOCOL) # 设置为可用的最高协议
print("obj转换为bytes类型后为{}".format(bytes_obj))
2.4 pickle.loads(data, *, fix_imports=True, encoding='ASCII', errors='strict')
重建并返回一个对象的封存表示形式 data 的对象层级结构，bytes类型将反序列化为Python对象
# bytes类型将反序列化为Python对象
obj_origin=pickle.loads(bytes_obj)
print("bytes类型将反序列化为obj后{}".format(obj_origin))
3.参考文献
- pickle —— Python 对象序列化 — Python 3.7.13 文档
