常见加密手段
实验介绍
本实验为大家介绍一下常见的加密技术，掌握之后，可以在反爬时加入各加密算法，从而提高爬虫采集难度，本实验为大家介绍三类加密，其一是消息摘要算法/签名算法，其二是对称加密，最后一种是非对称加密，每一类型，都通过 Python 代码进行实践。特别提醒，本实验内容不会对加密算法底层逻辑进行解析，学习重点在应用层。
知识点
- 消息摘要算法/签名算法实践
- 对称加密算法实践
- 非对称加密算法实践
消息摘要算法/签名算法
md5 加密
md5 信息摘要算法，是最常用的密码散列函数，其可以产生 128 位的散列值，也就是 128 个 0 和 1 的二进制串，由于长度太长，故将二进制转换成了 16 进制，每 4 位表示一个十六进制，因此常见的 md5 都是 32 位。
在实践中还存在 16 位的 md5 值，该值是将 32 位 md5 去掉前 8 位，去掉后 8 位得到。
在 Code 目录建立 15_demo 文件夹，然后创建 md5_demo.py 文件，示例代码如下所示：
import hashlib
my_str = '梦想橡皮擦'
hl = hashlib.md5()
hl.update(my_str.encode("utf8"))
hl_my_str = hl.hexdigest()
# 加密之后的数据
print(hl_my_str)
# 加入参数，防止被撞库
hl2 = hashlib.md5(bytes('加盐', encoding='utf-8'))
hl2.update(my_str.encode("utf-8"))
hl2_str = hl2.hexdigest()
print(hl2_str)
md5 信息摘要算法其不可逆，并且有如下特点：
-
压缩性：任意长度的数据，计算出 md5 长度固定；
-
易计算：md5 模块使用便捷，计算方便；
-
抗修改：md5 的原始数据做任何修改，都会导致 md5 发生变化；
-
抗碰撞：加参数之后，被撞库的概率极低。
SHA1 加密
SHA1 安全哈希算法，是一种数字签名算法，其基于 md5 ，加密后会产生一长度 160 位的散列值，比 md5 多了 32 位，故安全性更高，但速度较慢。
import hashlib
str = "梦想橡皮擦"
a = hashlib.sha1(str.encode("utf-8")).hexdigest()
print("sha1 加密前，字符串为",str)
print("sha1 加密后，字符串为",a)
对称加密算法
DES 加密
DES 是一种比较传统的数据加密标准，属于对称加密，即通过密钥可以还原密码为明文。
在 Python 中可以通过 pyDes 库实现，使用命令 pip3 install pyDes 安装库。
创建 des_demo.py，代码如下所示：
import base64
from pyDes import *
Des_Key = "xiangpia" # 自定义 Key，长度为 8
Des_IV = "12345678" # 自定义 IV 向量
# 加密函数
def DesEncrypt(code, key=None, iv=None):
if key is None:
key=Des_Key
if iv is None:
iv=Des_IV
k = des(key, CBC, iv, pad=None, padmode=PAD_PKCS5)
EncryptStr = k.encrypt(code)
return base64.b64encode(EncryptStr)
# 解密函数
def DesDecrypt(encode, key=None, iv=None):
if key is None:
key=Des_Key
if iv is None:
iv=Des_IV
k = des(key, CBC, iv, pad=None, padmode=PAD_PKCS5)
b64str = base64.b64decode(encode)
return k.decrypt(b64str)
if __name__ == '__main__':
ret = DesEncrypt("hello lanqiao")
print(ret)
运行代码，得到下述输出：
上述代码中比较重要的内容如下所示：
# 加密核心函数
k = des(key, CBC, iv, pad=None, padmode=PAD_PKCS5)
其中 key 相当于是加密盐，CBC 是加密模式，iv 是加密向量，pad 填充值，padmode 是填充方式，具体说明如下：
初始向量
初始向量缩写为 iv，一般也称作初始变数，它可以与密钥结合使用，为固定长度的值，在实战中一般使用随机数初始化。
加密模式
目前主流的加密和数字认证算法，基本都采用块加密，即将明文分成大小相等的数据块，然后执行加密算法，常见的模式说明如下所示，有兴趣的可以单独进行深入学习：
-
ECB：电子密码本模式，密文被分隔成长度相等的块，单独进行加密；
-
CBC：密码块连接模式，使用循环的形式，将前一块的密文和当前块异或之后再加密；
-
CFB：密码反馈模式，翻转的 CBC 模式；
-
OFB：输出反馈模式；
-
CTR：计数器模式。
填充方式 padmode
由于 des 需要将明文分成大小相等的数据块，所以最后一块数据在加密前需要进行填充，常见的填充形式有：
-
PKCS7：假设数据长度需要填充 n 个字节，那就填充 n 个字节，并且每个字节的大小都是 n；
-
PKCS5：PKCS7 的子集，块大小固定为 8 字节；
-
ZeroPadding：所有字节填充为 0；
-
ISO10126：填充字节为随机数值。
AES 加密
AES 是一种高级加密标准，一般情况下用来替代 DES，故二者逻辑基本一致，实现该加密算法，需要使用 Crypto 库实现，先用命令 pip3 install pycryptodome 进行安装。
建立 aes_demo.py 文件，然后导入模块并定义全局变量。
import base64
from Crypto.Cipher import AES
iv = '1234567887654321'
key = 'xiangxiangxiang1'
data = 'hello lanqiao'
代码说明如下：
-
iv：初始向量；
-
key：密钥，长度是 128 bit，故使用长度为 16 的字符串；
-
data：待加密数据。
接下来编写加密函数：
import base64
from Crypto.Cipher import AES
iv = '1234567887654321'
key = 'xiangxiangxiang1' # 长度为 16
data = 'hello lanqiao'
# 由于 AES 区块固定为 128 bit，所以字节长度最低需要16位
def pad(data):
pad_data = data
for i in range(0, 16 - len(data)):
pad_data = pad_data + ' '
return pad_data
# 实现 AES 加密
def aes_encode(key, data):
# 将长度补齐到 16 位
if len(data) < 16:
data = pad(data)
# 初始化 aes 对象，模式为 CBC
aes_obj = AES.new(key.encode("utf-8"), AES.MODE_CBC, iv.encode("utf-8"))
# 执行加密方法
aes_en_str = aes_obj.encrypt(data.encode("utf-8"))
# 进行 base64编码
aes_en_str = base64.b64encode(aes_en_str)
# 转换成字符串
aes_en_str = aes_en_str.decode("utf-8")
return aes_en_str
if __name__ == '__main__':
data = aes_encode(key, data)
print(data)
密文解码函数如下所示：
def aec_de(key, data):
# 密文进行二进制编码
data = data.encode("utf-8")
# 解 base64 编码
data = base64.b64decode(data)
aes_de_obj = AES.new(key.encode("utf-8"), AES.MODE_CBC, iv.encode("utf-8"))
# 解密
aes_de_str = aes_de_obj.decrypt(data)
# 去空格
aes_de_str = aes_de_str.strip()
# 明文解码
aes_de_str = aes_de_str.decode("utf-8")
return aes_de_str
if __name__ == '__main__':
data = aes_encode(key, data)
ret = aec_de(key, data)
print(ret)
非对称加密算法
采用两个密钥进行加密和解密，对应的分别是公钥和私钥，如使用公钥对数据加密，则必须使用私钥解密。
RSA 加密算法
RSA 加密算法时常见的 非对称加密算法，该算法效率比较低，所以一般用于重要数据加密，在 Python 中可以使用 Crypto 库实现该算法，上文已经对该库进行了安装。
下面优先生成公钥和私钥。
from Crypto import Random
from Crypto.PublicKey import RSA
# 生成伪随机数
random_gen = Random.new().read
# 生成秘钥对实例对象，其中 1024 是秘钥的长度
rsa = RSA.generate(1024, random_gen)
# 获取私钥，保存到文件
private_pem = rsa.exportKey()
with open('private.pem', 'wb') as f:
f.write(private_pem)
# 获取公钥，保存到文件
public_pem = rsa.publickey().exportKey()
with open('public.pem', 'wb') as f:
f.write(public_pem)
公钥创建完毕之后，就可以使用其进行加密了，代码如下。
import base64
from Crypto.PublicKey import RSA
from Crypto.Cipher import PKCS1_v1_5
msg = "梦想橡皮擦"
# 读取公钥
key = open('public.pem').read()
public_key = RSA.importKey(key)
# 加密
pk = PKCS1_v1_5.new(public_key)
encrypt_text = pk.encrypt(msg.encode())
# 加密后进行 base64 编码
result = base64.b64encode(encrypt_text)
# 转换成字符串
result_str = bytes.decode(result)
print(result)
print(result_str)
运行代码得到如下结果：
解密需要通过私钥进行，从 private.pem 读取私钥，然后调用 PKCS1_v1_5.new(private_key).decrypt() 方法即可实现，示例代码如下所示：
import base64
from Crypto.PublicKey import RSA
from Crypto.Cipher import PKCS1_v1_5
from Crypto import Random
key = open('private.pem').read()
private_key = RSA.importKey(key)
cipher = PKCS1_v1_5.new(private_key)
# random_generator = Random.new().read
# 待解密字符串：lwiHsq3ZCa6+AogrAm5fMAJrkFvWu5aT2D9znAo3JqnLez3GLvhofQzmI2QaNL5ToCxp9SnngsLiG4weE4V/tavy9q0hVjzHofWOPri4ZfdMFtKWsRUUZwR3ifNaJTmDcmGBX6su5ES3KgL7wGUF1qQgQcpEaY/aKKb/IP5fPJw=
text = cipher.decrypt(base64.b64decode("lwiHsq3ZCa6+AogrAm5fMAJrkFvWu5aT2D9znAo3JqnLez3GLvhofQzmI2QaNL5ToCxp9SnngsLiG4weE4V/tavy9q0hVjzHofWOPri4ZfdMFtKWsRUUZwR3ifNaJTmDcmGBX6su5ES3KgL7wGUF1qQgQcpEaY/aKKb/IP5fPJw="), None)
print(text.decode('utf8'))
运行代码可以得到前文加密内容，临摹该案例注意公钥和私钥的搭配使用。
Base64 编码
Base64 是一种常见 8 位字节编码方式，由于 Base64 编码不可读，所以其也会被用于加密，在 Python 中，可以使用内置 base64 模块进行编码和解码，注意只能用包含 ASCII 的字符或二进制数据进行编码。
示例代码如下所示：
import base64
a = base64.b64encode(b"hello world")
print(a)
b = base64.b64decode(b'aGVsbG8gd29ybGQ=')
print(b)
运行代码输出结果如下所示：
b'aGVsbG8gd29ybGQ='
b'hello world'
Base 64 编码经常出现在其它加密代码中，所以是必备技能。
总结
本实验为大家介绍了三大类加密方式，每种加密方式下都包含多种加密实现，学习不同的加密算法，并将其合理的应用到自己的站点中，可以整体提高爬取难度。
在后续的学习中，可以对每种加密算法进行深入学习，了解其原理和实现，从而在实战项目中，将多种加密手段搭配使用。
