爬虫中常见的加密算法Base64伪加密，MD5加密【DES/AES/RSA/SHA/HMAC】及其代码实现(一）

基础常识

Base64伪加密

python代码实现

摘要算法

1. MD5

1.1 JavaScript 实现

1.2 Python 实现

2. SHA

2.1 JavaScript 实现

2.2 Python 实现

2.3 sha系列特征

3. HMAC

3.1 JavaScript 实现

3.2 Python 实现

对称加密

一. 常见算法归纳

1. 工作模式归纳

1. ECB模式

2. CBC模式

3. CFB模式

4. OFB模式

5. CTR模式

6. 总结

二. DES算法

1. JavaScript 实现

2. Python 实现

基础常识

首先我们需要明白的是，什么是加密和解密？顾名思义

加密(Encryption): 将明文数据变换为密文的过程
解密(Decryption): 加密的逆过程，即由密文恢复出原明文的过程。

加密和解密算法的操作通常都是在一组密钥的控制下进行的，分别成为是加密密钥(Encryption Key)和解密密钥(Decryption Key)，如下图所示

而加密算法当中又分为是对称加密和非对称加密以及散列算法，其中

对称加密：即加密与解密时使用的是相同的密钥，例如RC4、AES、DES等加密算法
非对称加密：即加密与解密时使用不相同的密钥，例如RSA加密算法等
散列算法：又称为是哈希函数。对不同长度的输入消息产生固定的输出，该输出值就是散列值

Base64伪加密

Base64严格意义上来说不算做事加密的算法，只是一种编码的方式，它是一种用64个字符，分别是A-Z、a-z、0-9、+、/这64个字符，实现对数据的编码，可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性，需要解码后才能阅读。我们使用Python来对任意网址进行Base64的编码操作，代码如下

python代码实现

import base64

# 想将字符串转编码成base64,要先将字符串转换成二进制数据
url = "www.baidu.com"
bytes_url = url.encode("utf-8")
str_url = base64.b64encode(bytes_url)  # 被编码的参数必须是二进制数据
print(str_url)

output

b'd3d3LmJhaWR1LmNvbQ=='

那么同样地，我们也可以对其进行解码的操作，代码如下

url = "d3d3LmJhaWR1LmNvbQ=="
str_url = base64.b64decode(url).decode("utf-8")
print(str_url)

摘要算法

在 JavaScript 中和 Python中的基本实现方法，遇到 JS 加密的时候可以快速还原加密过程，有的网站在加密的过程中可能还经过了其他处理，但是大致的方法是一样的。

消息摘要算法/签名算法：MD5、SHA、HMAC

1. MD5

简介：全称MD5 消息摘要算法，又称哈希算法、散列算法，由美国密码学家罗纳德·李维斯特设计，于 1992 年作为 RFC 1321 被公布，用以取代 MD4 算法。摘要算法是单向加密的，也就是说明文通过摘要算法加密之后，是不能解密的。摘要算法的第二个特点密文是固定长度的，它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。之所以叫摘要算法，它的算法就是提取明文重要的特征。所以，两个不同的明文，使用了摘要算法之后，有可能他们的密文是一样的，不过这个概率非常的低。

1.1 JavaScript 实现

地址：汽车之家

安装对应的模块

// 在依赖项中添加包： --save
npm install crypto-js  --save

使用案例

// 引用 crypto-js 加密模块
var CryptoJS = require('crypto-js')

function MD5Test() {
    var text = "I love python!"
    return CryptoJS.MD5(text).toString()
}

console.log(MD5Test())

1.2 Python 实现

import hashlib

def md5_test2():
    md5 = hashlib.md5()
    md5.update('python'.encode('utf-8'))
    print(md5.hexdigest())

if __name__ == '__main__':
    md5_test2()

总结：MD5哈希视为字符串，而是将其视为十六进制数， MD5哈希长度为128位，通常由32个十六进制数字表示。