算法加密与解密、字符编码与字符集

加密算法

加密保证数据不会被窃取或者修改

可逆和不可逆加密

区分在于加密后的结果是否可以还原

可逆加密：安全传输数据时使用(如jwt中的数据)
AES:流加密 DES：块加密
RSA HS256

不可逆加密：同一个文件或内容每次加密的结果一样
如：保存用户密码
验证文件的完整性(安装客户端时访问后端服务器该客户端唯一的MD5值，再到本地对客户端计算生成MD5值如果一致则认为客户端没有被修改可以安装)
网盘秒传(本地文件生成MD5值网盘服务端缓存中查询MD5值是否存在，如果存在直接引用之前的文件 )

对称和非对称加密

都是可逆加密，区分点在于加密和解密使用的秘钥是否相同

对称：加密和解密秘钥相同
AES  DES  HS256
非对称：加密和解密秘钥不同安全
RSA： 私钥(加密) 公钥(解密) ,可以理解为字符串
RSA算法是一种非对称的加密算法（即：加密、解密的密钥不同） ，通常是生成两把密钥，分别是私钥和公钥，其中私钥保密，公钥对外公开。

RSA加解密过程：使用公钥将数据加密，并通过私钥对加密信息进行解密。针对我们遇到的问题，公钥放在前端对用户名密码进行加密，私钥放在服务端对前端提交的加密数据进行解密，然后在做登陆的业务操作

散列

散列算法

压缩映射：散列又称为哈希，是把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值。

哈希算法（Hash）又称摘要算法（Digest），哈希算法的目的就是为了验证原始数据是否被篡改。

主流的散列算法有MD5和SHA-1，其主要任务是验证数据的完整性

散列算法特色算法

固定大小：散列函数能够接收任意大小数据，并输出固定大小散列值，MD5获得的散列值大小是128bit，SHA-1获得的散列值大小是160bit
雪崩效应：原始数据只要修改，计算获得的散列值将会发生巨大变化
单向：只可能从原始数据计算获得散列值，不可能从散列值恢复数据
冲突避免：几乎不能找到另一个数据和当前数据计算的散列值相同，所以散列函数能确保数据的惟一性

一个字节是8位：

二进制8位：xxxxxxxx ，范围：00000000－11111111，表示0到255。

一位16进制数（0-F），用二进制表示是xxxx，范围：0000 - 1111，表示：0到16

1个字节＝2个16进制字符

MD5算法

Java 中，java.security.MessageDigest 中已经定义了 MD5 的计算，我们只需要简单地调用即可得到 MD5 的128 位整数，然后将此 128 位计 16 个字节转换成 16 进制表示即可。

public class Net {
    public static char hexDigits[]={'0','1','2','3','4','5','6','7','8','9',
            'A','B','C','D','E','F','G',
            'H','I','J','K','L','M','N',
            'O','P','Q','R','S','T',
            'U','V','W','X','Y','Z'};



    public static void main(String[] args) throws Exception {
        // 创建一个MessageDigest实例
        MessageDigest md = MessageDigest.getInstance("MD5");
        // 反复调用update输入数据
        md.update("心有猛虎，细嗅蔷薇".getBytes("UTF-8"));
        //MD5 的计算结果是一个128位的长整数
        byte[] result = md.digest();

//16进制字符串形式密文(方式一)----------------------------------------------------------
        System.out.println(new BigInteger(1, result).toString(16));

//16进制字符串形式密文(方式二)----------------------------------------------------------
        //把密文转换成16进制字符串的形式
        int j = result.length;
        char str[] = new char[j * 2];
        int k = 0;
        for (int i = 0; i < j; i++) {
            byte byte0 = result[i];
            str[k++] = hexDigits[byte0 >>> 4 & 0xf];
            str[k++] = hexDigits[byte0 & 0xf];
        }
        System.out.println(str);

//16进制字符串形式密文(方式三)----------------------------------------------------------
        //这时需要一个StringBuffer来存储转译后的加密字符
        StringBuffer sb = new StringBuffer();
        //加密通常使用十六进制字符加密
        char[] chars = { '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a',
                'b', 'c', 'd', 'e', 'f', };
        //转换为16进制字符串
        for(byte b:result){
            sb.append(chars[(b >> 4) & 15]);
            sb.append(chars[b & 15]);
        }
        System.out.println(sb.toString());
    }
}

运行结果

彩虹表：一个预先计算好的常用口令和它们的MD5的对照表

采取措施来抵御彩虹表攻击，方法是对每个口令额外添加随机数，这个方法称之为加盐（salt）：

加盐的目的在于使黑客的彩虹表失效，即使用户使用常用口令，也无法从MD5反推原始口令

加盐Salt加密

在原始密码密文的基础之上，再加入一个随机字符串，从而达到让用户的密码更复杂的效果。这个随机字符串，便是盐。

//3、密码加密
//生成盐
String salt = UUID.randomUUID().toString().substring(0,8);
//MD5加密相同的字符串加密后的结果一样 ，所以md5会结合加盐保证安全
String endcodePwd = DigestUtils.md5Hex(DigestUtils.md5Hex(password)+salt);
userEntity.setSalt(salt);
userEntity.setPassword(endcodePwd);
//初始化用户的默认值
byte[] encode = Base64.getEncoder().encode(("谷粉" + UUID.randomUUID().toString().substring(0, 8)).getBytes());
userEntity.setNickname(new String(encode));
userEntity.setCreateTime(new Date());
userEntity.setIntegration(0);
userEntity.setGrowth(0);
userEntity.setLevelId(1L);
userEntity.setStatus(1);
//4、保存到数据库
this.save(userEntity);

注意：salt我们也存储了

SHA-1算法

SHA算法实际上是一个系列，包括SHA-0（已废弃）、SHA-1、SHA-256、SHA-512等。在Java中使用SHA-1，和MD5完全一样，只需要把算法名称改为"SHA-1"

单向散列函数的安全性在于其产生散列值的操作过程具有较强的单向性。如果在输入序列中嵌入密码，那么任何人在不知道密码的情况下都不能产生正确的散列值，从而保证了其安全性

数字签名

通过散列算法可实现数字签名实现，数字签名的原理是将要传送的明文通过一种函数运算（Hash）转换成报文摘要（不同的明文对应不同的报文摘要），报文摘要加密后与明文一起传送给接受方，接受方将接受的明文产生新的报文摘要与发送方的发来报文摘要解密比较，比较结果一致表示明文未被改动，如果不一致表示明文已被篡改。

public class Net {
    public static char hexDigits[] = {'0', '1', '2', '3', '4', '5', '6', '7', '8', '9',
            'a', 'b', 'c', 'd', 'e', 'f'};


    public static void main(String[] args) throws Exception {
        // 创建一个MessageDigest实例
        MessageDigest md = MessageDigest.getInstance("SHA1");
        // 反复调用update输入数据
        md.update("helloworld".getBytes("UTF-8"));
        //MD5 的计算结果是一个128位的长整数
        byte[] result = md.digest();

//16进制字符串形式密文（方式一）----------------------------------------------------------
        //把密文转换成16进制字符串的形式
        int j = result.length;
        char str[] = new char[j * 2];
        int k = 0;
        for (int i = 0; i < j; i++) {
            byte byte0 = result[i];
            str[k++] = hexDigits[byte0 >>> 4 & 0xf];
            str[k++] = hexDigits[byte0 & 0xf];
        }
        System.out.println(str);

//16进制字符串形式密文(方式二)----------------------------------------------------------
        StringBuilder ret = new StringBuilder(result.length * 2);
        for (int i = 0; i < result.length; i++) {
            ret.append(hexDigits[(result[i] >> 4) & 0x0f]);
            ret.append(hexDigits[result[i] & 0x0f]);
        }
        System.out.println(ret.toString());

//16进制字符串形式密文(方式三)----------------------------------------------------------
        int i;
        StringBuffer buf = new StringBuffer("");
        for (int offset = 0; offset < result.length; offset++) {
            i = result[offset];
            if (i < 0)
                i += 256;
            if (i < 16)
                buf.append("0");
            buf.append(Integer.toHexString(i));
        }
        System.out.println(buf.toString());
    }
}

运行结果

字符集

编码、解码

计算机底层并没有文本文件、图片文件之分，它只是记录着每个文件的二进制序列。

字符集：包含着字符和二进制序列之间的对应关系，一个字符对应一个二进制序列。

乱码：编码、解码使用的字符集不一致导致

Windows中文本文件的默认字符集是GBK。

MySQL在8.0版本之前，默认字符集为latin1，8.0版本默认字符集为utf8mb4
ISO8859-1 字符集，也就是 Latin-1，是西欧常用字符，包括德法两国的字母。

ISO8859-2 字符集，也称为 Latin-2，收集了东欧字符。

ISO8859-3 字符集，也称为 Latin-3，收集了南欧字符。

字符集（Character Set）：是指多个字符的集合。不同的字符集包含的字符个数不一样、包含的字符不一样、对字符的编码方式也不一样。如：

ASCII字符集

字符编码是指一种映射规则，根据这个规则来将字符映射到相应的码点（数值）上面

ASCII字符集

ASCII字符集只包含了128字符，这个字符集收录的主要字符是英文字母、阿拉伯字母和一些简单的控制字符

ASCII 编码方式是一种固定长度的编码方式，每个字符都使用 7 位二进制编码来表示。长度为1个字节, 有符号字符型数

ASCII码对照表

ASCII码中，

第0～32号及第127号是控制字符，常用的有LF(换行)、CR(回车)；

第33～126号是字符，

其中第48～57号为0～9十个阿拉伯数字；

65～90号为26个大写英文字母，

97～122号为26个小写英文字母，

其余的是一些标点符号、运算符号等

ASCII值 控制字符 ASCII值 控制字符 ASCII值 控制字符 ASCII值 控制字符
0 NUT 32 (space) 64 @ 96 、
1 SOH 33 ! 65 A 97 a
2 STX 34 " 66 B 98 b
3 ETX 35 # 67 C 99 c
4 EOT 36 $ 68 D 100 d
5 ENQ 37 % 69 E 101 e
6 ACK 38 & 70 F 102 f
7 BEL 39 , 71 G 103 g
8 BS 40 ( 72 H 104 h
9 HT 41 ) 73 I 105 i
10 LF 42 * 74 J 106 j
11 VT 43 + 75 K 107 k
12 FF 44 , 76 L 108 l
13 CR 45 - 77 M 109 m
14 SO 46 . 78 N 110 n
15 SI 47 / 79 O 111 o
16 DLE 48 0 80 P 112 p
17 DCI 49 1 81 Q 113 q
18 DC2 50 2 82 R 114 r
19 DC3 51 3 83 S 115 s
20 DC4 52 4 84 T 116 t
21 NAK 53 5 85 U 117 u
22 SYN 54 6 86 V 118 v
23 TB 55 7 87 W 119 w
24 CAN 56 8 88 X 120 x
25 EM 57 9 89 Y 121 y
26 SUB 58 : 90 Z 122 z
27 ESC 59 ; 91 [ 123 {
28 FS 60 < 92 / 124 |
29 GS 61 = 93 ] 125 }
30 RS 62 > 94 ^ 126 `
31 US 63 ? 95 _ 127 DEL
特殊字符解释
NUL空 VT 垂直制表 SYN 空转同步
STX 正文开始 CR 回车 CAN 作废
ETX 正文结束 SO 移位输出 EM 纸尽
EOY 传输结束 SI 移位输入 SUB 换置
ENQ 询问字符 DLE 空格 ESC 换码
ACK 承认 DC1 设备控制1 FS 文字分隔符
BEL 报警 DC2 设备控制2 GS 组分隔符
BS 退一格 DC3 设备控制3 RS 记录分隔符
HT 横向列表 DC4 设备控制4 US 单元分隔符
LF 换行 NAK 否定 DEL 删除

Unicode字符集

Unicode 标准始终使用十六进制数字标识唯一的码点（code point），码点用于表示该字符在字符集中的位置

Unicode字符集

Unicode字符集是一个很大的字符集合，包含了世界上几乎所有的字符，用于表示人类语言、符号和表情等各种信息

为了在计算机中存储和传输 Unicode 字符集中的字符，需要使用一种编码方式。

UTF-8 、 UTF-16 和 UTF-32 都是 Unicode 字符集的编码方式，用于将 Unicode 字符集中的字符转换成字节序列，以便于存储和传输。它们的差别在于使用的字节长度不同。

UTF-8编码

UTF-8就是在互联网上使用最广的一种Unicode的实现方式。UTF-8编码是Unicode的实现方式之一。

UTF-8最大的一个特点，就是它是一种可变长度的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度

UTF-8 是一种可变长度的编码方式

对于 ASCII 字符（码点范围为 0x00~0x7F ），使用一个字节表示
对于其他 Unicode 字符，使用两个、三个或四个字节表示

UTF-16编码

UTF-16 是一种固定长度的编码方式

UTF-32 编码

UTF-32 是一种固定长度的编码方式，对于所有 Unicode 字符，使用四个字节表示

GBK 字符集

GBK 包含了 GB2312 字符集中的字符，同时还扩展了许多其他汉字字符和符号，共收录了 21,913 个字符。

GBK 编码是一种变长的编码方式，对于 ASCII 字符（码位范围为 0x00 到 0x7F ），使用一个字节表示，对于其他字符，使用两个字节表示。

GB2312 是一个较为简单的字符集，只包含了常用的汉字和符号，因此对于一些较为罕见的汉字和生僻字， GB2312 不能满足需求，现在已经逐渐被 GBK 、 GB18030 等字符集所取代

编码方式

浏览器百分号编码

URL 只能使用 ASCII 字符集来通过因特网进行发送。由于 URL 常常会包含 ASCII 集合之外的字符，URL 必须转换为有效的 ASCII 格式。

转化格式为：URL 编码使用 "%" 其后跟随两位的十六进制数来替换非 ASCII 字符

浏览器提交数据时默认会使用UrlEcode对内容进行编码，tomcat服务器默认会使用UrlDecode对内容进行解码，来解决中文乱码问题

测试一：

UrlEncode编码，对acsII码表中的大部分内容不会处理

//测试UrlEncode编码：
//1、编码:对acs码表中的大部分内容不会处理
String s ="abc123456.";
String encode = URLEncoder.encode(s, "UTF-8");
System.out.println("编码后: "+encode);
//2、解码
String decode = URLDecoder.decode(encode, "UTF-8");
System.out.println("解码后: "+decode);

测试二：使用UrlEcode解决中文乱码

//测试UrlEncode编码：
//1、编码:UTF-8的中文会转为三个%组成的字符串
String s ="http://localhost:8080?keyword=华为手机";
String encode = URLEncoder.encode(s, "UTF-8");
System.out.println("编码后: "+encode);
//2、解码
String decode = URLDecoder.decode(encode, "UTF-8");
System.out.println("解码后: "+decode);

Base64编码

jwt: jwt将载荷头签名使用Base64的算法处理后得到一个可读的字符串

base64:提供了64个字符
a~z A~Z 0~9 / + = 保留字符不解析
以后需要base64处理的字符串，每个字符只要可以转为64个字符的某一个就没有乱码

base64将数据转为字节数组，每3个字节重新分为一组，如果一组不足三个使用=补齐
再将三个字节拆分为4个字节，并在高位补充0
//1 byte = 8bit
         [ 1010 0101 ]  [ 1110 0101 ]  [ 0010 0101 ]
拆分后    [ 00 1010 01 ]  [ 00 01 1110  ]  [ 00 0101 00 ] [00 10 0101]
处理后每个字节最大是00 1111 11 取值范围一共有64种可能，每一个值对应base64提供的码表中的一个字符 a~z A~Z 0~9 / +

String s = "金三银四？";
byte[] encode = Base64.getEncoder().encode(s.getBytes("UTF-8"));
String s1 = new String(encode);
System.out.println("base64编码后："+s1);
byte[] decode = Base64.getDecoder().decode(s1);
String s2 = new String(decode);
System.out.println("解码后: "+s2);

如果把字符串改为：
String s = "金三银四a";
如果把字符串改为：
String s = "金三银四ab";