【Java基础篇】常见的字符编码、以及它们的区别

news2024/11/27 22:39:07

在这里插入图片描述

常见的字符编码、以及它们的区别

✔️ 解析
✔️扩展知识仓
- ✔️Unicode和UTF-8有啥关系?
- ✔️有了UTF-8，为什么要出现GBK
- ✔️为什么会出现乱码

✔️ 解析

就像电报只能发出 ”滴” 和 ”答” 声一样，计算机只认识 0 和 1 两种字符，但是，人类的文字是多种多样的，如何把人类的文字转换成计算机认识的01字符呢，这个过程同样需要通过字符编码。

字符编码(Character encoding) 是一套法则，使用该法则能够对自然语言的字符的一个集合(如字母表或音节表)，与其他东西的一个集合(如号码或电脉冲)进行配对。

和摩尔斯电码功能类似，上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定，这被称为 ASCII 码，一直沿用至今。

由于ASCI只有128个字符，虽然对于英文字符都可以表示了，但是世界上还有很多其他的文字他是没办法表示的，所以需要一种更加全面的字符编码。

于是又出现了 Unicode 字符集 (常见的Unicode Transformation Format 有: UTF-7, UTF-7.5,UTF.
8,UTF-16,以及 UTF-32) ，除此之外还有一些常用的中文编码有GBK，GB2312，GB18030等。

✔️扩展知识仓

✔️Unicode和UTF-8有啥关系?

Unicode (中文: 万国码、国际码、统一码、单一码)是计算机科学领域里的一项业界标准。它对世界上大部分的文字系统进行了整理、编码，使得计算机可以用更为简单的方式来呈现和处理文字。

Unicode备受认可，并广泛地应用于计算机软件的国际化与本地化过程。有很多新科技，如可扩展置标语言(Extensible Markup Language，简称: XML)、Java编程语言以及现代的操作系统，都采用Unicode编码。

Unicode是一套通用的字符集，包含世界上的大部分文字，也就是说，Unicode是可以表示中文的。

但是，Unicode虽然统一了全世界字符的编码，但没有规定如何存储。

因为如果 Unicode 统一规定，每个符号就要用三个或四个字节表示，因为字符太多，只能用这么多字节才能表示完全。一旦这么规定，那么每个英文字母前都必然有二到三个字节是0，因为所有英文字母在 ASCII 中都有，都可以用一个字节表示，剩余字节位置就要补充0。如果这样，文本文件的大小会因此大出二三倍，这对于存储来说是极大的浪费。

为了解决这个问题，就出现了一些中间格式的字符集，他们被称为通用转换格式，即UTF (UnicodeTransformation Format) 。常见的UTF格式有: UTF-7, UTF-7.5, UTF-8,UTF-16,以及 UTF-32。

UTF-8 使用一至四个字节为每个字符编码
UTF-16 使用二或四个字节为每个字符编码
UTF-32 使用四个字节为每个字符编码

所以我们可以说，UTF-8、UTF-16等都是 Unicode 的一种实现方式。

✔️有了UTF-8，为什么要出现GBK

因为UTF-8是Unicode的一种实现，所以他包含了世界上的所有文字的编码，他采用的是1-4字节进行编码。

对于那些排在前面优先纳入的文字，可能就优先使用1字节、2字节存储了，对于后纳入的文字，就要使用3字节或者4字节存储了。

正是因为UTF-8太全了，所以那些晚一些纳入的字符，在UTF-8中的存储所占的字节数可能就会多些，那他的存储空间要求就会很大。

对于常用的汉字，在UTF-8中采用3字节进行编码，但是如果有一种只包含中文和ASCI的编码的话，就不需要使用3个字节，可能2个字节就够了。

对于大部分网站来说，基本都是只服务一个国家或者地区的，比如一个中国的网站，一般会出现简体字和繁体字以及一些英文字符，很少会出现日语或者韩文的。

也是出于这样的考虑，中国国家标准总局于1981年制定并实施了 GB 2312-80 编码，即中华人民共和国国家标准简体中文字符集。后来厂商微软利用GB 2312-80末使用的编码空间，收录GB 13000.1-93全部字符制定了GBK编码。

有了标准中文字符集，如果是一个纯中文网站，就可以可以采用这种编码方式，这样可以大大节省一些存储空间的。

常用的中文编码有GBK，GB2312，GB18030等，最常用的是GBK。

GB2312(1980年): 16位字符集，收录有6763个简体汉字，682个符号，共7445个字符:
      优点: 适用于简体中文环境，属于中国国家标准，通行于大陆，新加坡等地也使用此编码
      缺点: 不兼容繁体中文，其汉字集合过少

GBK(1995年) : 16位字符集，收录有21003个汉字，883个符号，共21886个字符:
      优点: 适用于简繁中文共存的环境，为简体Windows所使用，向下完全兼容gb2312，向上支持ISO-10646 国际标准: 所有字符都可以一对一映射到unicode2.0上;
      缺点: 不属于官方标准，和big5之间需要转换，很多搜索引擎都不能很好地支持GBK汉字

GB18030(2000年): 32位字符集: 收录了27484个汉字，同时收录了藏文、蒙文、维吾尔文等主要的少数民族文字。
      优点: 可以收录所有你能想到的文字和符号，属于中国最新的国家标准；
      缺点: 目前支持它的软件较少。