文章目录
- 一、问题
- 二、原因
- 三、总结
- 四、参考
一、问题
当我学习UTF-16编码时,我用notepadd++进行学习,然后用二进制编辑器打开发现
我输入我时,按照编码规则,应该是62 11,但是却变成了4个字节,前面多了FFFE
二、原因
大端序和小端序是CPU处理多字节数的不同方式。
UTF-8以字节为编码单元,没有字节序的问题。UTF-16以两个字节为编码单元,在解释一个UTF-16文本前,首先要弄清楚每个编码单元的字节序
。例如收到一个“奎”的Unicode编码是594E,“乙”的Unicode编码是4E59。如果我们收到UTF-16字节流“594E”,那么这是“奎”还是“乙”?
在UCS 编码中有一个叫做”ZERO WIDTH NO-BREAK SPACE”的字符,它的编码是FEFF
。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传输字符”ZERO WIDTH NO-BREAK SPACE”。这样如果接收者收到FEFF
,就表明这个字节流是大端序的;如果收到FFFE
,就表明这个字节流是 小端序 的。因此字符”ZERO WIDTH NO-BREAK SPACE”又被称作BOM(Byte Order Mark | 字节顺序标记)
所以上面输入我
时出现FFFE
表明这是小端序, 低字节在前,高字节在后 62 11
存储为 11 62
三、总结
notepad++在使用UTF-16编码时,会自动加上 BOM 来标识大端序和小端序
如果是 FF EF
就是小端序
如果是 FE FF
就是大端序
四、参考
- https://www.shenyanchao.cn/blog/2012/10/23/bom-in-utf8-text/