项目姓名校验原本一直是通过utf8正则进行校验,但近期出现的客户生僻字包含双码字,原有校验方式无法实现。需要修改扩大校验范围。
知识点回顾:
Unicode是Unicode Standard(Unicode标准)的简写;Unicode为每一字符提供一个数字编号,通俗讲,就是字符集(coded charset);U+[XX]XXXX是码点的表示形式,X代表一个十六制数字,可以有4-6个,不足4个前补0补足4个。示例:U+0048,U+4F60,U+1D11E。最后一个是5个16进制数的码点。取值范围:U+0000~U+10FFFF(10FFFF+1=1114112,一般记为111万左右),也就是Unicode可以支持111万个字符;
Unicode平面
码点的全部范围可以均分成17个65536大小的部分,这里面的每一个部分就是一个平面(Plane),其实就是不同的取值范围。编号从0开始,第一个平面称为Plane 0.第一个平面即是BMP(Basic Multilingual Plane 基本多语言平面),也叫Plane 0,它的码点范围是U+0000~U+FFFF。这也是我们最常用的平面,日常用到的字符绝大多数都落在这个平面内。
CJK统一汉字
在Unicode中,称为CJK统一汉字(CJK:Chinese, Japanese, and Korean,中日韩)。位于平面0;可以在word里面查询到CJK对应的Unicode编码.
问题调研:
使用正则表达式[\u4E00-\u9FA5]来匹配中文的问题在哪?
这一段大小不过是两万多一点,\u4E00-\u9FA5(19968-40869,4E00就是“一“字。),严格来说这只是Unicode最主要的一段中文区域。不过对于绝大数情况够用了。
而本次涉及的生僻字,\uD852\uDFE5,由两个unicode码点组成,以原有方式单一匹配无法实现校验。这类生僻字字符其实被称为增补字符,Unicode本身码空间为U+0000到U+10FFFF,一共1114112个码位,U+10000及以上的字符称为增补字符。在Java中(Java1.5之后),增补字符使用两个char型变量来表示。第一个char型变量的范围称为“高代理部分”(high-surrogates range,从"uD800到"uDBFF,共1024个码位), 第二个char型变量的范围称为low-surrogates range(从"uDC00到"uDFFF,共1024个码位),这样使用surrogate pair可以表示的字符数一共是1024的平方计1048576个,加上BMP的65536个码位,去掉2048个非法的码位,正好是1,112,064个码位。
java本身对其编译和传输其实是支持的,java语言规定的内码是UTF-16编码,也就是JVM中使用的其实是UTF16,外码是UTF-8。只是在编译.class文件编码为modified UTF-8,运行期又解码为UTF16,所以我们无感知。
UTF-16表示的增补字符怎样才能被正确的识别为增补字符,而不是两个普通的字符呢?答案是通过看它的第一个char是不是在高代理范围内,第二个char是不是在低代理范围内来决定,这也意味着,高代理和低代理所占的共2048个码位(从0xD800到0xDFFF)是不能分配给其他字符的。所以只要拆分开字符的两个码点,分别校验即可。
实现方式:
在Java中,主要使用 Character类处理字符有关功能,而JDK 1.7中Character是按照Unicode 6.0版本实现的。其中的UnicodeBlock 和 UnicodeScript类可以帮助我们判断字符类型。一个 UnicodeBlock代表一片连续的Unicode号码段,UnicodeBlock之间不重叠。有一个UnicodeBlock 专门划分为存储汉字 (准确的说是 CJK统一汉字),这个UnicodeBlock叫做 CJK Unified Ideographs,总共定义了 74,617 个汉字。
jdk中Character.UnicodeBlock类包含了多个unicode号码段的常量定义,和三个类方法
Sr.No. 方法和描述
1 static Character.UnicodeBlock forName(String blockName)
此方法返回具有给定名称的UnicodeBlock。
2 static(char c)的静态Character.UnicodeBlock
此方法返回表示包含给定字符的Unicode块的对象,如果该字符不是已定义块的成员,则返回null。
3 静态Character.UnicodeBlock(int codePoint)
此方法返回表示包含给定字符(Unicode代码点)的Unicode块的对象,如果该字符不是已定义块的成员,则返回null。
本次涉及到的生僻字,我们使用到的姓名校验优化(包含生僻字)
原方案:
CJK编码校验方案: