现象
最近写了个txt导入,客户反馈有时候导入的数据,会出现个别中文乱码的现象,但是我之前已经做过编码转换处理了,统一转成了UTF-8。
比如“鞠婧祎”,导入进来是这样:
排查思路
首先看了一下这个文本的编码格式,用notepad–打开,查看右下角的文件编码格式。
GB18030(简体中文)
然后跟代码,看看代码中文件的编码格式。
GB2312
代码里直接将原文件编码转成UTF-8,
String fileEncode = EncodingDetect.getJavaEncode(file.getAbsolutePath());
Charset charset = Charset.forName(fileEncode);
if (charset != null) {
FileUtil.convertCharset(file, convertFile, charset , Charset.forName("UTF-8"));
}
在这里发现转换之后的文件出现了乱码,一番了解后发现,GB2312不支持一些繁体字符或者特殊字符,直接转换就会出现乱码问题。
解决方案
读入GBK或者GB2312格式的文本时统一选择GBK方式读入,然后再保存为UTF-8,这样就不会出错。
String fileEncode = EncodingDetect.getJavaEncode(file.getAbsolutePath());
if ("GB2312".equals(fileEncode)) {
fileEncode = "GBK";
}