【YashanDB知识库】GBK库,生僻字插入nvarchar2字段后乱码问题

news2024/9/29 13:24:21

本文内容来自YashanDB官网,具体内容可见(https://www.yashandb.com/newsinfo/7488287.html?templateId=1718516)

问题现象

如下SQL,插入的人名中有两个GBK生僻字“
”和“
”,GBK编码中没有这两个字符。

插入后,客户端utf8编码,显示为乱码。用gbk和

image2024-8-8_18-58-18

问题的风险及影响

客户端和服务端编码不同,服务端是gbk时,gbk生僻字,插入不正常。

问题影响的版本

23.2.4.14及之前版本

问题发生原因

gbk生僻字,客户端转换数据为gbk编码时,生僻字转换失败,发送给服务端存储的数据缺失,导致显示问题。

解决方法及规避方式

1、终端是utf8,这样可以输入生僻字。yasql用gbk编码,同服务端编码一样,就不会转码。用insert语句发送,之后同样的编码能正常查询显示出数据。

2、使用yasdb client库接口,yacBindParameter接口提供了utf16编码插入数据方式。如下图所示,只要不是gbk编码就能正常显示生僻字:

问题分析和处理过程

分析过程:

客户端是utf8,服务端是gbk编码的情况。

1、服务端收到客户端的数据,如下图

C1D9 GBK(临) 193 217

BAA3 GBK(海) 186 163

3F 生僻字
丢失 为63

2、insert时,yasdb中数据的字符,如下图:

4E34 utf16(临)78 52

6D77 utf16( 海)109 119

3F

3、客户终端与客户端编码不同时,存储的数据是否有问题呢?如客户终端编码为utf8,yasql为gbk、yasdb为gbk。

nvarchar2类型, 服务端中会再做转换,这里就出现了这个问题。utf8的终端,gbk的yasql,gbk的服务器情况下,插入汉字后, 数据是utf8编码,但是当成gbk编码转换成utf16,导致存储的数据不对。

如下例:

yasdb接收的数据:

yasql客户端同服务端编码相同,则不做转换,直接发送输入数据到服务端。所以下图显示的是utf8编码的’艳梅’数据

yasdb存储的数据:

下图显示,yasdb存放的就是上面的编码。0x79(121) 0x94(148) 0x46(107) 0xB8(134)

所以当终端是utf8时,yasql和yasdb是gbk时,存储在nvarchar2字段上的数据其实是错误的。所以如果数据要正确存储,yasql插入时,终端和yasql的编码必须相同。

结论:

所以在用yasql插入数据时,要保证终端与yasql的编码相同,否则数据可能存储的有问题。

经验总结

yasql编码转换过程:

1、yasql insert插入时,数据编码转换过程

输入的数据 (客户终端编码) →(转换)数据为 服务端编码(gbk)(如果yasql客户端同服务端编码相同,则不做转换,直接发送输入数据到服务端。) → 发送数据到服务端

服务端接收到数据后:nvarchar2类型,在服务端转换为utf16le编码。

2、yasql select查询时,数据编码转换过程

服务端(GBK) ->(发送数据) 客户端(UTF8) → (转换数据编码gbk->utf8)yasql客户端编码 → 终端同yasql客户端编码一致才能正常显示出来。

如果客户端是gbk,nvarchar2类型的编码转换:UTF16 → gbk

相关问题单

1、服务端gbk,nvarchar2插入gbk不识别的生僻字,插入后乱码问题

22.2.12.100 GBK库nvarchar列无法存放中文生僻字

2、服务端gbk,客户端utf8,exp导出报错转换失败,YAS-00218 string conversion failed

数据库使用GBK字符集,exp导出成csv报错

exp导出时,如上图,“世纪春城”前面两个空白字符不是空格,而是gbk的空白字,utf8编码没有这种空白字符,导致转换失败。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2176838.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Router】路由功能之端口转发(Port Forward)功能介绍及实现

端口转发(Port Forward) 端口转发是一种网络技术,它允许将传入到一个网络设备特定端口的网络流量转发到另一个设备的特定端口上,端口转发会创建一条通过路由器的路径,以便数据包可以到达网络内的设备。在路由器中创建端…

区块链:数据安全与透明的未来触手可及

在这个数字化的时代,信息的安全与透明性就像社会发展的两根支柱,愈发显得重要。而区块链技术的崛起,宛如一道耀眼的曙光,照亮了我们面临的挑战。简单来说,区块链是一种去中心化的数据库技术,它允许信息在多…

大语言模型(LLM)效率优化技术全面综述:模型优化、数据优化、框架优化

大语言模型(LLMs)在自然语言理解、语言生成和复杂推理等重要任务中展示了显著的能力,并且有潜力对我们的社会产生重大影响。然而,这些能力伴随着它们所需的大量资源,突出了开发有效技术以解决它们的效率挑战的强烈需求…

深入浅出MongoDB(三)

深入浅出MongoDB(三) 文章目录 深入浅出MongoDB(三)复制副本集设置分片分片实例备份与恢复监控ObjectId 复制 复制时将数据同步在多个服务器的过程,提供了数据的冗余备份,在多个服务器上存储数据副本&#…

操作平台使用中应每月不少于几次定期检查?

在当今数字化时代,操作平台作为企业与个人日常运营的核心载体,其稳定性和安全性直接关系到业务的高效运行与数据的严密保护。因此,定期进行操作平台的检查与维护,成为了不可忽视的重要环节。特别是,确保每月进行不少于…

肯富来 CRM 数字化项目启动,引领企业“智”变新时代

近年来,广东肯富来泵业股份有限公司(以下简称“肯富来”)开启企业数字化、智能化转型之路,利用云计算技术贯通全制程的信息化管理系统、通过高速网络端到端全覆盖实现生产可视化,并通过远程数据系统,帮助客…

日志的艺术:深入理解 spdlog

目录 1. 为什么需要日志? 2. 同步日志 vs. 异步日志 3. spdlog 的核心组成部分 4. 如何创建一个Logger 5. 如何选择输出目标(Sink) 6. 个性化你的日志格式 7. 异步日志的魔法 8. 刷新策略:何时将日志写入 9. 调整线程池&…

强化学习入门——Pybullet初体验

Pybullet 最近一直在想如何进行RL的学习,在学习RL的过程中,好的模拟仿真平台是非常重要的。除了Gym,还了解到Pybullet模块可以简便快捷地创建仿真环境,所以学习一下。 1.简介 PyBullet 是一个用于机器人学、游戏开发和图形研究…

mycat读写分离中间件

5、部署Mycat读写分离中间件服务 5.1安装Mycat服务 将Mycat服务的二进制软件包Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz上传到Mycat虚拟机的/root目录下,并将软件包解压到/use/local目录中 5.2赋予解压后的mycat目录权限 5.3向/etc/profile系统变量…

PyQt5与Html的关于地图位置显示的动态交互

PyQt5与Html的关于地图位置显示的动态交互 1 前言2 python部分3 HTML代码4 注意总结 1 前言 上篇本是放弃关于Folium的动态显示,但是在仔细对比Folium在python的直接应用与Html中的写法,其实两者没有什么区别,都是基于Leaflet上建立区域&…

[大语言模型-论文精读] 词性对抗性攻击:文本到图像生成的实证研究

[大语言模型-论文精读] 词性对抗性攻击:文本到图像生成的实证研究 目录 文章目录 [大语言模型-论文精读] 词性对抗性攻击:文本到图像生成的实证研究目录文章研究背景 文章标题摘要1 引言2 相关工作3 数据集创建3.1 数据收集3.2 目标提示生成3.3 数据集注…

[ACS_C]:以 H2和 O2等离子体处理的 Al2O3为载体的 Pt 催化剂用于液态有机氢载体对二苄基甲苯和全氢二苄基甲苯的加氢和脱氢

摘要:二苄基甲苯 (DBT) 是一种很有前途的液态有机氢载体 (LOHC),理论储氢量为 6.2 wt%,可与可再生能源发电系统耦合。本工作采用一种方便、环保的等离子体处理方法改性氧化铝表面羟基和表面氧空位 (SOV)。通过浸渍处理后的氧化铝制备了不同的…

如何修复变砖的手机并恢复丢失的数据

您可能之前听说过“变砖”,但您知道什么是变砖手机吗?正如许多论坛中经常提出的问题一样,我如何知道我的手机是否变砖了?好吧,手机变砖主要有两种类型,即软件变砖和硬变砖。软变砖手机意味着重启后您仍然可…

MATLAB guide选择图片和全局变量使用

文章目录 前言一、按键选取文件二、全局化变量使用全局华使用 总结 前言 提示:这里可以添加本文要记录的大概内容: 项目需要: 提示:以下是本篇文章正文内容,下面案例可供参考 一、按键选取文件 [filename,pathname]…

想要编辑 PDF 文件?使用这 10 种最佳 PDF 编辑工具

您是否遇到过利益干系人要求您对 PDF 文件进行细微更改的情况? 通常我们会这样做! 但是,对你来说,做出要求的改变有多难呢? 好吧,当您没有用于创建 PDF 文件的源文件时,问题就来了。是的&…

如何选购适合自己的内衣洗衣机?五款热门卓越型号测评推荐

相信不少小伙伴都跟我一样,一方面,认为内裤、袜子与大件的上衣、裤子放一块清洗,会感觉很不卫生,而且穿在身上也不安心。但是另一方面,本身又很懒惰,也不想自己用手洗,不但经常会遗漏一些污渍&a…

探索 DaPy:Python 中的 AI 数据处理新贵

文章目录 探索 DaPy:Python 中的 AI 数据处理新贵背景介绍DaPy 是什么?如何安装 DaPy?DaPy 的简单函数使用方法加载数据数据筛选数据聚合数据可视化自定义函数 DaPy 在实际场景中的应用数据预处理数据分析数据处理与集成 常见 Bug 及解决方案…

蓝牙资讯|2024可穿戴市场的手表将出现下滑,耳机和戒指将增长

市场调查机构 IDC 发布博文,预测 2024 年全球可穿戴设备出货量达到 5.379 亿台,同比增长 6.1%。IDC 预计新兴市场的进一步普及和成熟市场的更新周期的开始将推动听力设备的发展,因为消费者希望更换大流行病时期购买的产品。 IDC 预估 2024 …

VS2017安装Installer Projects制作Setup包

下载安装扩展包 VS2017默认未安装Installer Projects Package,需要联机下载: 也可网页上下载离线InstallerProjects.vsix文件: https://visualstudioclient.gallerycdn.vsassets.io/extensions/visualstudioclient/microsoftvisualstudio20…

Spring Boot 进阶-Spring Boot 如何实现自定义的过滤器详解

在上一篇文章中我们讲解了关于拦截器的相关内容,并且通过一个防抖的例子来讲解了拦截器在实际开发中的使用。这篇文章我们为大家带来的就是关于过滤器的相关内容的分享。下面我们首先来介绍一下什么是过滤器。 什么是过滤器? 过滤器Filter,是Servlet技术中最常用的技术,开…