踩坑记:Poco库,MySql,解析大文本的bug

news2024/11/18 1:40:59

这两天在调试一个小功能,使用c++,读取MySql。使用的是Poco库。按照官网的写法:

    std::cout << "read normal data by poco recordset "<<std::endl;
	Poco::Data::MySQL::Connector::registerConnector();
	Poco::Data::Session session("MySQL", "host=127.0.0.1;port=3306;user=root;password=Citic@123;db=test");
	Poco::Data::Statement select(session);
	select << "select id,name from student ",now;//查询
	Poco::Data::RecordSet rs(select);//创建结果集
	bool more = rs.moveFirst();//第一条
	while (more)
	{
		int id = rs[0].convert<int>();//读取id
		std::string name = rs[1].convert<std::string>();//读取name
		std::cout << "id=" << id << " name=" << name << std::endl;//输出
		more = rs.moveNext();//下一条
	}

 代码没有问题,可以查询到数据,并输出:

换一张表,其中有一个字段是text,里面存储的数据比较大,4K个字符。结果就报错了。表结构如下:

查询代码:

	std::cout << "read normal data by poco recordset " << std::endl;
	Poco::Data::MySQL::Connector::registerConnector();
	Poco::Data::Session session("MySQL", "host=127.0.0.1;port=3306;user=root;password=Citic@123;db=test");
	Poco::Data::Statement select(session);
	select << "select uid,data1 from test ", now;
	Poco::Data::RecordSet rs(select);
	bool more = rs.moveFirst();
	while (more)
	{
		int id = rs[0].convert<int>();//读取id
		std::string data = rs[1].convert<std::string>();//读取data
		std::cout << "id=" << id << " data=" << data << std::endl;//输出
		more = rs.moveNext();//下一条
	}

两次代码一模一样,但是执行就报错了:

报错:ucrtbase.dll,处有未经处理的异常: 将一个无效参数传递给了将无效参数视为严重错误的函数。
这个dll属于系统C语言运行时。在网上搜相关的内容,基本上都是流读写或者关闭不正常导致。经在尝试各种方法以后,还是无法解决这个问题。

推测,应该是poco库本身在对mysql的大文本字段进行解析的时候,出bug了。只好另辟蹊径。偶然发现,RecordSet这个类,有一个copy(ostrem),大致意思是直接给recordset流拷贝一下。既然这样,那么就来尝试一下。

    std::cout << "read big data by ofstream" << std::endl;
	Poco::Data::MySQL::Connector::registerConnector();
	Poco::Data::Session session("MySQL", "host=127.0.0.1;port=3306;user=root;password=Citic@123;db=test");
	Poco::Data::Statement select(session);
	select << "select uid,data1 from test ", now;
	Poco::Data::RecordSet rs(select);//创建数据集,select对象给数据全部写入数据集
	std::ofstream outFile("data.txt");//创建一个文件流
	rs.copy(outFile);//流拷贝
	outFile.flush();//强制写入

这个代码的意思,创建一个文件流,输出到test.txt。然后直接从recordset把流拷贝走。如果成功的话,这个文件里面应该是mysql查询到的数据。

执行结果如上图所示。实际上,这就是mysql返回的查询结果,rescordset里面存储的就是这个。recordset再提供一些方法去从这个数据里面解析成一个个值。到此基本上发现了问题,就是Poco自带的解析方法,再解析大量数据的时候,出问题了。

所以:不想重新编译Poco库,那就想办法自己解析。解析办法,就是按字符串,一行一行去解析。代母如下:

	std::cout << "read big data by ostream" << std::endl;
	Poco::Data::MySQL::Connector::registerConnector();
	Poco::Data::Session session("MySQL", "host=127.0.0.1;port=3306;user=root;password=Citic@123;db=test");
	Poco::Data::Statement select(session);
	select << "select uid,data1 from test ", now;
	Poco::Data::RecordSet rs(select);//创建数据集,select对象给数据全部写入数据集
	std::stringstream  stm;//定义一个用于接收recoredset的字符串流
	rs.copy(stm);//结果集复制到字符串流
	stm.flush();//强制读取完毕
	char line[4500] = { 0 };//读取字符串流读取的缓存,要大于一行总字节长度
	stm.getline(line, 4500);//跳过标题 uid   ,  data1
	stm.getline(line, 4500);//跳过分割 --------------------
	int id = 0;//id变量
	std::string data = "";//data变量
	while (stm.getline(line, 4500))
	{
		sscanf(line, "%d ", &id);//解析id
		data = std::string(line + 17);//解析长文本
		std::cout << id << "-----" << data << std::endl;
	}

 

运行结果,解析成功,并且不报错。

解析原理就是把recordset里面的流先复制到字符串流,然后再一行一行的读取。前两行是标题和分隔符,后面是数据,按照自己定义的数据规则去读取。

line+17:因为uid是一个int,读取出来,占了16个字节,前面留空。uid和data1列之间有一个空格,所以,data1数据开始的下标是17。

到此问题解决。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2133229.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

.NET 6.0 + WPF 使用 Prism 框架实现导航

合集 - .NET 基础知识(3) 1..NET 9 优化&#xff0c;抢先体验 C# 13 新特性08-202.《黑神话&#xff1a;悟空》神话再现&#xff0c;虚幻引擎与Unity/C#谁更强&#xff1f;08-21 3..NET 6.0 WPF 使用 Prism 框架实现导航09-11 收起 阅读目录 前言什么是Prism?安装 Prism使…

【卷起来】VUE3.0教程-09-整合Element-plus

最后一次课了&#xff0c;给个关注和赞呗 &#x1f332; 简介 Element Plus 是一个基于 Vue 3 的高质量 UI 组件库。它包含了丰富的组件和扩展功能&#xff0c;例如表格、表单、按钮、导航、通知等&#xff0c;让开发者能够快速构建高质量的 Web 应用。Element Plus 的设计理念…

洛谷 P4683 [IOI2008] Type Printer

原题点这里 题目来源于&#xff1a;洛谷 题目本质&#xff1a;深搜&#xff0c;字典树Trie 当时想法&#xff1a;当时看了题目标签&#xff0c;就有思路了&#xff08;见代码注释&#xff09;&#xff0c;但一直REWA最后只剩下RE。 正确思路&#xff1a; 我们使用字典树来完…

【机器学习】任务四:使用贝叶斯算法识别葡萄酒类别和使用三种不同的决策树方法(ID3,C4.5,CART)对鸢尾花数据进行分类

目录 1.基础知识 1.1 高斯贝叶斯&#xff08;Gaussian Naive Bayes&#xff09; 1.2 决策树&#xff08;Decision Tree&#xff09; 1.3 模型评价&#xff08;Model Evaluation&#xff09; 1.3.1 评价维度&#xff1a; 1.3.2 评价方法&#xff1a; 2.使用贝叶斯算法识别…

android 删除系统原有的debug.keystore,系统运行的时候,重新生成新的debug.keystore,来完成App的运行。

1、先上一个图&#xff1a;这个是keystore无效的原因 之前在安装这个旧版本android studio的时候呢&#xff0c;安装过一版最新的android studio&#xff0c;然后通过模拟器跑过测试的demo。 2、运行旧的项目到模拟器的时候&#xff0c;就报错了&#xff1a; Execution failed…

proteus+51单片机+AD/DA学习5

目录 1.DA转换原理 1.1基本概念 1.1.1DA的简介 1.1.2DA0832芯片 1.1.3PCF8591芯片 1.2代码 1.2.1DAC8053的代码 1.2.2PCF8951的代码 1.3仿真 1.3.1DAC0832的仿真 1.3.2PFC8951的仿真 2.AD转换原理 2.1AD的基本概念 2.1.1AD的简介 2.1.2ADC0809的介绍 2.1.3XPT2…

双指针算法专题(1)

找往期文章包括但不限于本期文章中不懂的知识点&#xff1a; 个人主页&#xff1a;我要学编程(ಥ_ಥ)-CSDN博客 所属专栏&#xff1a; 优选算法专题 目录 双指针算法的介绍 283. 移动零 1089. 复写零 202. 快乐数 11.盛最多水的容器 双指针算法的介绍 在正式做题之前&a…

C++ 获取文件夹下的全部文件及指定文件(代码)

文章目录 1.&#xff08;C17&#xff09;获得指定目录下的所有文件&#xff08;不搜索子文件夹&#xff09;2.&#xff08;C11&#xff09;获得指定目录下的所有文件&#xff08;不搜索子文件夹&#xff09;3.&#xff08;C11&#xff09;获取目录下指定格式的所有文件&#xf…

工厂安灯系统在优化生产流程上的优势

工厂安灯系统通过可视化的方式&#xff0c;帮助工厂管理者和操作工人及时了解生产状态&#xff0c;快速响应问题&#xff0c;从而优化生产流程。 一、安灯系统实时监控与反馈 安灯系统的核心功能是实时监控生产线的状态。通过在生产现场设置灯光、显示屏等设备&#xff0c;工人…

OpenGL(四) 纹理贴图

几何模型&材质&纹理 渲染一个物体需要&#xff1a; 几何模型&#xff1a;决定了物体的形状材质&#xff1a;绝对了当灯光照到上面时的作用效果纹理&#xff1a;决定了物体的外观 纹理对象 纹理有2D的&#xff0c;有3D的。2D图像就是一张图片&#xff0c;3D图像是在…

记得忘记密码情况下如何退出苹果Apple ID

在日常使用苹果手机时&#xff0c;我们可能会遇到需要退出Apple ID的情况&#xff0c;比如更换手机、不再使用某些服务或出于安全考虑等。下面&#xff0c;我们就来详细介绍一下苹果手机如何退出Apple ID。 情况一&#xff1a;记得Apple ID密码 若是记得Apple ID密码&#xff…

3. 轴指令(omron 机器自动化控制器)——>MC_HomeWithParameterMC_Move

机器自动化控制器——第三章 轴指令 3 MC_HomeWithParameter变量▶输入变量▶输出变量 功能说明▶原点复位动作与原点复位参数的关系▶重启运动指令▶多重启动运动指令▶错误代码 MC_Move变量▶输入变量▶输出变量▶输入输出变量 功能说明▶指令详情▶重启运动指令▶多重启动运…

pytorch入门(1)——pytorch加载数据初认识

环境配置及其安装&#xff1a; 2023最新pytorch安装&#xff08;超详细版&#xff09;-CSDN博客 pytorch加载数据初认识 Dataset&#xff1a;创建可被Pytorch使用的数据集 提供一种方式获取数据及其label Dataloader&#xff1a;向模型传递数据 为网络提供不同的数据形式 …

算法_队列+宽度优先搜索---持续更新

文章目录 前言N叉树的层序遍历题目要求题目解析代码如下 二叉树最大宽度题目要求题目解析代码如下 在每个树中找最大值题目要求题目解析代码如下 二叉树的锯齿形层序遍历题目要求题目解析代码如下 前言 本文将会向你介绍有关队列宽度优先搜索的题目&#xff1a;N叉树的层序遍历…

【每日一题】LeetCode 2398.预算内的最多机器人数目(滑动窗口、数组、二分查找、前缀和、堆(优先队列))

【每日一题】LeetCode 2398.预算内的最多机器人数目&#xff08;滑动窗口、数组、二分查找、前缀和、堆&#xff08;优先队列&#xff09;&#xff09; 题目描述 给定两个整数数组 chargeTimes 和 runningCosts&#xff0c;分别代表 n 个机器人的充电时间和运行成本。再给定一…

喂料机和失重秤的区别?

喂料机和失重秤的区别&#xff1f;在硬件结构上的具体差异&#xff1a; 1. 喂料机的硬件结构 喂料机的结构比较简单&#xff0c;主要功能是传送物料&#xff0c;不涉及精确的称重系统。其硬件结构通常包括以下部分&#xff1a; 料斗&#xff1a;用于存储物料&#xff0c;物料…

cesium.js 入门到精通(7)

我们说一下相机的概念&#xff1a; 生活中的相机是一个用来拍照的设备&#xff0c;而这里的相机应该理解成一个人机交互的媒介。地图的缩放、平移、旋转&#xff0c;以及相关的鼠标操作都是由相机作为媒介来实现的。相机的位置和姿态参数决定了我们能看到的地图的样子。 可以…

centos7.9安装clamav教程

本章教程主要记录在centos7.9安装clamav过程。 ClamAV(Clam AntiVirus)是一个开源的防病毒软件工具,主要用于检测和消除恶意软件。它最初由 Tomasz Kojm 于 2001 年开发,并由 Cisco Systems 维护和支持。ClamAV 广泛应用于邮件网关、文件服务器和其他需要防病毒保护的环境中…

Linux软件包循环依赖解决 彻底删除i386架构 更新软件源

0.问题 之前为了wine和intel核显驱动加了32位的库&#xff0c;现在每次apt upgrade更新都被循环依赖弄得不堪其扰&#xff0c;apt --fix-broken install解决缺失都循环报错&#xff0c;寸步难行&#xff0c;忍无可忍、 而且一看全是i386的依赖&#xff0c;这32位我不用也罢&…

apache文件共享和访问控制

实现apache文件共享 文件共享路径 <Directory "/var/www/html"> #默认发布路径&#xff0c;功能限制 Options Indexes FollowSymLinks #indexes支持文件共享功能 AllowOverride None Require all granted </Directory> 进入到该路径下 cd…