Mysql导出100万条数据,9种导出方法优缺点和速度、文件大小测试

news2024/11/26 10:21:41

这里写目录标题

  • 1.DBase文件
  • 2.文本文件
  • 3. CSV文件
  • 4.HTML文件
  • 5.Excel数据表低版本
  • 6.Excel文件2007年以后版本
  • 7.SQL脚本文件
  • 8.XML文件
  • 9.JSON文件
  • 总结

这一次我主要就是想针对mysql导出的速度和文件大小进行优缺点测试,这次主要就是用上之前生成的天气表这是表里面的数据

在这里插入图片描述
导出就用Navicat中的导出向导
在这里插入图片描述
点开就会出现10种的导出方法,由于我不需要最后一种方法,所以就不进行测试,每种方法都对应着不同的作用
在这里插入图片描述

1.DBase文件

导出100万条,由于是数据库类型文件所以dbf导出后大小非常大,100万条数据有1.741GB,这种格式文件能够最大保证数据库内的数据完整性
在这里插入图片描述
在这里插入图片描述

2.文本文件

导出txt文件,100万条数据需要9.57秒,文件大小77MB勉强可以接受,也可以直接打开文件对里面的数据进行读取,win10自带软件打开文件超过1分钟,用notepad++打开txt文件就几秒
在这里插入图片描述
在这里插入图片描述

3. CSV文件

导出100万条数据需要9.22秒,文件大小在77.27MB,用notepad++打开几秒就可以显示全部内容

在这里插入图片描述
在这里插入图片描述

4.HTML文件

导出100万条数据需要7秒,文件大小在132MB,打开查看文件也是属于秒开
在这里插入图片描述
在这里插入图片描述
浏览器可以很直观看到排列好的数据,体验还是不错
在这里插入图片描述

5.Excel数据表低版本

用低版本Excel导出数据100万条需要用15秒,文件是131MB,而且单表最大只能支持65536行数据,如果超出会把你的数据进行拆分,打开读取数据时间也较久
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.Excel文件2007年以后版本

导出100万条数据需要42秒,文件大小是37MB,打开文件后需要读取数据在10秒,单表支持超过100万条数据不用担心被拆分的情况
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.SQL脚本文件

导出整个表的结构和100万条数据,需要18.5秒,文件大小在219MB
在这里插入图片描述
在这里插入图片描述

8.XML文件

导出需要8秒,文件大小在274MB,导出后可读性和改写性较差
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

9.JSON文件

导出100万条数据,需要9秒,文件在251MB

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

可以根据自身的需求选择相应的mysql数据库导出方式,根据不同项目去选择相应的导出方式即可。

导出方式文件大小可改写性数据安全性导出速度
1.DBase文件1.741GB41秒
2.文本文件77MB可以修改和查询数据9.57秒
3.CSV文件77.27MB可以修改和查询数据9.22秒
4.HTML文件132MB可以查询数据7.04秒
5.Excel数据表低版本(不推荐)131MB可以增删改查数据和做可视化15秒
6.Excel文件2007年以后版本37MB可以增删改查数据和做可视化42秒
7.SQL脚本文件219MB18.5秒
8.XML文件274MB可读性和改写性较差8秒
9.JSON文件251MB可读性和改写性较差9秒

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/167770.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

除夕New Year Eve,祝大家团圆幸福!

除夕,为岁末的最后一天夜晚,意为旧岁至此而除,另换新岁。New years Eve is the last night at the end of the year.which means that the old year will be removed and a new year will be replaced.除夕,在国人心中是具有特殊意义的&#…

第一章 TCP/IP 协议

作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。 座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​​ 目录 前言 一.什么是TCP/IP ​编辑 二.什么是协议 1.三要素 2.协议与标准区别 三.广…

中小型企业如何从企业内容管理 (ECM) 系统提供的工具中受益?

在当今快节奏的商业世界中,时间变得非常宝贵。团队越大,就越难有效地管理时间。但即使是中小型企业也可以从企业内容管理 (ECM) 系统提供的工具中受益。 ECM 系统使各种规模的企业能够通过数字化纸质文档、捕获电子文档和电子邮件、自动化文档驱动的流…

(转)Chrome的最小字体12px限制最终解决办法

相信不少做网站的用户会有这样一个问题,Chrome 默认最小字体是12px(最新版英文也有此问题),这个是 Chrome 为了更好显示中文设计的,但是这样一来就会出现某些上标、下标字体过大,影响用户体验。之前在开发H…

ue4c++日记2(继承|设置位置|对象移动)

目录 语句速查 静态网格定义 创建静态网格对象 设置对象位置 编辑器可编辑 编辑器可见 仅类默认值处可见 速览定义可查剩下 对象移动 1继承 例子 1.创建actor 2.命名和填写路径 小插曲 3.新建一个蓝图类继承上面创建的actor 4.其可蓝图化是因为创建的c类可蓝图化 5…

【算法基础】1.8离散化

文章目录离散化如何离散确定映射方式区间和当数据范围的跨度很大,但是数据很稀疏时,可以使用离散化。 离散化 如何离散 数据范围很大,但是并不是每个数字都会出现,就可以将原始数据按照顺序映射到一个小的数据范围。 确定映射方…

第五届字节跳动青训营 前端进阶学习笔记(二)JavaScript编码规范

文章目录1.前言2.写好JS的一些基本原则这是我参与「第五届青训营 」伴学笔记创作活动的第 2 天 1.前言 本次课程主要讲解了有关JavaScript编码原则和代码优化的相关问题。 重点内容: HTML、CSS、JS各司其责具备正确性、扩展性、复用性的组件封装函数式编程思想代…

进程、线程及python的多线程编程

目录 一.进程、线程和并行执行 1.什么是进程、线程 注意 2.什么是并行执行 二.python的多线程编程 threading模块 语法 多线程编程的传参 演示 三.总结 一.进程、线程和并行执行 1.什么是进程、线程 现代操作系统比如Mac OS X,UNIX, Linux, Windows等,都是…

CSC|2023年艺术类人才培养特别项目解读及建议

目前国家留学基金委(CSC)官网已经发布了2023年艺术类人才培养特别项目通知,知识人网小编现将其选派工作流程、选派办法、申请材料及说明(访问学者、博士后)原文转载并加以解读、提出建议。知识人网解读及建议一、2023年…

新产品Digi XBee RR无线模块迁移指南

(咨询申请 - 上海皕科电子有限公司--专注物联网 登记后,可提供相关资料,购买XBee模块,有机会获得USB评估底板及相关中文资料,或者免费申请借用评估套件) 目录 一、简介 1、MicroPython 2、蓝牙 3、文件…

SpringBoot+easypol前后端分离实现excel导出(保姆级教程)

本篇博文目录1.后端2.前端(采用axios)3.运行效果1.后端 导入easypoi的依赖 <!--用来处理POL相关的操作:easypol--><dependency><groupId>cn.afterturn</groupId><artifactId>easypoi-base</artifactId><version>4.2.0</version&…

Cadence OrCAD: 层次化设计中的电源和地符号

Cadence OrCAD: 层次化设计中的电源和地符号 层次化设计操作步骤&#xff1a;Cadence OrCAD: 层次化设计 Hierarchical Design 本文介绍一个小问题&#xff1a;分层设计中的电源和地符号的作用范围。 电源符号默认作用范围 OrCAD中电源和地符号默认是全局的&#xff0c;也就…

2023年1月中国数据库排行榜:OceanBase 持续两月登顶,前四甲青云直上开新局

一元复始&#xff0c;万象更新。 国产数据库在经历过耕获菑畲的一年后&#xff0c;产品、生态、人才队伍建设等都取得了重大的进展。2023年1月 墨天轮中国数据库流行度排行 火热出炉&#xff0c;本月排行榜“属性”列新增“多模型”&#xff0c;榜单前十名变动较小&#xff0c;…

基于springboot,vue影院订票系统

开发工具&#xff1a;IDEA服务器&#xff1a;Tomcat9.0&#xff0c; jdk1.8项目构建&#xff1a;maven数据库&#xff1a;mysql5.7系统用户前台和管理后台两部分&#xff0c;项目采用前后端分离前端技术&#xff1a;vue elementUI服务端技术&#xff1a;springbootmybatis项目功…

JAVA开发(Netty框架与NIO)

所谓IO即input和output的缩写&#xff0c;是对数据的流入和流出的一种抽象。其中NIONIO主要有三大核心部分&#xff1a;Channel&#xff08;通道&#xff09;&#xff0c;Buffer&#xff08;缓冲区&#xff09;,Selector&#xff08;选择器&#xff09;。Channel(通道)&#xf…

Day54 跨域CORS资源JSONP回调域名接管劫持

前言&#xff1a; #知识点&#xff1a; 1、子域名接管-检测&探针&利用 2、COSP跨域资源-检测&探针&利用 3、JSONP跨域回调-检测&探针&利用 #前置知识点&#xff1a; -同源策略(SOP)-“同源”包括三个条件&#xff1a;同协议 同域名 同端口 同源策…

C/C++之(五)洛谷刷题基础题 --- 新年好

学习之路&#xff0c;长路漫漫&#xff0c;写学习笔记的过程就是把知识讲给自己听的过程。 唯有热爱&#xff0c;可抵岁月漫长&#xff0c;唯有热爱&#xff0c;不畏世间无常&#xff01; 新的一年祝你大展宏“兔” 新的一年&#xff0c;大家记得不要忘记刷题(⊙o⊙)&#xff…

NTN(四) RRC related

微信同步更新欢迎关注同名modem协议笔记。 这篇主要是与RRC层相关的内容&#xff0c;按照cell selection/re-selection->idle->connected 的顺序&#xff0c;对涉及NTN的内容进行总结。首先看下NTN RF相关的内容&#xff0c;这部分对应38.101-5这本spec。 NTN freq inf…

操作系统面试题(史上最全、持续更新)

尼恩面试宝典专题40&#xff1a;操作系统面试题&#xff08;史上最全、持续更新&#xff09; 本文版本说明&#xff1a;V28 《尼恩面试宝典》升级规划为&#xff1a; 后续基本上&#xff0c;每一个月&#xff0c;都会发布一次&#xff0c;最新版本&#xff0c;可以联系构师尼…

一个高效的通用光学卫星数据正射校正程序

李国春 随着高分辨率对地观测卫星发射的日益增多&#xff0c;对数据处理软件的要求也越来越高。通常每个系列卫星都有自己的数据特点并需要专门的处理软件&#xff0c;但卫星数量的增加为每种卫星单独设计软件的压力越来越大。本文介绍的一种处理方案旨在能够正射校正处理大多…