MySQL运维10-MySQL数据的导入导出

news2025/1/15 16:56:10

文章目录

  • 0、概述
  • 1、mysqldump导出数据+mysql导入数据
    • 1.1、使用mysqldump导出数据
      • 1.1.1、使用--tables导出指定表
      • 1.1.2、使用--tab选项将表定义文件和数据文件分开导出
      • 1.1.3、使用--fields-terminated-by选项定义数据分隔符
      • 1.1.4、使用--databases选项导出整个库或多个库
      • 1.1.5、使用--all-databases选项导出所有数据库
      • 1.1.6、使用--xml选项实现导出格式为XML
      • 1.1.7、使用--ignore-table选项实现导出时忽略指定表
      • 1.1.8、使用mysql客户端配合mysqldump实现通配符匹配表名的导出
      • 1.1.9、使用mysqldump导出数据的优化方式
    • 1.2、使用mysql导入数据
      • 1.2.1、基本导入方法
      • 1.2.2、乱码问题
  • 2、SELECT INTO OUTFILE导出数据+LOAD DATA或mysqlimport导入数据
    • 2.1、使用SELECT INTO OUTFILE导出数据
    • 2.2、使用LOAD DATA导入数据
      • 2.2.1、使用LOAD DATA导入数据的基本导出方法
      • 2.2.2、导出导入csv格式文件
      • 2.2.3、SELECT INTO OUTFILE导出+LOAD DATA导入方案的优势
      • 2.2.4、LOAD DATA的优化
    • 2.3、使用mysqlimport导入数据
  • 3、使用mysql程序的批处理模式导出数据
  • 4、使用Linux的split切割文件,加速导入数据
  • 5、总结

0、概述

MySQL数据的导入导出方案通常是配套的,例如:
方案一:使用mysqldump导出数据,再使用mysql客户端导入数据
方案二:使用SELECT INTO OUTFILE命令导出数据,再使用LOAD DATA或mysqlimport导入数据
方案三:使用mysql程序的批处理模式导出数据,再使用LOAD DATA或mysqlimport导入数据

1、mysqldump导出数据+mysql导入数据

1.1、使用mysqldump导出数据

1.1.1、使用–tables导出指定表

# 语法
mysqldump  db_name --tables  tb1_name  tb2_name  >  filemname.sql
# 实例
mysqldump mytest --tables t1 t2 > t1_t2.sql

1.1.2、使用–tab选项将表定义文件和数据文件分开导出

# 语法
mysqldump  db_name  --tab=dir
# 实例
mysqldump mytest1 --tab=/home/mysql/__test

1.1.3、使用–fields-terminated-by选项定义数据分隔符

以下导出时,数据值以逗号分隔

mysqldump mytest1 --tab=/home/mysql/__test   --fields-terminated-by=','

1.1.4、使用–databases选项导出整个库或多个库

参数说明如下:

  • –complete-insert:导出的dump文件里,每条INSERT语句都包含列名。
  • –force:即使出现错误,也要继续执行导出操作,会打印出错误。
  • –insert-ignore:生成的INSERT语句是INSERT IGNORE的形式,如果导入此文件,即使出错了也仍然可以继续导入数据(当作警告)。
  • –databases:类似–tables,后面可以跟多个值,即多个数据库名
  • –compatible=name:导出的文件和其他数据库更兼容(但不确保),name的值可以是ANSI、MYSQL323、MYSQL40、POSTGRESQL、ORACLE、MSSQL、DB2、MAXDB、NO_KEY_OPTIONS、NO_TABLE_OPTIONS或NO_FIELD_OPTIONS。
mysqldump --complete-insert --force --add-drop-database --insert-ignore --hex-blob --databases mytest > mytest_db.sql

1.1.5、使用–all-databases选项导出所有数据库

mysqldump --all-databases --add-drop-database > db.sql

1.1.6、使用–xml选项实现导出格式为XML

mysqldump  --xml  mytest1 >  /tmp/mytest1.xml

1.1.7、使用–ignore-table选项实现导出时忽略指定表

导出时可以选择忽略哪些表,即不导出哪些表,只需加上参数–ignore-table=db_name.tbl_name1、–ignore-table=db_name.tbl_name2。

mysqldump --databases=mytest,mytest1  --ignore-table=mytest.tb1,mytest1.tb2

1.1.8、使用mysql客户端配合mysqldump实现通配符匹配表名的导出

mysqldump不支持直接利用通配符导出多个表,但可以先用SELECT加通配符查询要导出的多张表的表名,将表名写到文件中,然后再用mysqldump读出表名再导出这些表。

#  1. 获得表名,写入文件
mysql -N information_schema -e "select table_name from tables where table_name like 'prefix_%' " > tbs.txt
#  2. 读取包含表名的文件,导出表
mysqldump db 'cat tbs.txt' > dump.sql 

1.1.9、使用mysqldump导出数据的优化方式

  1. 选择MySQL服务器的I/O活动低的时候导出数据。
  2. I/O分离(数据盘和备份盘I/O分离)。
  3. 输出到管道压缩(gzip)。
  4. –quick跳过内存缓冲(–opt默认启用)。
  5. 从数据保留策略上想办法,把不需要修改的大量数据放到历史表中,而不是每次都备份。

1.2、使用mysql导入数据

1.2.1、基本导入方法

  • mysqldump导出的SQL转储文件,可以用如下的形式将数据导入到数据库中:
mysql db_name < db_name.sql

1.2.2、乱码问题

  • 字符集问题:转储文件(dump文件)里面一般指定了set names utf8,所以我们在导入的时候不再需要指定特殊的字符集。例外的情况是,有一些特殊的场合,SQL文件是以其他的字符集导出的,这个时候导入要注意保持文件的字符集、客户端字符集和连接的字符集的一致性。–default-character-set的意思是,客户端和连接都默认使用charset_name字符集。
# 语法
mysql --default-character-set=charset_name database_name < import_table.sql 
# 示例
mysql --default-character-set=gbk  < import_table.sql
  • 如果mysql客户端输出的数据是乱码,那么请检查下客户端、连接的字符集配置。例如,我们使用SSH工具securecrt登录主机,然后使用mysql命令行工具连接MySQL服务器,mysql连接的默认配置可能是latin1,那么此时显示utf8的数据将会是乱码。这种情况下,可以在客户端运行set names utf8,并确认securecrt的字符编码是UTF-8,这样就可以正常显示utf8字符集的数据了。

2、SELECT INTO OUTFILE导出数据+LOAD DATA或mysqlimport导入数据

2.1、使用SELECT INTO OUTFILE导出数据

  • 如果想要进行SQL级别的表备份,可以使用SELECT INTO OUTFILE命令语句。对于SELECT INTO OUTFILE,输出的文件不能先于输出存在。
SELECT * INTO OUTFILE '/tmp/testfile.txt' FROM t1;
SELECT * INTO OUTFILE '/tmp/t1.txt'  FIELDS TERMINATED BY ':' OPTIONALLY ENCLOSED BY '+' ESCAPED BY '!'    FROM t1;

2.2、使用LOAD DATA导入数据

2.2.1、使用LOAD DATA导入数据的基本导出方法

  1. 一般来说,只要导出导入操作中使用的选项完全一致,用SELECT…INTO OUTFILE命令导出的文本文件就可以用LOAD DATA命令导入到数据表里去,不会发生任何变化。
  2. SELECT…INTO OUTFILE可以筛选记录,导出表数据到一个文件中,而LOAD DATA INFILE则是相反的操作,是读取这个文件导入表中。
  3. 如果LOAD DATA命令导入的文件不在MySQL服务器上,而是想导入客户端所在的本地文件系统的文件时,则需要使用语法变体LOAD DATA…LOCAL INFILE…,也就是说,如果指定LOCAL关键词,则表明从客户主机读文件。如果没指定LOCAL,那么文件必须位于MySQL服务器上。
mysql> load data infile '/tmp/t2.txt' into table t2; 

2.2.2、导出导入csv格式文件

  • 导出导入csv格式的文本文件。csv格式的文件,即逗号分隔的数据文件。
# 生成csv文件
mysql> select field_list from table_name  into outfile '/home/garychen/tmp/table_name_2.csv' fields terminated by ','  optionally enclosed by '"' lines terminated by '\n';
# 导入文件
mysql>  load data local infile '/home/garychen/tmp/table_name_2.csv' into table table_name fields terminated by ',' lines terminated by '\n'(field1,field2,field3);

2.2.3、SELECT INTO OUTFILE导出+LOAD DATA导入方案的优势

  1. 相较于普通的mysql命令,LOAD DATA执行SQL文件导入的方式要快得多,一般可以达到每秒几万条记录的插入速度。
  2. 如果有很多表,那么使用mysqldump会更简单。如果是导入个别大表,而且对于时间有很高的要求,那么LOAD DATA未尝不可。mysqldump默认的导出文件,其实已经包含了一些优化了,会有禁用key、启用key的操作,而且是一条INSERT语句包括多行记录的。

2.2.4、LOAD DATA的优化

  • 将innodb_buf fer_pool_size设置得更大些。
  • 将innodb_log_file_size设置得更大些,如256MB。
  • 设置忽略二级索引的唯一性约束,SET UNIQUE_CHECKS=0。
  • 设置忽略外键约束,SET FOREIGN_KEY_CHECKS=0。
  • 设置不记录二进制日志,SET sql_log_bin=0。
  • 按主键顺序导入数据。由于InnoDB使用了聚集索引,如果是顺序自增ID的导入,那么导入将会更快,我们可以把要导入的文件按照主键顺序先排好序再导入。
  • 对于InnoDB引擎的表,可以在导入前,先设置autocommit=0
  • 可以将大的数据文件切割为更小的多个文件,例如使用操作系统命令split切割文件,然后再并行导入数据。
  • 由于唯一索引(约束)对于我们导入数据的影响比较大,尤其对于大表导入,我们需要留意这一点。不要在大表上创建太多的唯一索引,主键、唯一索引不要包含太多列,否则导入数据将会很慢。

2.3、使用mysqlimport导入数据

  • mysqlimport命令的语法格式如下:
# 语法
mysqlimport databasename tablename.txt
# 实例
mysqlimport mytest /tmp/t2.txt 

3、使用mysql程序的批处理模式导出数据

使用mysql程序的批处理模式,支持比较灵活的导出数据,因为可以利用SQL语句。

  1. 可以基于mysql的批处理模式,做语句级别的导出,以下两种方式等价:
# 方式一,-e选项
mysql --batch --default-character-set=utf8 -e "SELECT * FROM t2;" mytest > t2.txt
# 方式二,--execute
mysql --batch --default-character-set=utf8 "--execute=SELECT * FROM t2;" mytest > t3.txt
  1. vertical选项,将查询结果按纵向导出:
mysql --batch --default-character-set=utf8  --vertical  -e "SELECT * FROM t2;" mytest > t2.txt
  1. html选项:将查询结果按html格式导出:
mysql --batch --default-character-set=utf8  --html  -e "SELECT * FROM t2;" mytest > t2.txt
  1. xml选项,将查询结果按xml格式导出:
mysql --batch --default-character-set=utf8  --xml  -e "SELECT * FROM t2;" mytest > t2.txt

4、使用Linux的split切割文件,加速导入数据

  • split命令的作用是切割文件,如果不加入任何参数,默认情况下是以1000行的大小来分割的。
split [OPTION] [INPUT [PREFIX]]
  • 以下以每个文件10000行记录进行切割,生成的文件名以test_spl i t_sub_为前缀,因为文件有15万多条记录,最后且分为16个文件
split -l 10000 /tmp/t1.txt t1_split_sub_

5、总结

MySQL导出导入数据(即数据转储)主要有以下三种方式:

  1. mysqldump导出+mysql导入:这种方式下导出的是SQL语句而非数据本身,所以导入时效率相对较低,但是胜在可以整库甚至多个库、多个表一起导出,适合整库的转储。
  2. SELECT INTO OUTFILE导出+LOAD DATA或mysqlimport导入:这种方式下导出的是纯数据,所以导入时效率会很高。适合单个大表的转储。
  3. mysql批处理模式导出+LOAD DATA或mysqlimport导入:这种方式下导出的也是纯数据,所以导入时效率会很高。优点除了导入效率高,由于是用SQL语句选择数据,所以很灵活,缺点则是使用门槛高。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/415845.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python算法设计 - 蒙特卡洛法

版权声明&#xff1a;原创不易&#xff0c;本文禁止抄袭、转载&#xff0c;侵权必究&#xff01; 目录一、蒙特卡洛法二、求圆周率π三、Python算法实现四、作者Info一、蒙特卡洛法 蒙特卡洛方法又称统计模拟法&#xff0c;随机抽样技术&#xff0c;是一种随机模拟方法&#x…

pytorch进阶学习(五):神经网络迁移学习应用的保姆级详细介绍,如何将训练好的模型替换成自己所需模型

代码资源和数据集资源使用进阶学习&#xff08;四&#xff09;中的代码&#xff0c;大家可以配合食用哟~ pytorch进阶学习&#xff08;四&#xff09;&#xff1a;使用不同分类模型进行数据训练&#xff08;alexnet、resnet、vgg等&#xff09;_好喜欢吃红柚子的博客-CSDN博客…

数据结构之八大排序算法

文章目录一.常见的排序二.插入排序三.希尔排序四.选择排序五.堆排序六.冒泡排序七.快速排序八.归并排序九.计数排序十.排序总结一.常见的排序 排序&#xff1a;所谓排序&#xff0c;就是使一串记录&#xff0c;按照其中的某个或某些关键字的大小&#xff0c;递增或递减的排列起…

pytorch性能分析工具Profiler

1. Torch Profiler工具介绍 https://zhuanlan.zhihu.com/p/360479566 PyTorch Profiler 是一个开源工具,可以对大规模深度学习模型进行准确高效的性能分析。包括如下等功能: 分析model的GPU、CPU的使用率各种算子op的时间消耗trace网络在pipeline的CPU和GPU的使用情况Profil…

Educational Codeforces Round 146 (Rated for Div. 2) - B. Long Legs(思维 数学)

题目如下&#xff1a; 题目链接 题解 or 思路&#xff1a; 我们可以发现我们有两个可选的入手方向&#xff1a; 1.正推 2.反推 我们可以发现正推似乎看不出来什么东西&#xff0c;而反推可以发现一个性质&#xff01; 性质如下&#xff1a; 我们假设最终的腿长为 MMM 可以得到…

sql需要注意的地方 以及 云记模块逻辑

标题模糊搜素时 sql语句需要注意的地方 用concat拼; 用户行为 actionName 进入发布云记页面 actionNameview 添加或修改云记 actionNameaddOrUpdate 查询云记详情 actionNamedetail 删除云记 actionNamedelete 分页查询云记列表 …

第05章_数组

第05章_数组 讲师&#xff1a;尚硅谷-宋红康&#xff08;江湖人称&#xff1a;康师傅&#xff09; 官网&#xff1a;http://www.atguigu.com 本章专题与脉络 1. 数组的概述 1.1 为什么需要数组 需求分析1&#xff1a; 需要统计某公司50个员工的工资情况&#xff0c;例如计…

chatGPT中文版入口-chatGPT不可以用的地区

ChatGPT老出现不可用 如果您在使用ChatGPT时发现它经常不可用&#xff0c;可能是由于以下原因&#xff1a; OpenAI API的服务不稳定。由于技术问题、网络问题或维护&#xff08;如软件更新&#xff09;等原因导致OpenAI API服务不稳定&#xff0c;会导致ChatGPT无法使用。 接…

【JSON学习笔记】2.JSON vs XML及JSON的对象和数组

前言 本章介绍JSON vs XML及JSON的对象和数组。 JSON vs XML JSON 和 XML 都用于接收 web 服务端的数据。 JSON 和 XML在写法上有所不同&#xff0c;如下所示&#xff1a; JSON 实例 {"sites": [{ "name":"csdn教程" , "url":&q…

〖Python网络爬虫实战⑪〗- 正则表达式实战(二)

订阅&#xff1a;新手可以订阅我的其他专栏。免费阶段订阅量1000python项目实战 Python编程基础教程系列&#xff08;零基础小白搬砖逆袭) 说明&#xff1a;本专栏持续更新中&#xff0c;目前专栏免费订阅&#xff0c;在转为付费专栏前订阅本专栏的&#xff0c;可以免费订阅付费…

《LeetCode 热题 HOT 100》——寻找两个正序数组的中位数

本期给大家带来的是是《LeetCode 热题 HOT 100》第四题——寻找两个正序数组的中位数的题目讲解&#xff01;&#xff01;&#xff01;&#xff08;&#xff09; 本文目录 &#x1f4a5;题意分析 &#x1f4a5;解题思路&#xff1a; 1、直接法 &#xff08;❌&#xff09; …

2023年证券、基金、银行从业资格证考试计划

一、证券从业&#xff1a; 考试时间&#xff1a;统一测试拟于6月3日-4日举办1次&#xff0c;在全国41个城市举办。 报名网站&#xff1a;考试报名-中国证券业协会 (sac.net.cn) 目标&#xff1a;一般从业资格考试(入门资格考试) 考试人群&#xff1a;即将进入证券业从业的人…

Linux命令·ping

Linux系统的ping命令是常用的网络命令&#xff0c;它通常用来测试与目标主机的连通性&#xff0c;我们经常会说“ping一下某机器&#xff0c;看是不是开着”、不能打开网页时会说“你先ping网关地址192.168.1.1试试”。它通过发送ICMP ECHO_REQUEST数据包到网络主机&#xff08…

【ROS2指南-5】理解ROS2服务

目标&#xff1a;使用命令行工具了解 ROS 2 中的服务。 教程级别&#xff1a;初学者 时间&#xff1a; 10分钟 内容 背景 先决条件 任务 1 设置 2 ros2服务列表 3 ros2服务类型 4 ros2 服务查找 5 ros2界面展示 6 ros2 服务调用 概括 下一步 相关内容 背景 服务是 …

Ubuntu18.04安装linux-lab

Ubuntu18.04安装linux-lab 文章目录Ubuntu18.04安装linux-labdocker安装linux-lab安装意外事件流处理参考资料本文主要目的是搭建linux内核实验环境 因为工作需要所以学习linux内核&#xff0c;目前主要根据《linux内核完全注释》和《自己动手写操作系统》进行学习&#xff0c…

代码随想录【链表】---->反转链表、两两交换链表中的节点

文章目录206. 反转链表思路双指针实现递归写法24. 两两交换链表中的节点思路代码实现206. 反转链表 题目LeetCode206. 反转链表 思路 翻转链表实际上只需要将每一个节点的指针域指向前一个节点即可&#xff0c;原来第一个节点的指针域指向NULL指针 原头节点是1&#xff0c…

前端的性能对业务数据的影响

性能总论 一切没有 profiling 的性能都是耍流氓。凡是真正有价值的性能优化&#xff0c;必定是从端到端的业务场景建立体系来考虑的。 性能体系的建立可以分成以下几部分&#xff1a; 现状评估和建立指标&#xff1b;技术方案&#xff1b;执行&#xff1b;结果评估和监控。 …

【博学谷学习记录】超强总结,用心分享 | 架构师 Redis学习总结

文章目录1.Redis概述&安装配置安装启动2.Redis的Key的设计规范1、key名设计2、避免bigkey**string字符串类型**hash类型&#xff08;散列表&#xff09;list列表类型set集合类型sortedset有序集合类型bitmap位图 类型geo地理位置类型1.Redis概述&安装配置 官网&#x…

SQL SERVER数据库生成数据字典并且导出方法

SQL SERVER数据库生成数据字典并且导出方法打开SQL SERVER 2014找到你所需要建立数据字典的数据库在代码区输入如下SQL语句点击运行&#xff0c;导出或者带标题复制出来打开SQL SERVER 2014找到你所需要建立数据字典的数据库 右键→点击 新建查询 在代码区输入如下SQL语句 S…

椭圆型偏微分方程和格林函数

一、本文先简单地介绍一下Green 函数&#xff0c; 第一部分内容来自于文献 [0]BI-GreenNet: Learning Green’s Functions by Boundary Integral Network [1] Evans, L.C.: Partial Differential Equations. American Mathematical Society, Providence, R.I. (2010) [2]Learn…