简介
简要使用数据导出工具。
介绍
特点
适用场景
部署
下载
TiDB 社区版 | PingCAP
安装
#解压下载好的安装包
tar -zxvf tidb-community-toolkit-v6.5.0-linux-amd64.tar.gz
#进入到文件夹以后解压出dumpling
cd tidb-community-toolkit-v6.5.0-linux-amd64
tar -zxvf dumpling-v6.5.0-linux-amd64.tar.gz
vi /etc/profile.d/my.sh
#TOOLKIT_HOME
export TOOLKIT_HOME=/root/tidb-community-toolkit-v6.5.0-linux-amd64
export PATH=$PATH:$TOOLKIT_HOME
source /etc/profile.d/my.sh打印
[root@master ~]# dumpling
Release version: v6.5.0
Git commit hash: 706c3fa3c526cdba5b3e9f066b1a568fb96c56e3
Git branch: heads/refs/tags/v6.5.0
Build timestamp: 2022-12-27 03:43:05Z
Go version: go version go1.19.3 linux/amd64
[2023/04/16 11:33:01.563 +08:00] [INFO] [versions.go:54] ["Welcome to dumpling"] ["Release Version"=v6.5.0] ["Git Commit Hash"=706c3fa3c526cdba5b3e9f066b1a568fb96c56e3] ["Git Branch"=heads/refs/tags/v6.5.0] ["Build timestamp"="2022-12-27 03:43:05"] ["Go Version"="go version go1.19.3 linux/amd64"]
[2023/04/16 11:33:01.565 +08:00] [WARN] [version.go:316] ["select tidb_version() failed, will fallback to 'select version();'"] [error="Error 1045: Access denied for user 'root'@'127.0.0.1' (using password: NO)"]
create dumper failed: sql: SELECT version();: Error 1045: Access denied for user 'root'@'127.0.0.1' (using password: NO)
导出概述
使用的最小权限
导出SQL文件
dumpling -u root -P 4000 -h 127.0.0.1 --filetype sql -t 8 -o /tmp/test -r 200000 -F256MiB
#表示导出的文件是sql
--filetype sql
#表示导出的线程并发数
-t 8
#导出的文件位置
-o /tmp/test
#多少行的时候新创建一个文件
-r 200000
#到达256M新创建一个文件
-F256MiB导出CSV文件
./dumpling -u root -P 4000 -h 127.0.0.1 -o /tmp/test --filetype csv -r 200000 -F256MiB对于导出数据过滤
如果没有指定导出文件的类型，那么默认是sql的。
导出数据的库表过滤
导出实战
前提
#登录到tidb查看下数据
mysql -h127.0.0.1 -P4000 -uroot -ptidb
use test;
mysql> select * from emp;
+------+
| id |
+------+
| 1 |
+------+
1 row in set (0.00 sec)导出SQL文件
dumpling -uroot -P4000 -h127.0.0.1 -ptidb --filetype sql -t 8 -o /tmp/test/sql -r 200000 -F256MiB -B test导出的文件
[root@master ~]# cd /tmp/test/sql
[root@master sql]# ll
total 16
-rw-r--r-- 1 root root 146 Apr 16 12:06 metadata
-rw-r--r-- 1 root root 59 Apr 16 12:06 test.emp.0000000010000.sql
-rw-r--r-- 1 root root 139 Apr 16 12:06 test.emp-schema.sql
-rw-r--r-- 1 root root 95 Apr 16 12:06 test-schema-create.sql
metadata
[root@master sql]# cat metadata
Started dump at: 2023-04-16 12:06:17
SHOW MASTER STATUS:
Log: tidb-binlog
Pos: 440826063176335367
GTID:
Finished dump at: 2023-04-16 12:06:17
test-schema-create.sql
[root@master sql]# cat cat test-schema-create.sql
cat: cat: No such file or directory
/*!40101 SET NAMES binary*/;
CREATE DATABASE `test` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;test.emp-schema.sql 
[root@master sql]# cat test.emp-schema.sql
/*!40101 SET NAMES binary*/;
CREATE TABLE `emp` (
`id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
test.emp.0000000010000.sql
[root@master sql]# cat test.emp.0000000010000.sql
/*!40101 SET NAMES binary*/;
INSERT INTO `emp` VALUES
(1);导出csv文件
dumpling -uroot -P4000 -h127.0.0.1 -ptidb --filetype csv -t 8 -o /tmp/test/csv -r 200000 -F256MiB -B test如果想导出的单独的表，那么就用-T test.emp
[root@master csv]# ll
total 16
-rw-r--r-- 1 root root 146 Apr 16 12:59 metadata
-rw-r--r-- 1 root root 9 Apr 16 12:59 test.emp.0000000010000.csv
-rw-r--r-- 1 root root 139 Apr 16 12:59 test.emp-schema.sql
-rw-r--r-- 1 root root 95 Apr 16 12:59 test-schema-create.sql
test.emp.0000000010000.csv
[root@master csv]# cat test.emp.0000000010000.csv
"id"
1
导出数据的一致性
- Snapshot #使用的是MVCC机制，如果导出的时候是10点，那么就算10点10分删除了数据，还是会吧10点的数据全部导出来
- None #不会使用MVCC机制，如果导出的时候有数据删除了，删除那一部分数据就导不出来了。
- Flush #在数据库里面加一个只读锁。
- Lock #导出哪张表就会给哪张表加锁。
- Auto #如果是tidb那么就是Flush，如果是TiDB那么就是Snapshot。
性能优化
