目录
- 1 下载安装TiDB工具包
- 1.1 检查最新版本
- 1.2 下载tidb-toolkit
- 2 Dumpling导出数据
- 2.1 Dumpling工具简介
- 2.2 导出需要的权限
- 2.3 创建用户并授权
- 2.4 验证数据库
- 2.5 导出sql文件
- 2.6 查看导出文件
- 3 TiDB Lightning导入数据
- 3.1 TiDB Lightning简介
- 3.2 TiDB Lightning 整体架构
- 3.3 配置tidb-lightning.toml
- 3.4 执行导入命令
- 3.5 检查是否导入成功
1 下载安装TiDB工具包
安装包位置在
https://download.pingcap.org/tidb-toolkit-{version}-linux-amd64.tar.gz
- {version}：为 Dumpling 的版本号，可以通过 Dumpling Release
https://github.com/pingcap/dumpling/releases查看当前已发布版本
1.1 检查最新版本
通过 Dumpling Release
https://github.com/pingcap/dumpling/releases查看当前已发布版本，检查发现Dumpling当前版本是4.0.11
1.2 下载tidb-toolkit
# 下载工具包
wget https://download.pingcap.org/tidb-toolkit-v5.0.6-linux-amd64.tar.gz
# 解压文件
tar -zxvf tidb-toolkit-v5.0.6-linux-amd64.tar.gz
2 Dumpling导出数据
2.1 Dumpling工具简介
Dumpling是使用 go 开发的数据备份工具，项目地址可以参考 Dumplinghttps://github.com/pingcap/dumpling。
Dumpling命令参数列表
| 主要选项 | 用途 | 默认值 |
|---|---|---|
| -V 或 --version | 输出 Dumpling 版本并直接退出 | |
| -B 或 --database | 导出指定数据库 | |
| -T 或 --tables-list | 导出指定数据表 | |
| -f 或 --filter | 导出能匹配模式的表，语法可参考 table-filter | *.*（导出所有库表） |
| –case-sensitive | table-filter 是否大小写敏感 | false，大小写不敏感 |
| -h 或 --host | 连接的数据库主机的地址 | “127.0.0.1” |
| -t 或 --threads | 备份并发线程数 | 4 |
| -r 或 --rows | 将 table 划分成 row 行数据，一般针对大表操作并发生成多个文件。 | |
| -L 或 --logfile | 日志输出地址，为空时会输出到控制台 | “” |
| –loglevel | 日志级别 {debug,info,warn,error,dpanic,panic,fatal} | “info” |
| –logfmt | 日志输出格式 {text,json} | “text” |
| -d 或 --no-data | 不导出数据，适用于只导出 schema 场景 | |
| –no-header | 导出 csv 格式的 table 数据，不生成 header | |
| -W 或 --no-views | 不导出 view | true |
| -m 或 --no-schemas | 不导出 schema，只导出数据 | |
| -s 或–statement-size | 控制 INSERT SQL 语句的大小，单位 bytes | |
| -F 或 --filesize | 将 table 数据划分出来的文件大小，需指明单位（如 128B, 64KiB, 32MiB, 1.5GiB） | |
| –filetype | 导出文件类型（csv/sql） | “sql” |
| -o 或 --output | 导出文件路径 | “./export-${time}” |
| -S 或 --sql | 根据指定的 sql 导出数据，该选项不支持并发导出 | |
| –consistency | flush: dump 前用 FTWRL snapshot: 通过 TSO 来指定 dump 某个快照时间点的 TiDB 数据 lock: 对需要 dump 的所有表执行 lock tables read 命令 none: 不加锁 dump，无法保证一致性 auto: 对 MySQL 使用 --consistency flush；对 TiDB 使用 --consistency snapshot | “auto” |
| –snapshot | snapshot tso，只在 consistency=snapshot 下生效 | |
| –where | 对备份的数据表通过 where 条件指定范围 | |
| -p 或 --password | 连接的数据库主机的密码 | |
| -P 或 --port | 连接的数据库主机的端口 | 4000 |
| -u 或 --user | 连接的数据库主机的用户名 | “root” |
| –dump-empty-database | 导出空数据库的建库语句 | true |
| –ca | 用于 TLS 连接的 certificate authority 文件的地址 | |
| –cert | 用于 TLS 连接的 client certificate 文件的地址 | |
| –key | 用于 TLS 连接的 client private key 文件的地址 | |
| –csv-delimiter | csv 文件中字符类型变量的定界符 | ‘"’ |
| –csv-separator | csv 文件中各值的分隔符 | ‘,’ |
| –csv-null-value | csv 文件空值的表示 | “\N” |
| –escape-backslash | 使用反斜杠 (\) 来转义导出文件中的特殊字符 | true |
| –output-filename-template | 以 golang template 格式表示的数据文件名格式 支持 {{.DB}}、{{.Table}}、{{.Index}} 三个参数 分别表示数据文件的库名、表名、分块 ID | ‘{{.DB}}.{{.Table}}.{{.Index}}’ |
| –status-addr | Dumpling 的服务地址，包含了 Prometheus 拉取 metrics 信息及 pprof 调试的地址 | “:8281” |
| –tidb-mem-quota-query | 单条 dumpling 命令导出 SQL 语句的内存限制，单位为 byte。对于 v4.0.10 或以上版本，若不设置该参数，默认使用 TiDB 中的 mem-quota-query 配置项值作为内存限制值。对于 v4.0.10 以下版本，该参数值默认为 32 GB | 34359738368 |
| –params | 为需导出的数据库连接指定 session 变量，可接受的格式: “character_set_client=latin1,character_set_connection=latin1” |
2.2 导出需要的权限
- SELECT
- RELOAD
- LOCK TABLES
- REPLICATION CLIENT
2.3 创建用户并授权
#创建tidb用户密码是 tidb并授权外部所以IP可以访问
CREATE USER 'tidb'@'%' IDENTIFIED BY 'tidb';
# 授权SELECT,RELOAD,LOCK TABLES,REPLICATION CLIENT 权限给tidb用户
GRANT SELECT,RELOAD,LOCK TABLES,REPLICATION CLIENT ON *.* TO 'tidb'@'%';
# 刷新数据库
FLUSH PRIVILEGES;
2.4 验证数据库
mysql -u tidb -h 172.16.44.47 -p
show databases;
show tables;
2.5 导出sql文件
Dumpling 默认导出数据格式为 sql 文件。也可以通过设置
--filetype sql导出数据到 sql 文件：
./bin/dumpling -h 172.16.44.47 -P 3306 -B employees -u tidb -p tidb --filetype sql --threads 10 -o /tmp/test -F 256MiB
执行命令后从mysql中导出了文件
2.6 查看导出文件
cd /tmp/test/ ; ll
3 TiDB Lightning导入数据
3.1 TiDB Lightning简介
TiDB Lightning 是一个将全量数据高速导入到 TiDB 集群的工具。
TiDB Lightning 有以下两个主要的使用场景：一是大量新数据的快速导入；二是全量备份数据的恢复。目前，Lightning 支持 Dumpling 或 CSV 输出格式的数据源。你可以在以下两种场景下使用 Lightning：
- 迅速导入大量新数据。
- 恢复所有备份数据。
3.2 TiDB Lightning 整体架构
3.3 配置tidb-lightning.toml
vi tidb-lightning.toml
[lightning]
# 日志
level = "info"
file = "tidb-lightning.log"
[tikv-importer]
# 选择使用的 local 后端
backend = "local"
# 设置排序的键值对的临时存放地址，目标路径需要是一个空目录
"sorted-kv-dir" = "/tmp/sorted-kv-dir"
[mydumper]
# 源数据目录。
data-source-dir = "/tmp/test/"
[tidb]
# 目标集群的信息
host = "192.168.64.152"
port = 4000
user = "root"
password = ""
# 表架构信息在从 TiDB 的“状态端口”获取。
status-port = 10080
# 集群 pd 的地址
pd-addr = "192.168.64.152:2379"
3.4 执行导入命令
./bin/tidb-lightning -config tidb-lightning.toml
出现错误不需要理会，等待导入完成
导入完毕后，TiDB Lightning 会自动退出。若导入成功，日志的最后一行会显示
tidb lightning exit。
3.5 检查是否导入成功
登录TiDB检查导入是否成功
mysql -u root -P 4000 -h 192.168.64.152
到这里基本上已经确定导入成功
