文章目录
- 前言
- 一、环境简介
- 二、迁移前提条件
- 三、迁移方案
- 四、迁移过程
- 总结
前言
TiDB 是一款结合了传统的关系型数据库和 NoSQL 数据库特性的新型分布式数据库。是第一个把数据分布在全球范围内的系统，并且支持外部一致性的分布式事务。
TiDB 具备强一致性和高可用性，支持分布式事务的处理，所以实用性和应用性都很高。本期跟大家分享TiDB数据迁移的实操过程。
一、环境简介
- 生产硬件资源
- 生产集群信息
- 迁移数据库信息
- 新集群硬件资源
- 新集群信息
二、迁移前提条件
1）由于客户环境两个TiDB集群网络不相通，只能通过开放网络策略进行生产和新集群之间的连通。
- 提前进行两个集群配置文件和系统变量参数进行收集，因为两集群版本不一样，有很多迁移后新增或删除的参数进行一个对比修改。
三、迁移方案
- 方案一 ：TiDB Binlog
备份恢复过程中不停机（Dumpling+Lightning+TiDB Binlog增量同步）
- Dumpling备份生产集群全量数据
- Lightning恢复全量数据到新集群
- 生产停业务
- 确认业务已停
- 部署TiDB Binlog进行增量同步
- 验证数据一致性
- 切应用到新集群
- 方案二 ：TiDB CDC
备份恢复过程中不停机（Dumpling+Lightning+TiDB CDC增量同步)
- Dumpling备份生产集群全量数据
- Lightning恢复全量数据到新集群
- 生产停业务
- 确认业务已停
- 部署TiDB CDC进行增量同步
- 验证数据一致性
- 切应用到新集群
- 方案三：Dumpling+Lightning（建议）
- 生产停业务
- 确认业务已停
- dumpling备份生产集群全量数据
- lightning恢复全量数据到新集群
- 验证数据一致性
- 切应用到新集群
- 方案四：DM全量数据迁移和增量数据同步
- 部署DM集群
- 进行全量数据迁移和增量数据同步
- 生产停业务
- 确认业务已停
- 验证数据一致性
- 切应用到新集群
因为客户迁移数据量比较少和资源不满足组件搭建，建议使用方案三，而不采用方案一、二、四方式进行TiDB集群数据迁移。
注意：方案三没有部署增量实时同步组件，迁移过程中要保证TiDB集群业务暂停使用来保证数据的一致性。
四、迁移过程
- 确认业务已停
业务已停后，TiDB开启全局只读模式并重启集群。
- Step 1：TiDB设置只读
show variables like '%read_only%';
set global tidb_restricted_read_only=on;
- Step 2：重启集群
show processlist;
tiup cluster restart tidb1 -R tidb
-
逻辑导出导入
-
Step 1：Dumpling导出
mkdir -p /data/backup
chown -R tidb:tidb /data/backup
cd /home/tidb/tidb-community-server-v5.2.3-linux-amd64
./dumpling -uroot -P4000 -hxxx.xxx.15.4 -p123456 --filetype sql -t 8 -r 200000 -F256MiB -o /data/backup --filter "db01.*" >> /data/backup/dumpling1.log
./dumpling -uroot -P4000 -hxxx.xxx.15.4 -p123456 --filetype sql -t 8 -r 200000 -F256MiB -o /data/backup --filter "db02.*" >> /data/backup/dumpling2.log
#查看日志是否有报错
tail -100f /data/backup/dumpling1.log
tail -100f /data/backup/dumpling2.log
- Step 2：用户和权限导出
vi /data/mysql_exp_grants.sh
#执行脚本
chmod u+x /data/mysql_exp_grants.sh
sh /data/mysql_exp_grants.sh
cat /data/backup/mysql_exp_grants_out_2022xxxx.sql
- Step 3：Lightning
#先确认新集群对应数据库没有数据
show create database db01;
show create database db02;
drop database db01;
drop database db02;
CREATE DATABASE db01 PLACEMENT POLICY czpool;
CREATE DATABASE db02 PLACEMENT POLICY zjpool;
vi /data/tidb-lightning.toml
[lightning]
level = "info"
file = "/data/backup/tidb-lightning.log"
check-requirements = true
[mydumper]
data-source-dir = "/data/backup"
character-set = "auto"
[tikv-importer]
backend = "local"
sorted-kv-dir = "/sort"
[tidb]
host = "xxx.xxx.48.8"
port = 4000
user = "root"
password = "12345678"
status-port = 10080
pd-addr = "xxx.xxx.48.5:2379"
log-level = "error"
[checkpoint]
enable = true
driver = "file"
dsn = "/data/backup/tidb_lightning_checkpoint.pb"
keep-after-success = false
- Step 4：用户和权限导入
修改/data/backup/mysql_exp_grants_out_20220905.sql
cd /data/backup/
cp mysql_exp_grants_out_2022xxxx.sql mysql_exp_grants_out_2022xxxx.sql.bak
vi mysql_exp_grants_out_2022xxxx.sql
删除root用户的
source /data/backup/mysql_exp_grants_out_20221108.sql
- Step 5：验证数据一致性
vi /home/tidb/sync-diff-inspector.toml
export-fix-sql = true
[data-sources.tidb1]
host = "xxx.xxx.1.55"
port = 4000
user = "root"
password = "12345678"
[data-sources.tidb0]
host = "xxx.xxx.12.184"
port = 4000
user = "root"
password = "123456"
[task]
output-dir = "/data/output"
source-instances = ["tidb1"]
target-instance = "tidb0"
target-check-tables = ["db01.*", "db02.*"]
#执行对比
cd /home/tidb/soft/tidb-enterprise-toolkit-v6.1.0-linux-amd64/
./sync_diff_inspector --config /home/tidb/sync-diff-inspector.toml
- Step 6：新集群进行参数修改
因为旧集群修改过系统变量和参数，可能会对应用造成一定的影响。
迁移后，需要根据之前的参数进行判断修改。
-
Step 7：应用切到新集群
-
Step 8：取消TiDB只读
set global tidb_restricted_read_only=off;
set global tidb_super_read_only=off;
tiup cluster restart tidb2
show variables like '%read_only%';
总结
- TiDB集群之间迁移方法有很多种，根据客户实际情况进行一个方案选择。
- 迁移前需要比对两集群参数文件和系统变量，迁移后进行参数判断修改。
- 用户权限的导出和导入，防止旧集群用户登录不了新集群。
- 迁移前，最好数据库进行设置只读模式，防止数据还有新增等意外情况。
- 因为新集群placement rule in放置策略，此导入模式需要数据库为空，删除数据库前提前记录数据库属性，迁移后进行相应配置
以上就是今天分享的内容，感兴趣的可以收藏喔~
