前言

之前在项目中，收到一个紧急需求，要把数据从 PostgreSQL 迁移到 TiDB 中。由于时间紧任务重，来不及调研高效的方式，直接使用了 Navicat 内置的功能，把数据从 PostgreSQL 迁移到了 TiDB。

项目结束后，我深入调研了几个同步迁移工具，本期就跟大家一起看看，几个迁移同步工具的实现步骤和各自的优缺点，以便在后续项目中能够选择最佳的工具，高效完成。

一、Navicat

Navicat Premium 是一套多连接数据库开发工具，让你在单一应用程序中同时连接多种类型的数据库：MySQL、MariaDB、MongoDB、SQL Server、SQLite、Oracle 和 PostgreSQL，可一次快速方便地访问所有数据库。

我们先来一起看看它的迁移能力 ⬇

Step 1: 增加数据源与目标库

在这里插入图片描述

Step 2: 打开数据传输工具填写好相关信息：工具->传输工具

在这里插入图片描述

Step 3: 选择全部表

在这里插入图片描述

Step 4: 同步结果

在这里插入图片描述

4步操作就实现了数据库同步迁移。

二、DataX

DataX 是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。

DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

我们可以把Datax的同步功能当作迁移功能使用，看看效果如何 ⬇

Step 1: 环境准备
Linux
JDK(1.8以上，推荐1.8)
Python(2或3都可以)
Apache Maven 3.x (Compile DataX)

我们这里只简单介绍工具包安装：

yum install -y java-1.8.0-openjdk

# python2 自带了，这里不做安装。
# 用工具包安装，不需要部署 Apache Maven

Step 2: Datax部署

1、直接下载DataX工具包

下载地址：https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202210/datax.tar.gz；

2、上传到Linux中

3、解压

tar -zxvf datax.tar.gz；

4、验证环境是否正常

python ./datax/bin/datax.py ./datax/job/job.json

5、验证结果
在这里插入图片描述

Step 3: 编写Job

1、查看配置模板

python ./datax/bin/datax.py -r postgresqlreader -w mysqlwriter

2、编写配置模板


{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "postgresqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:postgresql://10.3.70.132:30118/dc-master-data-management-pg_migrate_test"],
                                "table": ["crm_lead"]
                            }
                        ],
                        "password": "test",
                        "username": "test",
                        "column": ["*"]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://10.3.65.137:4000/test?characterEncoding=utf8&useSSL=false&useServerPrepStmts=true&prepStmtCacheSqlLimit=1000&useConfigs=maxPerformance&rewriteBatchedStatements=true&defaultfetchsize=-2147483648",
                                "table": ["crm_lead"]
                            }
                        ],
                        "username": "root",
                        "password": "tidb",
                        "writeMode": "insert",
                        "column": ["*"]
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

Step 4: 启动Datax

1、启动Datax

python ./datax/bin/datax.py ./datax/pg2tidb.json

2、完成结果
在这里插入图片描述

二、TurboDX

TurboDX for MySQL 专门针对兼容MySQL路线的数据库作为目标库的实时同步工具软件，支持Oracle(RAC)、SQLServer、MySQL、PostgreSQL、DB2、Informix等，全量+增量实时同步到MySQL/TiDB/Oceanbase/TDSQL/GlodenDB/SequoiaDB/GreatDB/HotDB等。