DataX数据同步（全量）

news2025/2/26 22:24:47

1. DataX简介

1.1 DataX概述

  DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
源码地址：https://github.com/alibaba/DataX

1.2 DataX支持的数据源

在这里插入图片描述
在这里插入图片描述

2. DataX架构原理

2.1 DataX设计理念

  为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
在这里插入图片描述

2.2 DataX框架设计

  DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。
在这里插入图片描述

2.3 DataX运行流程

  下面用一个DataX作业生命周期的时序图说明DataX的运行流程、核心概念以及每个概念之间的关系。
在这里插入图片描述

2.4 DateX调度决策思路

  举例来说，用户提交了一个DataX作业，并且配置了总的并发度为20，目的是对一个有100张分表的mysql数据源进行同步。DataX的调度决策思路是：
1）DataX Job根据分库分表切分策略，将同步工作分成100个Task。
2）根据配置的总的并发度20，以及每个Task Group的并发度5，DataX计算共需要分配4个TaskGroup。
3）4个TaskGroup平分100个Task，每一个TaskGroup负责运行25个Task。

3. DataX部署

1）下载DataX安装包并上传到hadoop102的/opt/software
2）解压datax.tar.gz到/opt/module

[atguigu@hadoop102 software]$ tar -zxvf datax.tar.gz -C /opt/module/

3）自检，执行如下命令

[atguigu@hadoop102 ~]$ python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json

出现如下内容，则表明安装成功
在这里插入图片描述

4. DataX使用

  DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。

[atguigu@hadoop102 datax]$ python bin/datax.py path/to/your/job.json

4.1 DataX配置文件格式

  可以使用如下命名查看DataX配置文件模板。

[atguigu@hadoop102 datax]$ python bin/datax.py -r mysqlreader -w hdfswriter

  配置文件模板如下，json最外层是一个job，job包含setting和content两部分，其中setting用于对整个job进行配置，content用户配置数据源和目的地。
在这里插入图片描述
Reader和Writer的具体参数可参考官方文档，地址如下：
https://github.com/alibaba/DataX/blob/master/README.md
在这里插入图片描述

4.2 同步MySQL数据到HDFS案例

  案例要求：同步gmall数据库中base_province表数据到HDFS的/base_province目录
需求分析：要实现该功能，需选用MySQLReader和HDFSWriter，MySQLReader具有两种模式分别是TableMode和QuerySQLMode，前者使用table，column，where等属性声明需要同步的数据；后者使用一条SQL查询语句声明需要同步的数据。本案例使用TableMode实现

1. Mysql数据库gmall的base_province表数据内容如下:

在这里插入图片描述

2. 编写datax的配置文件

[atguigu@hadoop102 ~]$ vim /opt/module/datax/job/base_province.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "where": "id>=3",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "table": [
                                    "base_province"
                                ]
                            }
                        ],
                        "password": "000000",
                        "splitPk": "",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

3. 配置文件说明

  1. Reader参数说明:
    在这里插入图片描述

  2. Writer参数说明
    在这里插入图片描述
    注意事项：
    HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将null值存储为空字符串（‘’），而Hive默认的null值存储格式为\N。所以后期将DataX同步的文件导入Hive表就会出现问题。
    解决该问题的方案有两个：
    一是修改DataX HDFS Writer的源码，增加自定义null值存储格式的逻辑，可参考https://blog.csdn.net/u010834071/article/details/105506580。

  3. Setting参数说明
    在这里插入图片描述

4. 提交任务

（1）在HDFS创建/base_province目录
使用DataX向HDFS同步数据时，需确保目标路径已存在

[atguigu@hadoop102 datax]$ hadoop fs -mkdir /base_province

(2）进入DataX根目录

[atguigu@hadoop102 datax]$ cd /opt/module/datax

(3)执行如下命令

[atguigu@hadoop102 datax]$ python bin/datax.py job/base_province.json

(4)查看结果

  1. DataX打印日志
    在这里插入图片描述

  2. 查看HDFS文件
    在这里插入图片描述

4.3 同步MySQL数据到HDFS案例(DataX传参)

  通常情况下，离线数据同步任务需要每日定时重复执行，故HDFS上的目标路径通常会包含一层日期，以对每日同步的数据加以区分，也就是说每日同步数据的目标路径不是固定不变的，因此DataX配置文件中HDFS Writer的path参数的值应该是动态的。为实现这一效果，就需要使用DataX传参的功能。
DataX传参的用法如下，在JSON配置文件中使用${param}引用参数，在提交任务时使用-p"-Dparam=value"传入参数值，具体示例如下。

1. 修改配置文件base_province_param.json

[atguigu@hadoop102 ~]$ vim /opt/module/datax/job/base_province_param.json

2. 配置文件内容如下

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "querySql": [
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3"
                                ]
                            }
                        ],
                        "password": "000000",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province/${dt}",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

重点内容如下:
在这里插入图片描述

3. 提交任务

（1）创建目标路径

[atguigu@hadoop102 datax]$ hadoop fs -mkdir /base_province/2024-01-14

（2）进入DataX根目录

[atguigu@hadoop102 datax]$ cd /opt/module/datax

（3）执行如下命令

[atguigu@hadoop102 datax]$ python bin/datax.py -p"-Ddt=2024-01-14" job/base_province_param.json

在这里插入图片描述

（4）查看结果

[atguigu@hadoop102 datax]$ hadoop fs -ls /base_province

在这里插入图片描述

4.4 同步HDFS 数据到 Mysql案例

  案例要求：同步HDFS上的/base_province目录下的数据到MySQL gmall 数据库下的test_province表。
需求分析：要实现该功能，需选用HDFSReader和MySQLWriter。

1. 编写配置文件

（1）创建配置文件base_province_hdfsToMysql.json

[atguigu@hadoop102 ~]$ vim /opt/module/datax/job/base_province_hdfsToMysql.json

（2）配置文件内容如下

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "defaultFS": "hdfs://hadoop102:8020",
                        "path": "/base_province",
                        "column": [
                            "*"
                        ],
                        "fileType": "text",
                        "compress": "gzip",
                        "encoding": "UTF-8",
                        "nullFormat": "\\N",
                        "fieldDelimiter": "\t",
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "root",
                        "password": "000000",
                        "connection": [
                            {
                                "table": [
                                    "test_province"
                                ],
                                "jdbcUrl": "jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&characterEncoding=utf-8"
                            }
                        ],
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "writeMode": "replace"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

2. 配置文件说明

（1）Reader参数说明
在这里插入图片描述
（2）Writer参数说明
在这里插入图片描述

3. 提交任务

（1）在MySQL中创建gmall.test_province表

DROP TABLE IF EXISTS `test_province`;
CREATE TABLE `test_province`  (
  `id` bigint(20) NOT NULL,
  `name` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `region_id` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `area_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `iso_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `iso_3166_2` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

（2）进入DataX根目录

[atguigu@hadoop102 datax]$ cd /opt/module/datax

（3）执行如下命令

[atguigu@hadoop102 datax]$ python bin/datax.py job/base_province_hdfsToMysql.json

（4）查看结果

  • DataX打印日志
    在这里插入图片描述

  • mysql目标表数据
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1394553.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SpringMVC入门案例

SpringMVC入门案例

引言 Spring MVC是一个基于MVC架构的Web框架，它的主要作用是帮助开发者构建Web应用程序。它提供了一个强大的模型驱动的开发方式，可以帮助开发者实现Web应用程序的各种功能，如请求处理、数据绑定、视图渲染、异常处理等。 开发步骤 1.创建we…
阅读更多...
PDF转PowerPoint - Java实现方法

PDF转PowerPoint - Java实现方法

通过编程实现PDF转PPT的功能，可以自动化转换过程，减少手动操作的工作量，并根据需要进行批量转换。将PDF文件转换为PPT文档后，可以利用PPT的丰富功能和动画效果，达到更好的演示效果。 在Java中，我们可以使用…
阅读更多...
构建中国人自己的私人GPT—限时免费部署

构建中国人自己的私人GPT—限时免费部署

在现实生活中，很多公司或个人的资料是不愿意公布在互联网上的，但是我们又要使用人工智能的能力帮我们处理文件、做决策、执行命令那怎么办呢？于是我们构建自己或公司的本地专属GPT变得非常重要。 先看效果： 解方程，24小…
阅读更多...
12.云原生之kubesphere中应用部署方式

12.云原生之kubesphere中应用部署方式

云原生专栏大纲 文章目录 k8s中应用部署Kubernetes常用命令 kubesphere中可视化部署应用创建工作负载服务暴露 helm部署应用helm命令行部署应用kubesphere中使用应用仓库 k8s中应用部署 在k8s中要想部署应用，需要编写各种yaml文件，一旦应用依赖比较复杂…
阅读更多...
抖音矩阵云混剪系统源码（免授权版）多平台多账号一站式管理,附带系统搭建教程

抖音矩阵云混剪系统源码（免授权版）多平台多账号一站式管理,附带系统搭建教程

搭建教程 MySQL 5.6 PHP 7.2 Apache 数据库名称 juzhen Nginx环境切换伪静态 1、解压安装包到项目根目录，找到application/database.php 更换自己的数据库密码 2、阿里云现有的配置不要动 其他按照文档进行添加 3、项目访问目录：public 4、域名…
阅读更多...
RK3568平台开发系列讲解（Linux系统篇）中断下文 tasklet

RK3568平台开发系列讲解（Linux系统篇）中断下文 tasklet

🚀返回专栏总目录 文章目录 一、什么是 taskle二、tasklet 相关接口函数2.1、静态初始化函数2.2、动态初始化函数2.3、关闭函数2.4、使能函数2.5、调度函数2.6、销毁函数三、测试程序沉淀、分享、成长，让自己和他人都能有所收获！😄
阅读更多...
【openwrt】【overlayfs】Openwrt系统overlayfs挂载流程

【openwrt】【overlayfs】Openwrt系统overlayfs挂载流程

overlayfs是一种叠加文件系统，在openwrt和安卓系统中都有很广泛的应用，overlayfs通常用于将只读根文件系统(rootfs)和可写文件系统(jffs2)进行叠加后形成一个新的文件系统，这个新的文件系统“看起来”是可读写的，这种做法的好处是…
阅读更多...
汽车生产污废水处理需要哪些工艺设备

汽车生产污废水处理需要哪些工艺设备

对于汽车生产过程中产生的污废水处理，需要运用一系列的工艺设备来实现有效的清洁和回收利用。下面让我们一起来探索一下吧！ 首先，汽车生产工艺设备中最常见的是物理处理设备。物理处理包括沉淀、过滤和吸附等过程。其中，沉淀操作可…
阅读更多...
C语言——整数和浮点数在内存中的存储

C语言——整数和浮点数在内存中的存储

目录 一、整数在内存中的存储 二、大小端字节序和字节序判断 2.1 什么是大小端？ 2.2 为什么有大小端? 2.3 练习 2.3.1 练习1 2.3.2 练习2 三、浮点数在内存中的存储 3.1练习 3.2 浮点数的存储 3.2.1浮点数存的过程 3.2.2浮点数取的过程 3.3 题目解…
阅读更多...
js实现iframe内容加载失败自动重新加载功能

js实现iframe内容加载失败自动重新加载功能

最近一个项目上的程序经常出现掉线的情况，经排查是该单位的网络不稳定，存在网络丢包现象。导致有时候程序运行加载页面失败，开机自启动应用时出现请求失败的概率非常大，为了解决这个问题我在网上东找西找也没有找到有效的解决办法…
阅读更多...
RocketMQ 源码解析：生产者投递消息 DefaultMQProducer#send（一）

RocketMQ 源码解析：生产者投递消息 DefaultMQProducer#send（一）

🔭 嗨，您好 👋 我是 vnjohn，在互联网企业担任 Java 开发，CSDN 优质创作者 📖 推荐专栏：Spring、MySQL、Nacos、Java，后续其他专栏会持续优化更新迭代 🌲文章所在专栏&…
阅读更多...
区间预测 | Matlab实现GRU-Adaboost-ABKDE的集成门控循环单元自适应带宽核密度估计多变量回归区间预测

区间预测 | Matlab实现GRU-Adaboost-ABKDE的集成门控循环单元自适应带宽核密度估计多变量回归区间预测

区间预测 | Matlab实现GRU-Adaboost-ABKDE的集成门控循环单元自适应带宽核密度估计多变量回归区间预测 目录 区间预测 | Matlab实现GRU-Adaboost-ABKDE的集成门控循环单元自适应带宽核密度估计多变量回归区间预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab实…
阅读更多...
Linux shell美化 zsh+oh-my-zsh+power10k

Linux shell美化 zsh+oh-my-zsh+power10k

文章目录 安装zsh安装on-my-zsh安装power10k主题安装power10k将oh-my-zsh主题改为power10k字体 设置安装字体配置字体 power10k配置相关插件安装zsh-autosuggestionszsh-syntax-highlighting安装插件完成，重新加载配置文件 美化效果示意： 安装zsh 安装…
阅读更多...
连接超时的问题

连接超时的问题

连接超时的问题 通用第三方工具连接超时 connect timeout 方案一： /etc/ssh/sshd_config node1上操作，图是错的 方案二： windows上Hosts文件域名解析有问题 比如： 192.168.xx.100 node1 192.168.xx.161 node1 两个都解析成node…
阅读更多...
Failed to start OpenSSH server daemon-SSH启动失败

Failed to start OpenSSH server daemon-SSH启动失败

一、SSH服务启动失败 或者报错误： journalctl -xe sshd.service 二、查看SSHD的服务状态 3、重新安装openssh [rootzbx ~]# yum -y remove openssh 卸载原来的 [rootzbx ~]# yum -y install openssh openssh-clients openssh-server 重新安装 [rootzbx ~]# system…
阅读更多...
阿里云云原生助力安永创新驱动力实践探索

阿里云云原生助力安永创新驱动力实践探索

云原生正在成为新质生产力变革的核心要素和企业创新的数字基础设施。2023 年 12 月 1 日，由中国信通院举办的“2023 云原生产业大会”在北京召开。在大会“阿里云云原生”专场，安永科技咨询合伙人王祺分享了对云原生市场的总览及趋势洞见，及安…
阅读更多...
代码随想录算法训练营第三十六天 | 435.无重叠区间、763.划分字母区间、56.合并区间

代码随想录算法训练营第三十六天 | 435.无重叠区间、763.划分字母区间、56.合并区间

435.无重叠区间 题目链接：435.无重叠区间 给定一个区间的集合 intervals ，其中 intervals[i] [starti, endi] 。返回 需要移除区间的最小数量，使剩余区间互不重叠 。 文章讲解/视频讲解：https://programmercarl.com/0435.%E6%9…
阅读更多...
Git学习笔记（第2章）：Git安装

Git学习笔记（第2章）：Git安装

官网地址：Githttps://git-scm.com/ Step1：查看Git的GNU协议 → 点击“Next” Step2：设置Git的安装位置(非中文、无空格的目录) → 点击“Next” Step3：选择Git的选项配置(推荐默认设置) → 点击“Next” Step4：设置Git…
阅读更多...
What is `addFormattersdoes` in `WebMvcConfigurer` ?

What is `addFormattersdoes` in `WebMvcConfigurer` ?

addFormatters 方法在SpringMVC框架中主要用于向Spring容器注册自定义的格式化器（Formatter） SpringMVC内置了一系列的标准格式化器，用于处理日期、数字和其他常见类型的转换。 开发者也可以通过实现 WebMvcConfigurer 接口，并重写…
阅读更多...
笔记本电脑如何连接显示屏？

笔记本电脑如何连接显示屏？

目录 1.按下快捷键 winP,选择扩展 2.连接显示器，连好接线 3.笔记本驱动有问题，显示错误如下： 4.驱动已经下载完成， 按下快捷键，还是显示第3步中的错误 5.驱动已经下载完成， 按下快捷键，参照…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023