DataX（DataX简介、部署、同步数据）

news2025/3/1 16:50:32

DataX（DataX简介、部署、同步数据）

☀快乐无限法力无边

1.DataX简介

1）数据采集模块：

2）数据写入模块：

2.DataX部署

1）DataX下载解压

2）自检执行以下命令

3）自检报错

4）解决方法

3.hbase2mysql

4.MySQL2Hbase

5.Mysql2Phoenix

6.HDFS2Hbase

1.DataX简介

DataX 是一种用于大数据场景下的数据同步工具，主要用于数据迁移、数据同步等场景。它是阿里巴巴开发的一款开源数据同步工具，支持各种数据源之间的数据同步任务，包括但不限于关系型数据库、NoSQL 数据库、HDFS、Hive 等。DataX 主要包含两部分：

1）数据采集模块：

负责从不同的数据源中读取数据，并将数据传输给下游处理模块。支持的数据源包括 MySQL、Oracle、SQL Server、PostgreSQL、HDFS、Hive 等。

2）数据写入模块：

负责将采集到的数据写入到目标数据源中。同样支持多种目标数据源，包括 MySQL、Oracle、HDFS、Hive 等。

DataX 的设计理念是高效、易用、可扩展。它采用了插件化的设计思路，可以通过配置文件的方式实现各种数据源之间的数据同步任务，并且可以根据实际需求扩展新的数据源和数据处理功能。DataX 提供了丰富的插件库，用户可以根据自己的需求选择合适的插件来完成数据同步任务。

总的来说，DataX 是一个功能强大、灵活性高的数据同步工具，适用于各种大数据场景下的数据同步需求。

2.DataX部署

1）DataX下载解压

下载地址：

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

解压datax.tar.gz到/usr/local/soft/

2）自检执行以下命令

python /usr/local/soft/datax/bin/datax.py /usr/local/soft/datax/job/job.json

3）自检报错

当我们执行上面的自检命令时可能会出现以下报错信息

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2024-06-06 08:53:29.406 [main] WARN  ConfigParser - 插件[streamreader,streamwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/usr/local/soft/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
2024-06-06 08:53:30.410 [main] ERROR Engine -

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/usr/local/soft/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
        at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
        at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
        at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
        at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
        at com.alibaba.datax.core.Engine.entry(Engine.java:137)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)