DataX--Web：图形化界面简化大数据任务管理

news2024/11/22 9:53:12

在处理大数据任务时，频繁地修改配置文件或编写脚本可能会变得繁琐且容易出错。DataX Web提供了一个图形化界面，旨在简化这些操作，让用户通过直观的界面管理数据同步任务。

DataX Web简介

DataX Web是一个开源项目，它允许用户通过Web界面来配置和管理DataX的数据同步任务。它支持RDBMS、Hive、HBase、ClickHouse、MongoDB等多种数据源，使得数据同步任务的创建和管理变得更加便捷。

安装与配置

安装DataX Web相对简单，用户可以从GitHub上下载源码并按照文档进行配置。配置过程中可能需要调整一些环境变量或配置文件，以确保DataX Web能够正确连接到数据源。

github地址：https://github.com/WeiYe-Jing/datax-web

网盘下载链接：datax-web-2.1.2.tar.gz

安装

1、上传
2、解压
tar -zxvf datax-web-2.1.2.tar.gz -C /opt/installs/
3、安装
cd /opt/installs/datax-web-2.1.2/bin
执行安装程序
./install.sh

修改配置文件

vi /opt/installs/datax-web-2.1.2/modules/datax-executor/bin/env.properties

修改此处：
PYTHON_PATH=/opt/installs/datax/bin/datax.py

启动和关闭

因为它的启动和关闭命令跟我的hadoop集群命令一模一样，所以我要修改它：
mv start-all.sh start-web.sh
mv stop-all.sh stop-web.sh

配置环境变量：
export DATAX_WEB_HOME=/opt/installs/datax-web
export PATH=$PATH:$DATAX_WEB_HOME/bin

记得刷新！！

source /etc/profile

bin路径下，有一个 start-all.sh  启动
stop-all.sh 关闭
不要配置环境变量

/opt/installs/datax-web-2.1.2/bin
运行的时候  ./start-all.sh

浏览

在上一步启动dataxweb之后，通过浏览器可以进行dataxweb的访问，具体地址如下：
http://bigdata01:9527/index.html
进入网页之后，要求输入登录的用户名与密码，使用默认的即可：
用户名：admin
密码：123456

查看jps

使用DataX Web

在DataX Web中，用户首先需要创建一个项目并添加相应的数据源，如MySQL、Hive等，用户可以根据需要添加DataX模板，这些模板定义了数据同步任务的配置模板。通过图形化界面，用户可以轻松编写数据同步任务，如从Hive导出数据到MySQL。DataX Web允许用户执行任务并实时查看运行日志和监控执行器资源。这使得任务的监控和管理变得更加直观和方便。

创建项目

添加数据源

首先添加mysql数据源

添加hive的数据源

启动hive的远程连接

hive-server-manager.sh start hiveserver2

查看日志：
tail -f  /var/log/my_hive_log/hiveserver2.log

连接正常再进行配置

添加DataX模板

名词解释：
- 执行器：目前只有datax可选
- 路由策略：用于集群化部署后，任务的分配，默认随机即可。
- 阻塞处理：在调度出现积压时（同时启动大量的数据处理任务）使用的策略：
- 单机串行：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
- 丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
- 覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；
`建议使用单机串行与丢弃后续调度`
- 任务类型：目前只有DataX选项可以选择
- Cron：调度定时执行器，通过该配置可以完成定时、定周期启动