一、环境准备
1、jdk8
2、maven
3、mysql7
4、python3
5、window10
6、idea
7、2345解压(win支持tar.gz解压)
8、git
二、操作步骤
1、datax操作步骤
1)下载datax
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
2)其他版本:github
https://github.com/alibaba/DataX
3)解压
4)下载python3的datax.py
https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3
5)替换掉datax\bin\*.py
6)删除以下目录下的多余文件
datax\bin\ datax\plugin\reader\ datax\plugin\writer
~~
2、datax-web操作步骤
1)克隆源码
https://github.com/WeiYe-Jing/datax-web.git
2)创建数据库datax_web
3)导入SQL
datax-web\bin\db\datax_web.sql
4)修改datax-admin配置
a> application.yml,修改端口即可
b> bootstrap.properties,数据库配置
c> 运行DataXAdminApplication即可
运行报错:
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
说明: 忽略即可
5)修改datax-executor
6)启动DataXExecutorApplication
~~
3、使用
1)访问web
http://127.0.0.1:8001/index.html#/login?redirect=%2Fdashboard
2)默认账号
admin
123456
3)了解页面
~~
4、docker部署(待验证)
1)拉取镜像
docker pull linshellfeng/datax_web:3.0.1
说明: 3.0.1已经包含了datax,直接配置数据库使用即可
2)创建宿主机目录
mkdir -p /data/datax/datax-admin/conf
3)创建并配置yml(数据库连接)
vi /data/datax/datax-admin/conf/bootstrap.properties
4)docker启动
docker run -d --name datax_web -p 9527:9527 -v /data/datax/datax-admin/conf/bootstrap.properties:/home/datax/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties linshellfeng/datax_web:3.0.1
~~