简要说明
根据自己的开发需求,完成了reader、writer、transformer开发后,在ide内通过Engine入口,调试自己的插件和job的json。
前置条件
已在系统安装了datax,本例子是在windows环境下,安装包地址https://github.com/alibaba/DataX 下,安装流程可参考其他博客。基本步骤:下载 -> 解压 -> ide打开项目 -> maven编译:mvn -U clean package assembly:assembly -Dmaven.test.skip=true(注意maven版本最好在3.6.x,我用过3.9.x会无法编译成功,assembly插件的问题)
步骤
1.下载DataX的源码
在github中,搜索datax进行下载,解压,并用idea打开
2.编写好插件和job.jsom
比如我本地的字段选择插件:
上图只展示transformer,其他内容自行完善,然后记得在TransformerRegistry类进行注册:
2.配置Engine类的启动环境参数
1)-Ddatax.home=D:/datax 是 VM options 参数,D:/datax 安装的目录
2)-job d:/datax/job/mysql2mysql.json -jobid -1 -mode standalone
其中 d:/datax/job/mysql2mysql.json 是你的任务的json,-1 是本地调试的任务id,模式也是固定的 standalone
3)D:\workspace\DataX-master 是你的datax源码解压后的地方
3.启动
找到Engine类的main方法
启动后,即可在需要的地方打点debug。