datax官方github地址:GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。
接触datax是看重他的数据采集功能和可以扩展插件的功能,根据官方说明,DATAX是以python来调用插件的运行json配置,但对于二次开发插件的同学来说,需要本地调试。那么根据我的经验,贴出我的调试方式,有问题可以联系
1.源码部署方式请查阅 DataX/userGuid.md at master · alibaba/DataX · GitHub
2.将源码下载放入idea中后,执行上图的命令打包,如果要运行。需要从源码入口类Engine.java运行,点击右上角Edit Configuration
点击 + 号,按照下图配置,添加VM options,Program arguments
VM options处填入 -Ddatax.home=C:\Users\clj\Documents\DataXPlus\target\datax\datax,具体路径根据你自己项目而定
Program arguments 填入 -mode standalone -jobid -1 -job C:\Users\clj\Documents\DataXPlus\json\httpreaderToMysql.json 其中json文件的路径根据你自己的文件地址而定
改完如下图
点击OK保存,点击运行按钮或者debug启动按钮,打入断点即可调试
需要注意的时,这种方式调试如果修改了代码,需要重新在DATAX目录执行打包后,新的代码才能生效,才能进入断点。