DataX 本地调试配置

news2024/11/15 18:50:27

简要说明

根据自己的开发需求,完成了reader、writer、transformer开发后,在ide内通过Engine入口,调试自己的插件和job的json。

前置条件

已在系统安装了datax,本例子是在windows环境下,安装包地址https://github.com/alibaba/DataX 下,安装流程可参考其他博客。基本步骤:下载 -> 解压 -> ide打开项目 -> maven编译:mvn -U clean package assembly:assembly -Dmaven.test.skip=true(注意maven版本最好在3.6.x,我用过3.9.x会无法编译成功,assembly插件的问题)
在这里插入图片描述

步骤

1.下载DataX的源码

在github中,搜索datax进行下载,解压,并用idea打开

2.编写好插件和job.jsom

比如我本地的字段选择插件:
在这里插入图片描述
在这里插入图片描述
上图只展示transformer,其他内容自行完善,然后记得在TransformerRegistry类进行注册:
在这里插入图片描述

2.配置Engine类的启动环境参数

在这里插入图片描述
1)-Ddatax.home=D:/datax 是 VM options 参数,D:/datax 安装的目录
2)-job d:/datax/job/mysql2mysql.json -jobid -1 -mode standalone
其中 d:/datax/job/mysql2mysql.json 是你的任务的json,-1 是本地调试的任务id,模式也是固定的 standalone
3)D:\workspace\DataX-master 是你的datax源码解压后的地方

3.启动

找到Engine类的main方法
在这里插入图片描述
启动后,即可在需要的地方打点debug。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1943102.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

204、【动态规划】牛客网 ——DP3 跳台阶扩展问题(Python版本)

题目描述 原题链接:DP3 跳台阶扩展问题 解题思路 一个DP问题,相比于普通爬楼(只能爬一层或者两层)对应的状态函数为 d p [ i ] d p [ i − 1 ] d p [ i − 2 ] dp[i] dp[i - 1] dp[i - 2] dp[i]dp[i−1]dp[i−2]。本题的dp…

什么是倾斜45度的火山图?

一位老师聊起火山图(Volcano plot | 别再问我这为什么是火山图 (在线轻松绘制)),说见过倾斜45度的类似图,可否演示怎么画?想了下,可能是下面这种图,绘起来看看。 检查和安…

零代码GIS场景视效升级:支持TMS/WMS/WMTS协议

首先和大家聊聊为什么现在很多人都在追求GIS场景的视效提升。第一是因为GIS场景本身需要包含多种自然信息,越是优秀的视觉效果,就越能直观反应出真实的地理信息,增强系统的实用性;第二则是因为能够极大降低系统的使用门槛&#xf…

MinIO使用基础教程

MinIO使用基础教程 一、背景二、快速安装2.1 虚拟机安装2.2 Windows安装2.2.1 下载MinIO服务器2.2.2 启动 MinIO Server2.2.3 通过浏览器访问MinIO服务控制台 三、使用介绍3.1 创建存储桶3.2 上传和下载文件3.3 设置文件公开访问 四、实战SpringBoot Minio实现文件上传和查询五…

2024春秋杯网络安全联赛夏季赛Crypto(AK)解题思路及用到的软件

2024春秋杯网络安全联赛夏季赛Crypto(AK) 2024春秋杯网络安全联赛夏季赛Crypto解题思路以及用到的软件 所有题用到的软件 1.vm(虚拟机kali)和Ubuntu,正常配置即可B站有很多。 2.Visual Studio Code(里面要配置python,crypto库和Sagemath数学软件系统S…

uni-app框架+vue 实现上拉加载和下拉刷新功能

前言:哈喽,大家好,我是码喽的自我修养!今天给大家分享uni-app框架vue实现上拉加载和下拉刷新功能!并提供具体代码帮助大家深入理解,彻底掌握!创作不易,如果能帮助到带大家&#xff0…

1. kubernetes核心组件

kubernetes核心组件 一、kubernetes概述1、kubernetes是什么2、kubernetes作用/优势 二、kubernetes核心组件1、节点类型2、核心组件2.1 Master节点的组件2.2 Node节点的组件 3、k8s创建容器的流程 一、kubernetes概述 1、kubernetes是什么 由google公司基于go语言开发的集群…

YOLOv8预测时报错ValueError

【问题描述】执行YOLOv8预测代码时: # 导入训练好的权重文件做预测 from ultralytics import YOLO# Load a pretrained YOLOv8n model model YOLO("/data/yolov8/runs/detect/train6/weights/best.pt")# Run inference on bus.jpg with arguments model…

拆分盘理财模式:深度剖析与理性投资

一、新型理财视角:拆分盘的重新定义 拆分盘,这一投资概念常被包装为“稳健增长”的代名词,尤其在网络金融领域。它本质上并非传统股市中的股票,而是一种基于会员增长与资金流动的理财机制。其核心在于,通过不断吸纳新…

java算法day20

java算法day20 701.二叉搜索树中的插入操作450.删除二叉搜索树中的节点108 将有序数组转换为二叉搜索树 本次的题目都是用递归函数的返回值来完成,多熟悉这样的用法,很方便。 其实我感觉,涉及构造二叉树的题目,用递归函数的返回值…

2024 年 100 大数据科学面试问答

2024 年 100 大数据科学面试问答 一、说明 数据科学是一个快速发展的领域,它正在改变组织根据数据理解和做出决策的方式。因此,公司越来越多地寻求聘请数据科学家来帮助他们理解数据并推动业务成果。这导致了对数据科学家的高需求,这些职位的…

TikTok矩阵:从0到百万粉丝的秘密!

在TikTok这个充满活力与创意的短视频平台上,每一位创作者都怀揣着成为耀眼明星的梦想。如何让自己的作品脱颖而出,吸引并留住万千粉丝的目光,成为了每一位创作者亟待解决的问题。此时,TikTok矩阵策略便如同一盏明灯,照…

【BES2500x系列 -- RTX5操作系统】系统启动流程 -- boot loader概念讲解 --(九)

💌 所属专栏:【BES2500x系列】 😀 作  者:我是夜阑的狗🐶 🚀 个人简介:一个正在努力学技术的CV工程师,专注基础和实战分享 ,欢迎咨询! &#x1f49…

力扣高频SQL 50题(基础版)第七题

文章目录 力扣高频SQL 50题(基础版)第七题1068. 产品销售分析 I题目说明思路分析实现过程准备数据:实现方式:结果截图:总结: 力扣高频SQL 50题(基础版)第七题 1068. 产品销售分析 I 题目说明 …

mysql + Oracle

eg627. 变更性别 Salary 表: ----------------------- | Column Name | Type | ----------------------- | id | int | | name | varchar | | sex | ENUM | | salary | int | ----------------------- id 是这个表…

eclipse 没有war file 选项 不能导入和导出war包

1 eclipse打包war,项目右键 2 安装Web和Java EE插件, 在Eclipse中选择Help菜单,然后选择Install New Software。在Work with下拉菜单中选择All Available Sites,然后选择Web, XML, Java EE and OSGi Enterprise Development进行安装。完成安装后&#xf…

海康视频WEB插件

引入相关依赖 index.html <script src"/video/web-control_1.2.5.min.js"></script> <script src"/video/jquery-1.12.4.min.js" type"text/javascript"></script> <script src"/video/jsencrypt.min.js" …

使用LSTM完成时间序列预测

c 在本教程中&#xff0c;我们将介绍一个简单的示例&#xff0c;旨在帮助初学者入门时间序列预测和 PyTorch 的使用。通过这个示例&#xff0c;你可以学习如何使用 LSTMCell 单元来处理时间序列数据。 我们将使用两个 LSTMCell 单元来学习从不同相位开始的正弦波信号。模型在…

黑马程序员2024最新SpringCloud微服务开发与实战 个人学习心得、踩坑、与bug记录Day4 重置版 全网最全最快

你好,我是Qiuner. 为帮助别人少走弯路和记录自己编程学习过程而写博客 这是我的 github https://github.com/Qiuner ⭐️ gitee https://gitee.com/Qiuner &#x1f339; 如果本篇文章帮到了你 不妨点个赞吧~ 我会很高兴的 &#x1f604; (^ ~ ^) 想看更多 那就点个关注吧 我会…

python3.10.4——windows环境安装

python下载官网&#xff1a;https://www.python.org/downloads/ 如果安装在C盘&#xff0c;需要右键→选择“以管理员身份运行” 勾选2个按钮&#xff0c;选择自定义安装 全部选择&#xff0c;点击Next 更改安装路径 命令行检查python是否安装成功&#xff1a; 出现版本号说明…