一百六十五、Kettle——用海豚调度器调度Linux资源库中的kettle任务脚本(亲测、附流程截图)

news2025/2/25 18:17:02

一、目的

在Linux上脚本运行kettle的转换任务、无论是Linux本地还是Linux资源库都成功后,接下来就是用海豚调度Linux上kettle任务

尤其是团队开发中,基本都要使用共享资源库,所以我直接使用海豚调度Linux资源库的kettle任务脚本

二、前提条件

(一)海豚调度器和kettle安装在同一台服务器上

(二)kettle的资源库的转换任务脚本在Linux上先跑一遍没问题,说明脚本没问题,这是前提

(三)先开启海豚调度器的服务

1、先开启zookeeper服务

2、再开启海豚调度器服务

3、开启服务后jps查看一下

如图所示,上面5个是海豚服务,下面1个是zookeeper服务 

(四)最好先浏览鄙人拙作:一百六十四、Kettle——Linux上脚本运行kettle的转换任务(Linux本地、Linux资源库)

http://t.csdn.cn/fP4XBicon-default.png?t=N6B9http://t.csdn.cn/fP4XB这篇博文专讲Linux上如何用脚本运行kettle的转换任务

三、实施步骤

(一)启动海豚调度器后创建kettle脚本运行的项目

(二)在kettle项目里,创建工作流

 

 (三)在工作流中,拖拽左侧的SHELL工具栏;然后,输入节点名称、描述以及脚本;最后点击确认添加

 注意:脚本即是Linux中运行的kettle脚本内容

#!/bin/bash
source /etc/profile

/opt/install/kettle9.2/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/mysql_to_hdfs/ -trans=01_MySQL_to_HDFS_t_event_dispose level=Basic >>/home/log/kettle/01_MySQL_to_HDFS_t_event_dispose_`date +%Y%m%d`.log 

(四)SHELL工具配置好后,点击右上方的保存,设置DAG图名称以及租户,点击添加

 (五)工作流先上线,再执行(这里没有设置定时,只演示调度)

 (六)查看工作流实例(结束时间为2023-08-24 14:00:21)

工作流执行成功!

(七) 由于kettle任务是从MySQL到HDFS,所以还可以到Hadoop中验证一下文件

Hadoop中的文件时间是14:00 

(八)由于脚本中的pan语句导出日志到日志文件,因此可以查看日志文件

1、查看14:00的日志文件

2、vi   01_MySQL_to_HDFS_t_event_dispose_20230824.log

 可以看到日志中,kettle的转换任务执行成功!

到这里,用海豚调度Linux资源库中的kettle任务脚本的展示就结束了,至于定时设置那要根据不同的需求而设置,之前已有博客展示过,所以这边就只展示海豚调度kettle任务脚本

乐于奉献共享,帮助你我他!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/923789.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

扎实写完这篇博客

(论文阅读) 作者自述:到了新的实验室,原本的实验方向发生了巨大的改变,对自动驾驶和车联网一头雾水,所以从综述入手,了解轨迹预测任务的头尾,以及对于现阶段的研究点做出初步的统计和积累,为后…

高阶数据结构跳表

"想象为翼,起飞~" 跳表简介? skiplist本质上是一种查找结构,用于解决算法中的查找问题,跟平衡搜索树和哈希表的价值是 一样的,可以作为key或者key/value的查找模型。 跳表由来 skiplist是由美国计算…

【SCSS变量】$ | | var | @for | @include | @function | @each 等常用方法使用

SCSS优点:编写清晰、无冗余、语义化的CSS,减少不必要的重复工作 1、变量声明($)和使用2、使用 & 代替父元素3、在HTML中使用 :style{--name: 动态值}自定义属性,在SCSS中用var(--name)函数绑定动态变量值&#xff…

一文搞懂数据中心ip和住宅ip

我们在购买到一个代理后,通过检测网址会看到检测类型会出现有hosting或者具体的某个运营商,代表这是两种不同的代理:数据中心代理以及isp住宅代理。 1、什么是isp住宅代理 ISP 全称为 Internet Service Provider(互联网服务提供…

C语言之feof与fgetc应用实例(八十一)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 人生格言: 人生…

【FreeRTOS】【STM32】中断详细介绍

文章目录 一、三种优先级的概念辨析1. 先理清楚两个概念:CPU 和 MPU2. Cortex-M3 内核与 STM32F1XX 控制器有什么关系3. 优先级的概念辨析① Cortex-M3 内核和 STM32F1XX 的中断优先级② FreeRTOS 的任务的优先级 二、 Cortex-M3 内核的中断优先级1. 中断编号2. 优先…

XD转Sketch完美实现,这款神器助你轻松转换设计文件

Adobe XD和Sketch作为主流设计软件,却存在文件格式不兼容的痛点。设计师经常需要在两款软件之间互相转换设计稿件,头疼不已。那么有没有一种简单快捷的方法实现XD到Sketch的格式转换呢?答案是有的!今天就来看看这个神奇的在线互转工具。 XD转Sketch,在线免费转 这…

栈和队列在数据结构中的应用

文章目录 理解栈和队列的概念及其特点栈的应用和操作队列的应用和操作结论 🎉欢迎来到数据结构学习专栏~探索栈和队列在数据结构中的应用 ☆* o(≧▽≦)o *☆嗨~我是IT陈寒🍹✨博客主页:IT陈寒的博客🎈该系列文章专栏:…

基于YOLOV8模型和Kitti数据集的人工智能驾驶目标检测系统(PyTorch+Pyside6+YOLOv8模型)

摘要:基于YOLOV8模型和Kitti数据集的人工智能驾驶目标检测系统可用于日常生活中检测与定位车辆、汽车等目标,利用深度学习算法可实现图片、视频、摄像头等方式的目标检测,另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用…

Linux之基础IO文件系统讲解

基础IO文件系统讲解 回顾C语言读写文件读文件操作写文件操作输出信息到显示器的方法stdin & stdout & stderr总结 系统文件IOIO接口介绍文件描述符fd文件描述符的分配规则C标准库文件操作函数简易模拟实现重定向dup2 系统调用在minishell中添加重定向功能 FILE文件系统…

【项目管理】PMP考试总结

2023年08月19日考完了PMP,总结一下子 1、花费费用 先算下花费及购置的材料: 5月14日:书-拼多多 PMBOK指南第七版,19.8 5月28日:书-淘宝: 敏捷实践指南,30.49, PMBOK指南第6版&…

将一个树形结构的数据平铺成一个一维数组(vue3)

一、需求描述 由于自带组件库没有具体完善,无法实现像element-ui这种可以多选选择任意一级的选项,也就是说,选择父级的时候不会联动选择子级的全部 例如: 所以,才会出现【二、案例场景】类似的场景,可以用来多选 ,并可以实现单选父级而不关联子级,选择了将树状数据进…

浅谈 Linux 下 vim 的使用

Vim 是从 vi 发展出来的一个文本编辑器,其代码补全、编译及错误跳转等方便编程的功能特别丰富,在程序员中被广泛使用。 Vi 是老式的字处理器,功能虽然已经很齐全了,但还有可以进步的地方。Vim 可以说是程序开发者的一项很好用的工…

AutoSAR配置与实践(基础篇)3.6 BSW的WatchDog功能

3.6 BSW的WatchDog功能 一、WatchDog功能介绍1.1 WatchDog 模块组成1.2 内外部看门狗区别和原理1.3 常见看门狗校验方式一、WatchDog功能介绍 1.1 WatchDog 模块组成 WatchDog 即看门狗功能。这个看门狗不是真正看家的狗,而是软件的一个模块,但是因为功能类似故以此起名。主…

LeetCodeHot100python版本:单调栈,栈,队列,堆

单调栈 739. 每日温度 42. 接雨水 双指针 单调栈(横向求解) ​​​​​​84. 柱状图中最大的矩形 栈和队列 队列:先入先出 栈:先入后出 两个栈 模拟 队列 一个队列 可以模拟 栈 20. 有效的括号 ​​​​​​155. 最小栈 394. 字符串解码 堆 215. 数组中的第K个最大元素 3…

嵌入式Linux开发实操(十二):PWM接口开发

# 前言 使用pwm实现LED点灯,可以说是嵌入式系统的一个基本案例。那么嵌入式linux系统下又如何实现pwm点led灯呢? # PWM在嵌入式linux下的操作指令 实际使用效果如下,可以通过shell指令将开发板对应的LED灯点亮。 点亮3个LED,则分别使用pwm1、pwm2和pwm3。 # PWM引脚的硬…

拆解1000篇爆文!揭秘种草爆文四大万能公式

2023年上半场已收官,小红书用户青睐什么内容? 千瓜调研2023上半年的1000篇商业笔记爆文,从笔记类型和内容特征两大层面总结以下四大内容种草爆文公式,快来围观! 突破同质化 爆款内容创新风向 笔记类型角度 千瓜调…

2022年度瞪羚培育企业名单公布,科东软件上榜

8月23日,广州市黄埔区、广州开发区2022年度瞪羚企业和瞪羚培育企业名单公布。科东软件凭借国产化技术创新优势、成熟的数字化转型方案和强劲的经营成长韧性,入选广州开发区2022年度瞪羚培育企业。 瞪羚培育企业是指未来在科技创新或商业模式创新方面有…

Navicat安装教程

众所周知, Navicat是一款轻量级的用于MySQL连接和管理的工具,非常好用,使用起来方便快捷,简洁。下面我会简单的讲一下其安装以及使用的方法。并且会附带相关的永久安装教程。 简介 一般我们在开发过程中是离不开数据库的&#xf…

win11 设置小任务栏

设置后效果 以下两种工具均可 1、StartAllBack 2、Start11