一百七十、Linux——Crontab定时任务调度Kettle脚本

news2024/11/24 9:46:55

一、目的

由于用海豚调度器调度从Kafka到HDFS的kettle任务时发现有点问题,如果不设置定时调度,这个kettle任务会一直跑,而如果设置定时调度,隔天后就会生成多个任务,而且每个任务都在跑,不会停下,于是尝试用Crontab定时任务调度Kettle的从Kafka到HDFS任务。

结果:失败告终,还是一直再跑,虽然我设置了时间段。

但也算学会了Crontab定时任务调度,于是整理成博客

二、调度过程

(一)第一步,是kettle任务的运行脚本01_Kafka_to_HDFS_queue.sh

#!/bin/bash
source /etc/profile

/opt/install/kettle9.2/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/kafka_to_hdfs/ -trans=01_Kafka_to_HDFS_queue level=Basic >>/home/log/kettle/01_Kafka_to_HDFS_queue_`date +%Y%m%d`.log

(二)第二步,是Crontab定时任务调度

1、输入crontab -e     进入编写(分、时、月、年、周)

SHELL=/bin/bash

#  */1 * * * * /bin/sh  /opt/install/kettle9.2/kettle_job_sh/test2.sh

06-07 17 * * * /bin/sh  /opt/install/kettle9.2/kettle_job_sh/01_Kafka_to_HDFS_queue.sh

如06-07 17 * * *  意思是每天的17点的6分到7分中执行

2、编辑好后可以  crontab -l  命令查看

3、时间到了后可以到脚本里kettle的日志文件去确认是否执行

我设置时间为17点的6分到7分执行,但是一直到17点14分kettle任务还在跑

当然,HDFS中确实生成了9月1日今日的文件,而且任务运行时间是我设置的17点7分

说明,我在Crontab里设置的17点7分不是任务的结束时间,而是任务的执行开始时间

还要尝试其他的方法,不亦悲乎?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/960025.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

stable diffusion实践操作-提示词

本文专门开一节写提示词相关的内容,在看之前,可以同步关注: stable diffusion实践操作 正文 提示词是SD中非常重要,你生成的图片质量,基本就取决于提示词的好坏,提示词分为正向提示词和反向提示词。 模板…

激光切割机自动调焦技术详解加图解

激光切割机在切割不同材料的过程中,激光束的焦点必须根据要求位于材料的不同位置。 因此,在切割不同材料的物料时,需要调整激光切割机的焦点位置。在以前的生产激光切割机中,普遍采用手动调焦的方法进行调焦。现在,许多…

【Docker】用Dockerfile制作个人的镜像文件

作者简介: 辭七七,目前大一,正在学习C/C,Java,Python等 作者主页: 七七的个人主页 文章收录专栏: 七七的闲谈 欢迎大家点赞 👍 收藏 ⭐ 加关注哦!💖&#x1f…

stable diffusion实践操作-常见lora模型介绍

本文专门开一节写Lora相关的内容,在看之前,可以同步关注: stable diffusion实践操作 模型分两种,一种是sd大模型,一种是类似Lora的小模型 国内的是:https://www.liblibai.com 国外的是:https:/…

企业数字化建设-采购平台规划方案PPT(附数字化建设方案300份)

本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除,更多浏览公众号:智慧方案文库 46页《智慧书店数字化转型解决方案》.pdf8页德勒数字化智能制造解决方案.pdf24页数字化智能化车间规模与建设.pdf数字化校…

【C++】C++11新特性(下)

上篇文章(C11的新特性(上))我们讲述了C11中的部分重要特性。本篇接着上篇文章进行讲解。本篇文章主要进行讲解:完美转发、新类的功能、可变参数模板、lambda 表达式、包装器。希望本篇文章会对你有所帮助。 文章目录 一…

【整数列表求三的倍数】

问题描述: 给定一个从1到n的整数列表,从第一个数字开始计数,遇到3的倍数时,将该数从列表中删除,直至列表末尾。 在剩下的数字中,从第一个数字开始,继续之前的计数值,同样遇到3的倍数时&#xff…

插值法修正排斥能

( A, B )---3*30*2---( 1, 0 )( 0, 1 ) 让网络的输入只有3个节点,AB训练集各由5张二值化的图片组成,让A中有3个点,B全为0,排列组合A,统计迭代次数并排序。 其中的7组数据 差值结构 迭代次数 构造平均列 L E 0 1…

Jmeter的自动化测试实施方案

前言: Jmeter是目前最流行的一种测试工具,基于此工具我们搭建了一整套的自动化方案,包括了脚本添加配置、本地配置和运行、服务器配置等内容,完成了自动化测试闭环,通过这种快捷简便高效的方式,希望可以解…

【云原生之Docker实战】使用Docker部署flatnotes笔记工具

【云原生之Docker实战】使用Docker部署flatnotes笔记工具 一、flatnotes介绍1.1 flatnotes简介1.2 flatnotes特点 二、本地环境介绍2.1 本地环境规划2.2 本次实践介绍 三、本地环境检查3.1 检查Docker服务状态3.2 检查Docker版本3.3 检查docker compose 版本 四、下载flatnotes…

Python“梦寻”京东商品详情数据接口(含代码示例)

要通过京东的API获取商品详情数据,您可以使用京东开放平台提供的接口来实现。以下是一种使用Java编程语言实现的示例,展示如何通过京东开放平台API获取商品详情数据: 首先,确保您已注册成为京东开放平台的开发者,并创…

SourceTree安装教程

PS:SourceTree是一款流行的免费Git和Mercurial版本控制工具,由Atlassian开发和维护。它提供了一个直观且功能强大的图形用户界面,方便开发人员管理和浏览代码仓库 说白了,他就是一个可视化的git界面,还是非常好用的&am…

10.Redis 渐进式遍历

Redis 渐进式遍历 渐进式遍历scan 渐进式遍历 keys 命令一次性的把整个redis中所有的key都获取到,keys *但这个操作比较危险,可能会一下子得到太多的key,阻塞 redis 服务器。 通过渐进式遍历,就可以做到,既可以获取到所有的 key&…

wireshark 流量抓包例题

一、题目一(1.pcap) 题目要求: 1.黑客攻击的第一个受害主机的网卡IP地址 2.黑客对URL的哪一个参数实施了SQL注入 3.第一个受害主机网站数据库的表前缀(加上下划线例如abc) 4.第一个受害主机网站数据库的名字 看到题目SQL注入&#xff0c…

Python 案例实训教学,支持“教师-学生”双视角切换|ModelWhale 版本更新

学年伊始、辞旧迎新,金秋九月,ModelWhale 迎来新一轮的版本更新,持续优化你的使用体验。 本次更新中,ModelWhale 主要进行了以下功能迭代: • 新增 “教师-学生”双视角切换(团队版✓) • 新…

测试架构师必备技能 —— Nginx安装部署实战

Nginx("engine x")是一款是由俄罗斯的程序设计师Igor Sysoev所开发高性能的免费开源Web和 反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。在高并发访问的情况下,Nginx是Apache服务器不错的替代品。官网数据显示每秒TPS高达50W左右。本文…

从《孤注一掷》出发,聊聊 SSL 证书的重要性

你去看《孤注一掷》了吗?相信最近大家的朋友圈和抖音都被爆火电影《孤注一掷》成功刷屏。取材于上万真实案例的《孤注一掷》揭露了缅甸诈骗园区残暴的统治,以及电信诈骗中系统性极强的诈骗技巧,引发了大量讨论。 图片来源于电影《孤注一掷》…

PostgreSQL 查询语句大全

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

多应用模式下,忽略项目的入口文件,重写Apache规则

多应用模式下,忽略项目的入口文件,重写Apache规则 首先,我的项目是具有两个应用,admin和index,同时给它们绑定了域名,但是每次访问时都需要加入项目的入口文件地址 index.php ,为了忽略这个入口文件,只能通…

Windows ROS2使用教程01-基础环境配置

Windows ROS2使用教程01-基础环境配置 背景及初衷 windows下ros2相关的文章比较少,官方文档针对windows的相关描述也有很多不明确的地方,现结合ros2官方文档关键点实操记录,希望对大家有所帮助;共勉! ROS2环境配置 …