一、目的
总结一下,在用海豚调度kettle任务脚本是需不需要配置log日志文件?
二、两种情形介绍
(一)海豚配置kettle任务调度脚本时加log日志文件
#!/bin/bash
source /etc/profile
/usr/local/hurys/dc_env/kettle/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/hive_to_clickhouse/ -trans=04_Hive_to_ClickHouse_dws_turnratio_volume_30min level=Basic >>/home/log/kettle/04_Hive_to_ClickHouse_dws_turnratio_volume_30min_`date +%Y%m%d`.log
执行任务后在/home/log/kettle/目录下可以找到日志文件
(二)海豚配置kettle任务调度脚本时不加log日志文件
#!/bin/bash
source /etc/profile
/usr/local/hurys/dc_env/kettle/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/kafka_to_hdfs/ -trans=04_Kafka_to_HDFS_turnratio
执行任务后不生成日志文件
三、两种情形区别与适用场景
不加log日志文件,海豚调度kettle任务执行后不会生成日志文件。这种情形适用于像从Kafka到HDFS这种需要不断执行任务的场景,由于任务不停执行所以日志文件会越来越大,一旦数据量庞大就会形成巨大的日志文件,这种情形不适合加日志文件。
比如kettle任务04_Kafka_to_HDFS_turnratio
加log日志文件,海豚调度kettle任务执行后就会生自动成日志文件。这种情形适用于像从Hive到ClickHouse这种数据有限、不需要一直执行任务的场景。
比如kettle任务04_Hive_to_ClickHouse_dws_turnratio_volume_15min
最后总结一下,海豚调度kettle任务的脚本需不需要配置log日志文件,这个要因地制宜,不同的场景采用不同的方式。