简介:Kettle工具有一种业务场景是动态查询数据库中某张表的某个字段,将该字段当做循环变量,循环整个作业。下面就是记录该步骤。
一、思路
首先生产环境中我们需要做的一个业务就是:
按品牌循环执行:step3+step4:select * from dwd_xxxx where tenant_id = '${tenant_id}'
在执行一次全部品牌的,brand_id传'-'
二、简化Demo
2.1.文件图
以下是我们这次Demo的主要文件,共计3个
2.2.JOB一览图
2.3.Ktr文件图-001_查询品牌字段
表输入
写日志
2.4.Ktr文件图-002_输出品牌到目标表
双击该转换组件,设置执行每一个输入行
从结果获取记录
表输入
表输出
2.5.数据核对
核对来源表数据和目标表数据量即可
在来源表这里,实质上我们是查询了某个租户的所有品牌有多少门店数据
最后在查询一下目标表的数据量即可
结论:Demo文件抓取到的数据没有问题,该文件可投入到生产环境中进行数据抓取。
2.6文件获取
老王玩编程 关键字:Kettle品牌循环
三、投入生产
这个测试的话还是比较麻烦的,需要一个品牌一个品牌的将数据跑好,备份起来,然后用Kettle跑,跑完测试一下。