Kettle 实现动态表查询

news2024/9/23 1:27:11

文章目录

  • 前言
  • 动态表名查询数据 :
  • 一、获取表名
    • 1、新建一个转换getTableName,拖入`获取系统信息,字段选择,设置变量`
    • 2、打开 获取系统信息 编辑界面,填写名称,点击类型选择要获取的信息类型
    • 3、打开`字段选择`,选择`元数据`,设置字段属性
    • 4、打开设置变量,填写相关信息,也可以点击获取字段自动填写字段信息
  • 二、根据表名更新数据
    • 1、打开表输入,选择数据库,填写sql语句,使用之前设置的${TODAY}变量,替换SQL语句里的变量勾选上,否则变量无法生效
    • 2、打开插入/更新,指定目标表,填写查询关键字,填写更新字段
  • 三、作业执行转换
  • 总结

前言

需求:
数据库存在一个信息表,每天都在记录信息,数据量大,每天创建一张表存储。
表名每天都在变,需要从当天的表拿到信息同步到指定数据库。

预定格式:
tableName_yyyyMMdd( abcd_20230701 )

本次测试环境:

系统Windows10
软件版本kettle 7.1.0.0-12
MySQL驱动mysql-connector-java-8.0.19.jar

动态表名查询数据 :

  • 第一个转换设置表名为变量
  • 第二关转换拿到变量带入sql查询出数据
    在这里插入图片描述

一、获取表名

在这里插入图片描述

1、新建一个转换getTableName,拖入获取系统信息,字段选择,设置变量

在这里插入图片描述

2、打开 获取系统信息 编辑界面,填写名称,点击类型选择要获取的信息类型

在这里插入图片描述

3、打开字段选择,选择元数据,设置字段属性

在这里插入图片描述

4、打开设置变量,填写相关信息,也可以点击获取字段自动填写字段信息

在这里插入图片描述
表名转换到此结束。

二、根据表名更新数据

在这里插入图片描述
实现步骤如下:

  • 新建一个转换autoQuery,拖入表输入插入/更新
  • 表操作需要连接数据库,本次Kettle使用8.x 版本的 MySQL驱动

在这里插入图片描述

1、打开表输入,选择数据库,填写sql语句,使用之前设置的${TODAY}变量,替换SQL语句里的变量勾选上,否则变量无法生效

在这里插入图片描述

2、打开插入/更新,指定目标表,填写查询关键字,填写更新字段

在这里插入图片描述

根据表名更新数据转换到此结束。

三、作业执行转换

在这里插入图片描述

  • 新建一个作业autoTable,拖入START,先调用获取表名转换,然后调用根据表名更新数据转换,最后拖入成功
  • 作业保存,运行。

总结

如果此篇文章有帮助到您, 希望打大佬们能关注点赞收藏评论支持一波,非常感谢大家!
如果有不对的地方请指正!!!

参考1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/708154.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

深蓝学院C++基础与深度解析笔记 第 9 章 序列与关联容器

第 9 章 序列与关联容器 1. 容器概述 A、容器: 一种特殊的类型,其对象可以放置其它类型的对象(元素) – 需要支持的操作:对象的添加、删除、索引、遍历 – 有多种算法可以实现容器,每种方法各有利弊B、容…

nvdiffrecmc在Windows上的配置及使用

nvdiffrecmc是NVIDIA研究院开源的项目,源代码地址:https://github.com/NVlabs/nvdiffrecmc,论文为《Shape, Light, and Material Decomposition from Images using Monte Carlo Rendering and Denoising》,使用Monte Carlo渲染和去…

为什么有些Buck-Boost芯片没有输出负压?

大家好,这里是大话硬件。 今天分享一篇和Buck-Boost拓扑相关的问题,也是在最开始接触Buck-Boost芯片时,就在内心产生了疑问。 在开始学习DC-DC拓扑时,很多资料都说,非隔离型的DC-DC拓扑常见的有3种,分别是…

C语言进阶---文件操作

1、什么是文件 磁盘上的文件是文件 但是在程序设计中,我们一般谈的文件有两种:程序文件、数据文件。(从文件功能的角度来分类的)。 1.1、程序文件 包括源程序文件(后缀为.c),目标文件&#x…

若依(ruoyi-cloud)脚手架解读,一篇精通,包票上手~

视频教程传送门: 基于SpringCloud Alibaba技术栈,若依微服务版(RuoYi-Cloud)脚手架入门精解,保证上手那种~_哔哩哔哩_bilibili基于SpringCloud Alibaba技术栈,若依微服务版(RuoYi-Cloud)脚手架入门精解,保证上手那种~…

vscode 插件系统的运行机制!

做vscode二次开发有一段时间了,平时都是任务比较重,最近有时间做下总结,详细的讲解下vscode 插件系统的运行机制,vscode做为最受欢迎的编辑器,有着庞大的插件市场。其插件系统确实很复杂,文章很长&#xff…

构建交互式数据集展示:Gradio的Dataset模块详解

❤️觉得内容不错的话,欢迎点赞收藏加关注😊😊😊,后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论(包括但不限于NLP算法相关,linux学习相关,读研读博…

Visual C++中的引用的具体理解

我是荔园微风,作为一名在IT界整整25年的老兵,今天来聊聊 Visual C中的引用。 在C中有一个引用的概念。引用就是一个变量的别名,它需要用另一个变量或对象来初始化自身。引用就像一个人的外号一样,例如:有一个人的名字叫诸葛大力,…

【压缩空气储能】非补燃压缩空气储能系统集成的零碳排放综合能源优化调度(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

软件工程作业创建表

设计表 4.按专业统计课程数量: sql SELECT Major, COUNT(*) AS Num FROM Course GROUP BY Major 5.按专业查询所有课程信息: sql SELECT * FROM Course WHERE Major 信息技术 6.统计“信息技术”专业的课程数量: sql SELECT COUNT(*) FROM Course WHERE Major 信息技术…

SIM长序列处理

原论文:Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction 主要是为了解决长序列带来的计算复杂度问题 解决方法是第一阶段先进性search,有softsearchhardsearch两种方式。 然后用mult-h…

SAP HANA使用SQL创建SCHEMA:

语法是 CREATE SCHEMA “<Schema_Name>” 使用图形方法创建 SAP HANA 表&#xff1a; 创建图形计算视图&#xff1a;

Spring面试题--单例bean是线程安全的吗?

Spring框架中的单例bean是线程安全的吗&#xff1f; 这个问题有一个前提 Spring框架中的bean是单例的吗&#xff1f; 答&#xff1a;是&#xff0c;我们可以通过scope注解来设置当前的bean是不是单例的 singleton : bean在每个Spring IOC容器中只有一个实例。 prototype&am…

LeetCode刷题 | 1143. 最长公共子序列、1035. 不相交的线、53. 最大子数组和

1143. 最长公共子序列 给定两个字符串 text1 和 text2&#xff0c;返回这两个字符串的最长 公共子序列 的长度。如果不存在 公共子序列 &#xff0c;返回 0 。 一个字符串的 子序列 是指这样一个新的字符串&#xff1a;它是由原字符串在不改变字符的相对顺序的情况下删除某些…

基于Python所写的今天吃什么小程序

点击以下链接获取源码资源&#xff1a; https://download.csdn.net/download/qq_64505944/87979945 《今天吃什么》程序使用说明 小程序端 启动WhatToEat/WhatToEat下的venv虚拟环境&#xff0c;运行python manage.py runserver命令启动Flask。然后打开微信开发者工具并扫码登…

MongoDB基础入门

目录 【认识MongoDB】 MongoDB的使用场景 MongoDB的结构模型 【安装MongoDB】 MacOS安装MongoDB Windows安装MongoDB 客户端连接 【认识MongoDB】 MongoDB是一个使用C语言编写的基于分布式文件存储的数据库&#xff0c;是一个开源的、高性能、高扩展、无模式的文档型…

Matlab SFM算法(两视图)

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 基于运动恢复结构(SfM)是指从一组二维图像中估计场景中三维结构的过程。SfM算法被用于许多应用程序,例如3D扫描、增强现实和视觉同步定位和映射(vSLAM)。 SfM可以用许多不同的方法来计算。处理问题的方式取决于不同…

Quartz整合SpringBoot实现非持久化多任务运行

简介 java后端入门新手&#xff0c;对知识内容理解较浅&#xff0c;如文章内容有误&#xff0c;请各位大佬多多指点。本篇文章适用于对quartz有一定了解的入门新手&#xff0c;且并没有采用quartz官方的持久化方式&#xff0c;是在结合工作需求的基础上完成的quartz任务调度的…

【交换排序】手撕八大排序之快速排序和冒泡排序(超级详细)

目录 &#x1f341;一.快速排序 &#x1f340;Ⅰ.Hoare法 &#x1f347;Ⅱ.挖坑法 &#x1f34b;1.递归版本 &#x1f34a;2.关于时间复杂度 &#x1f34e;3.快速排序的优化之三数取中法 &#x1f34c;4.非递归版本&#xff08;使用栈实现&#xff09; &#x1f350;5…

什么是文件存储、对象存储、块存储?

什么是文件存储 文件存储带有文件系统&#xff0c;主要是以文件的形式存放数据&#xff0c;能将所有的目录、文件形成一个有层次的树形结构来管理&#xff0c;通过“树”不断伸展的枝丫就能找到你需要的文件。存储协议主要是NFS、CIFS等&#xff0c;以统一命名空间的形式共享一…