kettle从入门到精通 第八十二课 ETL之kettle kettle中的【阻塞数据直到步骤都完成】使用教程

news2024/11/15 11:07:40

 1、在使用步骤【阻塞数据直到步骤都完成】(英文为Block this step until steps finish)之前,我们先来了解下什么是 Copy Nr?

 Copy Nr是指 “副本编号” 或 “拷贝编号”,也就是下图中的复制的记录行数,图中的两个步骤复制的记录行数都是0,表示只有一个副本。

  2、写日志步骤右键改变开始复制的数量,这里我们设置为3,如下图所示:

 3、保存&运行,步骤度量tab中写日志步骤一个有三个副本在运行,Copy nr 分别为0、1、2,每个副本会根据前置步骤的数据发送策略处理输入的数据,如下图所示:

 4、言归正传,我们继续研究步骤【阻塞数据直到步骤都完成】,该步骤可以阻塞一个或者多个步骤的一个或者多个副本,直到所有副本都处理完毕之后才会处理步骤【写日志-done】,如下图所示:

注:图中的复制次数就是指的是副本的数量,写日志步骤的副本是3,所以若要阻塞写日志步骤,监视下面的步骤里面设置3条数据,复制次数分别是0、1、2。

 5、保存&运行,可以看到转换正确执行,先执行三个步骤写日志副本,然后再执行写日志-done步骤,如下图所示:

 6、若复制次数填写3或者以上则会出错,所以这里复制次数是从0开始的,不是从1开始。如下图所示:

 7、将第一个转换复制一份,写日志2步骤这里设置2个副本。步骤【阻塞数据直到步骤都完成】同时阻塞步骤【写日志】和步骤【写日志2】,依然可以正常运行,如下图所示:

 总结:

1、Copy Nr 是 Kettle/PDI 中用于标识不同步骤副本的编号,主要用于支持并行处理和管理多个副本。在设计数据转换或作业时,合理设置和管理这些副本,可以提升数据处理的效率和灵活性。

 2、阻塞步骤【阻塞数据直到步骤都完成】可以阻塞一个或者多个步骤的1个或者多个副本。副本次数是从0开始计数而不是1。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1971705.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

全网最强Nginx教程 | 万字长文爆肝Nginx(五)

Nginx实现服务器端集群搭建 Nginx与Tomcat部署 前面课程已经将Nginx的大部分内容进行了讲解,我们都知道了Nginx在高并发场景和处理静态资源是非常高性能的,但是在实际项目中除了静态资源还有就是后台业务代码模块,一般后台业务都会被部署在…

基于Spring boot + Vue的灾难救援系统

作者的B站地址:程序员云翼的个人空间-程序员云翼个人主页-哔哩哔哩视频 csdn地址:程序员云翼-CSDN博客 1.项目技术栈: 前后端分离的项目 后端:Springboot MybatisPlus 前端:Vue ElementUI 数据库: …

Java 关键字之 native 详解

本篇博客我们将介绍Java中的一个关键字——native。 native 关键字在 JDK 源码中很多类中都有,在 Object.java类中,其 getClass() 方法、hashCode()方法、clone() 方法等等都是用 native 关键字修饰的。 那么为什么要用 native 来修饰方法,…

离线安装MeterSphere遇到的问题

1.安装步骤,参考官方文档 在线安装 - MeterSphere 文档 2.安装完成以后,docker ps查看有很多服务一直处于重启状态,查看容器日志docker logs ID,发现所有一直处于重启状态的容器都是因为服务无法创建日志目录和文件。一直处于重启的服务如…

【Java基础题型】矩阵的对角线之和

二维数组真是存矩阵的好东西啊,现在问题来了,输入一个5*5一共25个数字,要求你求出它们两个对角线上的数字之和! 输入格式 25个数字,5行5列 输出格式 它们两个对角线上的和 左上->右下第一条 右上->左下第二…

【秋招笔试】24-07-27-OPPO-秋招笔试题(后端卷)

🍭 大家好这里是清隆学长 ,一枚热爱算法的程序员 💻 ACM金牌团队🏅️ | 多次AK大厂笔试 | 编程一对一辅导 ✨ 本系列打算持续跟新 秋招笔试题 👏 感谢大家的订阅➕ 和 喜欢💗 ✨ 笔试合集传送们 -> 🧷春秋招笔试合集 💡 01.二进制反转游戏 问题描述 K小姐…

Nvidia黄仁勋对话Meta扎克伯格:AI和下一代计算平台的未来 | SIGGRAPH 2024对谈回顾

在今年的SIGGRAPH图形大会上,Nvidia创始人兼CEO黄仁勋与Meta创始人马克扎克伯格进行了一场长达60分钟的对谈。这场对话不仅讨论了AI的未来发展和Meta的开源哲学,还发布了不少新产品,并深入探讨了下一代计算平台的可能性。 引言 人工智能的发…

InternLM-L0 Git作业

0. 任务背景 GitInternStudio 任务说明 GitInternStudio 关卡说明 任务1: 破冰活动:自我介绍 任务2: 实践项目:构建个人项目 1. 破冰活动并构建个人branch Fork 目标项目 git clone https://github.com/sd258sos/Tutorial.git # 修改为自己frok的仓…

模拟实现strcmp,判断二个字符串是否相等

1.判断二个字符串是否相等,可以模仿strcmp.当二个字符串相等的时候ruturn 0.,当二个字符串小于时返回为小于0,当二个字符串大于时返回为大于0。const为不可以更改。 //方法一 int my_strcmp(const char* arr1, const char* arr2) {assert(arr1 &&…

Java后端每日面试题(day6)

目录 创建线程的方式锁的分类公平锁与非公平锁共享式与独占式锁悲观锁与乐观锁 rbac相关的表spring security原理DelegatingFilterProxyFilterChainProxySecurityFilterChain<font colorred>Spring Security 作用机制大致如下&#xff1a; mybatis一对一&#xff0c;一对…

AttributeError: module ‘jwt‘ has no attribute ‘decode‘解决方案

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

【大数据】什么是数据集市?如何创建数据集市?

目录 一、数据集市的定义 二、数据集市的存在方式 三、数据集市的特点 四、数据集市和数仓的关系 五、数据集市建设步骤 一、数据集市的定义 数据仓库中集成后的数据&#xff0c;又按照了主题进行了划分&#xff0c;而面向主题划分出来的部分就是数据集市&#xff0c;也就是说数…

织物图像的配准和拼接算法的MATLAB仿真,对比SIFT,SURF以及KAZE

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 4.1 SIFT (Scale-Invariant Feature Transform) 4.2 SURF (Speeded Up Robust Features) 4.3 KAZE (Key-point Affine-Zernike descriptors) 5.算法完整程序工程 1.算法运行效果图预览 (…

python家教预约管理系统 python+django+vue开发的家教信息管理系统 - 毕业设计 - 课程设计

python家教预约管理系统 pythondjangovue开发的家教信息管理系统 - 毕业设计 - 课程设计 文章目录 python家教预约管理系统 pythondjangovue开发的家教信息管理系统 - 毕业设计 - 课程设计一、功能介绍二、代码结构三、运行步骤1、后端运行步骤3、前端运行步骤 四、源程序下载 …

69.搭建分析工具界面

免责声明&#xff1a;内容仅供学习参考&#xff0c;请合法利用知识&#xff0c;禁止进行违法犯罪活动&#xff01; 内容参考于&#xff1a;易道云信息技术研究院 上一个内容&#xff1a;68.游戏分析工具设计以及更改辅助中存在的界面问题 以 68.游戏分析工具设计以及更改辅助…

【Dash】简单的直方图

一、Visualizing Data The Plotly graphing library has more than 50 chart types to choose from. In this example, we will make use of the histogram chart. # Import packages from dash import Dash, html, dash_table, dcc import pandas as pd import plotly.expre…

ASUS/华硕幻14 2022 GA402R系列 原厂win11系统 工厂文件 带F12 ASUS Recovery恢复

华硕工厂文件恢复系统 &#xff0c;安装结束后带隐藏分区&#xff0c;一键恢复&#xff0c;以及机器所有驱动软件。 系统版本&#xff1a;windows11 原厂系统下载网址&#xff1a;http://www.bioxt.cn 需准备一个20G以上u盘进行恢复 请注意&#xff1a;仅支持以上型号专用…

【Qt开发】调试log日志QDebug重定向输出到textEdit等控件(qInstallMessageHandler回调函数)

【Qt开发】调试log日志QDebug重定向输出到textEdit等控件&#xff08;qInstallMessageHandler回调函数&#xff09; 文章目录 Log输出方式qInstallMessageHandler回调函数线程安全textEdit控件附录&#xff1a;C语言到C的入门知识点&#xff08;主要适用于C语言精通到Qt的C开发…

银行数据质量保障体系建设实践

引言 在数字化转型浪潮中&#xff0c;数据中台成为企业实现数据驱动决策的关键支撑。它不仅整合了企业内外部的数据资源&#xff0c;还通过数据共享与复用&#xff0c;提升了运营效率和业务创新能力。然而&#xff0c;随着数据量的激增和数据来源的多样化&#xff0c;如何确保…

SQL中的去重

SQL中的去重 1. Distinct去重 说明&#xff1a;DISTINCT 关键字用于返回唯一不同的值&#xff0c;一般放在查询语句中的第一个字段前使用。 DISTINCT会将NULL值也看做成一个不同的值。 DISTINCT去重 假如有一张员工表&#xff1a; 需要获取所有不重复的员工薪资和年龄的组合…