一、前言
最近由于工作需要,需要用到kettle工具进行数据迁移转换。特意找资料学习了一下,kettle基本操作算是学会了。
所学的也结合实际工作进行了验证。为了防止以后用到忘记了,便写了几篇文章记录一下。
二 、ETL简介
ETL ( Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程) 。在企业种我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,对开发人员来说必不可少,这里我要学习的ETL工具是Kettle ! 。
三、Kettle 简介
3.1 kettle是什么?
Kettle 是一款国外的开源ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。
顾名思义,Kettle 翻译为中文是水壶,寓意着把所有乱七八糟的数据放到一个壶里,最终以一种指定格式流出
3.2 kettle两种设计
- Kettle中有两种脚本文件,
transformation
和job
,transformation
完成数据基本转换,job
完成整个工作流程的控制 - 转换是数据流,作业是步骤流
- 作业的每一个步骤,必须等待前面的步骤执行完,后面的步骤才会执行。
- 转换会一次性把所有控件都启动(一个控件对应一个线程)
- 数据流会从第一个控件开始,一条记录一条记录的流向最后控件
3.3 kettle核心组件
外国人起名字挺有意思的,kettle的核心组件就是一套烹饪厨具。kettle的作者应该是一位吃货 (●'◡'●)
3.4 kettle 优点
四、Kettle安装
4.1 下载地址
① 官网地址
Home - Hitachi Vantara
官网地址国内下载可能很慢很慢,小伙伴们可以通过以下国内镜像地址下载
②国内镜像地址
http://mirror.bit.edu.cn/pentaho/Pentaho 8.2/client-tools/
4.2 kettle目录及文件介绍
4.3 kettle 安装
Kettle是java开发的,所以需要安装jdk,我们这里安装经典的jdk8
至于jdk怎么安装,这里就不细说了,如果不知道的小伙伴百度即可
jdk安装完成后,我们将4.1 下载的安装包解压到自己想放置的路径即可
4.4 kettle界面介绍
双击Spoon.bat 即可打开如下界面