一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
熟悉、梳理、总结下MySQL关系数据库相关知识体系
- kettle访问MySQL数据库并处理数据至execl文件文章目录索引如下所示:
1.环境搭建、配置
- 1.0 实验环境信息
Windows 10
CentOS 7.1(虚拟机)
Docker version 26.0.2
Dbeaver
Kettle 8.2
MySQL 8.3
- 1.1 MySQL docker镜像安装(
如果本地有MySQL环境,可用本地环境进行测试,该环节可略过
)- 如果本地有MySQL,但拉取了镜像,请调整端口信息,端口已被占用
- 如果遇到拉取镜像很慢的问题,可以参考 https://kngines.blog.csdn.net/article/details/138142888
- 1.1.1 操作命令
# 拉取最新版镜像 docker pull mysql:latest # 查看当前环境拉取的所有镜像 docker images # 创建容器并运行 docker run -p 3306:3306 --name youli-mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:latest # 查看所有已创建容器 docker ps -a
- 1.1.2 容器运行详情
- 1.1.3 链接MySQL容器测试。其中,
192.168.10.183
问虚拟机内MySQL在运行容器IP
2.本地MySQL数据库链接测试
- 2.1 建表测试语句
create table youli_testtable( id int not null auto_increment, class int not null, teachername varchar(50), teachertel varchar(50), primary key (id) ); insert into youli_testtable values (1,1,'老韩','15225114562'), (2,2,'老朗','123456'), (3,3,'老王','456254'), (4,4,'张老师','9999999'), (5,5,'老韩','15225114562'), (6,6,'老朗','123456'), (7,7,'老王','456254'), (8,8,'张老师','9999999'), (9,9,'Youli','Youli'), (10,10,'xsimah','xsimah') ; select * from youli_testtable; select @@version;
- 2.2 数据查询效果
3.kettle流程任务配置、效果验证
- 3.1 MySQL链接失败,驱动问题,将相应版本MySQL驱动包放到 kettlle lib 目录下,重启 kettle
- 3.2 MySQL 驱动包文件
- 3.3 kettle链接本地MySQL测试结果
- 3.3 kettle查询本地MySQL数据表结果
- 3.4 kettle任务查询数据并输出运行效果
- 3.5 kettle任务输出结果详情
4.参考文章
- https://blog.csdn.net/nandao158/article/details/136477769