【kettle002】kettle访问人大金仓KingbaseES数据库并处理数据至execl文件

news2024/10/7 2:20:05

一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。
熟悉、梳理、总结下人大金仓KingbaseES数据库相关知识体系

kettle访问人大金仓KingbaseES数据库并处理数据至execl文件文章目录索引如下所示：

1.环境搭建、配置

1.0 实验环境
- Windows 10
- CentOS 7.1（虚拟机）
- Docker version 26.0.2
- Dbeaver
- Kettle 8.2
- KingbaseEs V8R3，kingbase (Kingbase) V008R003C002B0290
1.1 拉取人大金仓KingbaseES数据库镜像
```
docker pull godmeowicesun/kingbase
```

1.2 创建目录文件

mkdir -p /opt/docker/kingbase-latest/spft
chmod 777 /opt/docker/kingbase-latest/spft
mkdir -p /opt/docker/kingbase-latest/spft/license

1.3 下载授权文件，并上传至目标路径
- 官网地址可下载标准版证书（可根据自身需求选择授权文件版本）：https://www.kingbase.com.cn/xzzx/index.htm。如下图所示：
- 授权文件上传目标路径：/opt/docker/kingbase-latest/spft

1.4 创建镜像容器

# 参考模版
# docker run -d -it --privileged=true -p [对外端口号]:54321 -v [本地主机的虚拟挂载路径]:/opt --name kingbase-latest godmeowicesun/kingbase:latest

# 实操命令，注意如果不带 /bin/bash 数据库无法有效启动，将不能建立有效链接
docker run -d -it --privileged=true -p 54321:54321 -v /opt/docker/kingbase-latest/spft:/opt --name kingbase-v8 godmeowicesun/kingbase:latest /bin/bash

效果图如下所示：

1.5 DBeaver链接测试
- 新建 驱动管理器，数据库 --》驱动管理器 --》新建，库 --》添加kingbasev8驱动文件
- 数据库访问默认信息
```
端口: 54321
用户名: SYSTEM
密码: 123456
默认数据库: TEST
```
- 待确认解决问题，后续有时间定位下具体问题

2.人大金仓KingbaseES数据库链接测试

2.1 SQL测试脚本

select * from youli001.youli_test

-- drop table youli001.youli_test;

create table youli001.youli_test(
	id varchar(32) not null,
	remark varchar(255),
	length int8,
	front text, 
	status smallint,
	range float8,
	create_time timestamp
);

create index createtime on youli001.youli_test(create_time);
comment on column youli001.youli_test.remark is '备注';
comment on column youli001.youli_test.length is '长度';
comment on column youli001.youli_test.status is '状态';
comment on column youli001.youli_test.range is '范围';
comment on column youli001.youli_test.create_time is '创建时间';

insert into youli001.youli_test values('001', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('002', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('003', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('004', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('005', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('006', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('007', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('008', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('009', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('010', 'good', 12, 'good', 0, 0.34, now());
insert into youli001.youli_test values('011', 'good', 12, 'good', 0, 0.34, now());

2.2 查询示例效果

3.kettle流程任务配置、效果验证

3.1 表输入测试链接 OK
系统级schema：
- pg_catalog 包含着系统目录表、内建数据类型、函数和操作符。即便在 schema 搜索路径中没有显式地提到它，它也总是 schema 搜索路径的一部分
- gp_toolkit 是一个管理用途的 schema ，它包含用户可以用 SQL 命令访问的外部表、视图和函数。所有的数据库用户都能访问gp_toolkit 来查看和查询系统日志文件以及其他系统指标
- pg_aoseg 存储追加优化表对象。这个 schema 由数据库系统内部使用
- pg_bitmapindex 存储位图索引对象，例如值的列表。这个 schema 由数据库系统内部使用
- pg_toast 存储大型对象，如超过页面尺寸的记录。这个 schema 由数据库系统内部使用
- information_schema 有一个包含数据库中对象信息的视图集合组成。这些视图以一种标准化的方式从系统目录表中得到系统信息

其他参考命令

# docker 人大金仓登录数据库
ksql -h 127.0.0.1 -U SYSTEM -d TEST

create tablespace youli location '/opt'; 

# linux 查看端口号
lsof -i :54321

# 查看启动服务
ps -ef

4.参考文章

https://blog.csdn.net/fy512/article/details/126546899
https://www.kingbase.com.cn/xzzx/index.htm
https://help.kingbase.com.cn/v8/install-updata/install-docker/install-docker-3.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1618987.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！