数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

news2024/11/15 21:38:00

引言

数睿通 2.0 数据中台迎来了11月份的更新，感谢大家的支持，本次更新主要包括以下内容：

数据库支持 MongoDB
数据接入支持 MongoDB，支持自定义 SQL 采集，支持停止运行中的任务
数据生产支持 FlinkJar 任务，分为 Standalone 和 Yarn Application 模式
数据生产支持 Flink1.16（需要 maven profiles 选择 flink-1.16 打包，后面会做成多版本动态支持）
接入集群监控微服务，监控各服务状态
支持根据部门划分数据权限
bug 修复，细节优化

支持 MongoDB

新版数睿通的数据接入和数据生产模块添加了 MongoDB 的支持，数据接入可以选择 MongoDB 作为源端或者目的端进行数据同步操作。数据生产可以创建 MongoDB 类型的作业任务。现在的数据生产模块已经可以支持 Flink1.16（选择 flink-1.16 打包），目前 Flink1.16 官方已经支持 MongoDB 的连接器，所以在平台可以建立 MongoDB 类型的 FlinkSql 任务，提交到 Flink 集群或者 Yarn 上面执行，但具体效果还需要进一步测试，后续版本平台在建立数据生产任务的时候，将可以动态选择 Flink 版本执行相应的任务。部分运行效果如下图所示。
MongDB编辑
MongDBSql任务
MongDBFlink任务

支持 FlinkJar 任务

之前版本的数据生产支持 Sql 和 FlinkSql 两种任务类型，通过这两种方式可以完成大部分的实时和离线开发需求，但如果遇到复杂的业务，仅靠这两种方式显得有些力不从心，所以新版支持了 FlinkJar 类型的任务，通过数据开发人员编写任务代码，打成 Jar 包提交到平台，应对复杂的数据开发需求，当前支持提交任务到 Flink 集群或 Yarn 集群。部分运行效果如下图所示。
jar 管理
jar 编辑
jar 任务

支持自定义 Sql 采集，支持停止运行中的任务

新版的数据接入模块添加了 Sql 采集任务的支持，源端可以通过书写 Sql 语句采集数据，相比之前数据表的接入方式更加灵活，通常用于多表 Join 等复杂业务的数据采集。部分运行效果如下图所示。
sql 任务
sql 接入详情
之前版本如果手动执行了数据接入任务，便无法停止，只能通过重启调度服务解决，如果任务耗时较长，则会对资源造成浪费，新版本添加了终止运行中任务的支持，可以随时终止正在运行的任务。

数据生产支持 Flink1.16

因为新版支持了 MongoDB 数据库，但 Flink 官方从 1.16 版本才开始支持 MongoDB，所以添加了 Flink1.16 的支持，以便能够使用 MongoDB 的连接器，打包数据生产模块的时候需要选择 Flink-1.16 进行打包，由于时间有限，我只测试了 Local 模式下读取 MogoDB 的 FlinkSql 任务，稳定性尚需进一步验证，下个版本平台将会在任务执行的时候支持动态选择 Flink 版本，现在只能单版本，大家可以等到下个版本发布的时候再使用测试。