数睿通2.0:高效的数据处理,主数据与数据表功能全面升级

news2025/1/10 10:28:10

引言

八天很短,七天很长,数睿通 2.0 数据中台也随之迎来了新一轮的版本迭代,本次更新主要包括:

  • 主数据模型(可视化建模)
  • 主数据派发(支持派发主数据到下游数据表,rabbitMq,kafka,接口)
  • 数据表(数仓分层表信息展示,可视化建表,sql控制台)
  • 修复数据质量任务连接泄露问题
  • 数据库管理添加 schema 属性,解决部分数据库由于 schema 与库名不同产生的查询问题
  • 全局项目—数仓配置添加 ip,port,schema 属性,自动生成 jdbcUrl,提升交互体验
  • 修复数据质量任务连接泄露问题
  • 部分细节优化

对数睿通 2.0 数据中台感兴趣的朋友,如果想要获取源码,部署文档等资料,下拉至文末查看。

主数据模型、主数据派发

主数据也称基准数据,通常指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据),与业务数据相比,主数据变化缓慢。

在实际应用当中,业务发展到一定规模,各个系统的数据并不能完全互通,导致每个系统的主数据参差不齐,维护起来十分麻烦,而通过数据中台维护主数据模型,派发主数据到各系统,实现系统间主数据的整齐划一,便是其价值所在。

本次更新在数据治理模块添加了主数据管理菜单,菜单下包含主数据模型,主数据派发两个功能点,通过主数据模型可以维护主数据目录,建立主数据模型,模型建设完毕后可以通过数据集成和数据开发两个模块,结合使用,引入主数据,形成稳定的主数据资产;通过主数据派发可以把主数据分发给各子系统的接口、消息队列、数据表,以下是部分功能截图展示。
主数据模型1
主数据模型2
编辑主数据
主数据派发分页
派发详情
派发记录

数据表

本次更新在数据开发模块添加了数据表功能,在此可以查看数仓分层下的所有物理表,查看表信息,建表语句等,同时提供 sql 控制台,便于用户执行 sql 语句,支持一次执行多条 sql,下面是部分功能截图展示。
数据表
sql控制台

修复数据质量任务连接泄露问题

得到用户反馈,执行多次质量任务之后会出现数据库连接被异常占满的问题,通过排查,发现是由于创建的数据库连接池没有得到及时释放导致,当前版本已修复此问题,主要是此处代码的修改,如下图所示。
数据质量任务

数据库管理,全局项目优化

之前版本的数据库管理和全局项目中只有库名属性,没有添加 schema 属性,但部分数据库的库名和 schema 并不相同,比如 oracle,sqlServer,postgreSql 中都存在此问题,导致配置完数据库信息后,无法查询到库下的数据表信息,需要用户把库名配置成 schema 的名称才可以,对用户使用造成困扰,所以本次更新添加了 schema 属性,用以解决此问题。同时数仓配置额外添加了 ip 和 port 属性,便于系统自动生成 jdbcUrl,提升交互体验。
数据库管理
全局项目

其他优化

本次更新还对数据集成,数据开发,数据集市的一些细节问题进行了优化,主要是前台交互和底层的逻辑微调,在此就不再过多赘述了。

结语

本次中台的新功能介绍就到此结束了,其中主数据管理算是一个比较有价值的功能点,用的好可以对企业各系统的数据起到一个规范引导作用,而不是相互之间反复同步,调用,比对,有利于数据使用效能的提升。

后续数睿通 2.0 还会逐渐完善,搜集用户的合理需求,让平台更健壮,成熟,稳定!

目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1093133.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

字节码学习之常见java语句的底层原理

文章目录 前言1. if语句字节码的解析 2. for循环字节码的解析 3. while循环4. switch语句5. try-catch语句6. i 和i的字节码7. try-catch-finally8. 参考文档 前言 上一章我们聊了《JVM字节码指令详解》 。本章我们学以致用,聊一下我们常见的一些java语句的特性底层…

苍穹外卖(四) AOP切面公共字段自动填充及文件上传

一.AOP切面公共字段填充 问题分析 如果都按照上述的操作方式来处理这些公共字段, 需要在每一个业务方法中进行操作, 编码相对冗余、繁琐,那能不能对于这些公共字段在某个地方统一处理,来简化开发呢? 答案是可以的,我们使用AOP切…

Redis订阅和发布

Redis订阅和发布 一、订阅者和发布者二、使用示例三、常用命令 一、订阅者和发布者 发布者:publish,发送消息订阅者:subscribe,接收消息 如下图所示,可以有多个订阅者订阅同一个频道,如果该频道发送消息&…

【RocketMQ系列一】初识RocketMQ

您好,我是码农飞哥(wei158556),感谢您阅读本文,欢迎一键三连哦。 💪🏻 1. Python基础专栏,基础知识一网打尽,9.9元买不了吃亏,买不了上当。 Python从入门到精…

thinkphp6入门(9)-- 获取url路径中的应用名、控制器名、操作名

如果使用了多应用模式,可以通过下面的方法来获取当前应用 app(http)->getName(); 获取当前控制器 Request::controller(); 获取当前操作 Request::action(); 在中间件middleware中是无法获取控制器和操作的 需要将middleware的引入修改为 config 目录下的 ro…

计算机网络 实验六 Wireshark 抓包实验

实验目的: 通过实验掌握下列知识: 1. 掌握Wireshark抓包工具的使用。 2. 掌握建立telnet用户密码登录方式,并通过wireshark抓取相关信息。 3. 理解TCP的包结构,并掌握TCP建立连接的过程。 4. 掌握使用tftp工具,上…

一文带你了解以色列的当红38家网络安全公司

2014年,以色列出口的网络安全产品总值达60亿美金,占领了全球10%的网络安全市场。2014-2016年,微软用3.2亿美元买下数据隐私公司Adallom;Facebook花了1.5亿美元收购移动端数据分析公司Onavo;PayPal以6千万美元收下CyAct…

2023面试知识点二

1、vue双向绑定是如何实现的 原理主要通过数据劫持和发布订阅模式实现的通过Object.defineProperty()来劫持各个属性的setter,getter,监听数据的变化在数据变动时发布消息给订阅者(watcher),订阅者触发响应的回调(update)更新视图。 2、ing…

非一线工程管理者的一对一沟通

一线工程管理者主要管理/领导工程师完成实际的工程任务,而非一线的工程管理者需要领导一线管理者,更多的关注团队本身,因此两者在做一对一沟通的时候需要有不同的关注点。原文: One-on-Ones for (Engineering) Manager of Managers 如果没有耐…

Linux该如何学习,给你支招

如果你已经确定对 Linux 产生了兴趣,那么接下来我们介绍一下学习 Linux 的方法。这只是自己关于学习Linux的建议。 一、如何去学习 学习大多类似庖丁解牛,对事物的认识一般都是由浅入深、由表及里的过程,循序才能渐进。学习 Linux 同样要有一…

复旦MBA魏文童:构建完备管理知识体系,助力企业数字化发展

日月光华,旦复旦兮!复旦MBA如同一个巨大的磁场,吸引了诸多来自五湖四海、各行各业的职场精英。从初入职场的青涩懵懂到如今的独当一面专业干练,他们逐渐成长为职场的中坚力量,在各自领域内发光发热。作为新时代的青年&…

怒刷LeetCode的第27天(Java版)

目录 第一题 题目来源 题目内容 解决方法 方法一:位运算 第二题 题目来源 题目内容 解决方法 方法一:贪心算法 第三题 题目来源 题目内容 解决方法 方法一:二分查找 方法二:牛顿迭代法 方法三:位操作…

基于Pytest接口自动化的requests模块项目实战以及接口关联方法详解

1、基于pytest单元测试框架的规则 1.1 模块名(即文件名)必须以test_开头或者_test结尾 1.2 类名必须以Test开头且不能有init方法 1.3 用例名(测试方法)必须以test开头 同时,我也为大家准备了一份软件测试视频教程&…

【算法-动态规划】零钱兑换 II-力扣 518

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kuan 的首页,持续学…

Smartforms 打印出现的问题

上半年ECC做了升级 程序代码从ECC迁移到S4 有用户反馈 打印不能用了 经过调试发现在打印程序中 竟然返回2,但是 smartforms ZRPT_CO_YFLL_DY又是存在的 。 然后去激活 并与 ECC对比发现问题 S4的页大小竟然这么小 找到对应的页格式 对比ECC和S4 果然是这个…

2023年中国商用服务机器人行业发展概况分析:国产机器人厂商向海外进军[图]

商用服务机器人指在非制造业的商用服务场景中,用来替代或辅助人类进行服务性质工作的机器人;常见的商用场景中,商用服务机器人主要分为终端配送类机器人,商用清洁类机器人,引导讲解类机器人等,被广泛应用在…

7+线粒体相关基因预后模型+肿瘤微环境+免疫细胞浸润+实验验证

今天给同学们分享一篇线粒体预后模型实验的生信文章“Constructing a novel mitochondrial-related gene signature for evaluating the tumor immune microenvironment and predicting survival in stomach adenocarcinoma”,这篇文章于2023年3月13日发表在J Trans…

Spring Boot 生成二维码

效果图 1.maven依赖 <dependency> <groupId>com.google.zxing</groupId> <artifactId>javase</artifactId>

力扣 095. 最长公共子序列(C语言+动态规划)

1. 题目 给定两个字符串 text1 和 text2&#xff0c;返回这两个字符串的最长 公共子序列 的长度。如果不存在 公共子序列 &#xff0c;返回 0 。 一个字符串的 子序列 是指这样一个新的字符串&#xff1a;它是由原字符串在不改变字符的相对顺序的情况下删除某些字符&#xff08…

强化学习

文章目录 强化学习概念Model-FreeValue-based learningDQN State-based learning蒙特卡洛近似 Actor-Critic LearningModel-BasedMonte Carlo TreeSearch(MCTS)-AlphaGo 强化学习概念 Terminologies&#xff08;术语&#xff09; State s&#xff1a;环境的一个状态Agent &…