星环科技TDS 2.4.0 发布: 数据开发、数据治理、数据运营套件能力再次升级

news2024/11/22 21:54:50

近日,星环科技大数据开发工具 Transwarp Data Studio 2.4.0版本重磅发布,新版本中数据开发、数据治理、数据运营三大套件能力全部升级,让数据开发更便捷、数据治理更高效、数据运营更智能。本次升级的核心能力如下:

数据开发套件,助力企业完成数据统一化

数据开发套件包含了大数据整合工具 Transporter、数据库在线开发与协同工具 SQLBook 和任务调度软件 Workflow ,该套件作为星环科技大数据基础平台 Transwarp Data Hub 的生态开发应用工具,针对数据开发场景,提供数据集成、SQL 开发和任务调度的能力,帮助企业将数据归集到数据湖仓,完成数据统一化的过程。

在 2.4.0 版本中数据开发套件进行了如下更新:

  • 任务流调度模块新增了 Python , JAVA , R , Scala 类型任务调度能力支持;增加自定义日历能力,任务可以在日历下进行调度执行;增强参数能力,新增工作区参数,加密参数,临时参数,支持参数跨服务、任务流引用和传递;支持非容器化部署执行器;

  • 数据集成模块新增支持文本文件、Excel文件的离线数据加载;对接告警中心,支持添加告警规则,并支持邮件,站内信,短信发送;支持在目标端配置自动创建分区表等;

  • SQL 开发模块新增函数管理能力以及 SQL 参数能力。

数据开发套件的三大核心优势:

  • 分布式架构设计,可支持PB级别的数据平台建设,支持日均十万级任务调度,性能可扩展;

  • 支持 SQ L关键词和 SQL 片段推荐,数据开发知识积累,智能化持续优化开发体验和开发效率;

  • 基于大数据平台计算能力提供数据转换能力,避免传统ETL工具本身的计算瓶颈。

数据治理套件,完成数据资产化

数据治理套件,针对企业过去信息系统烟囱式的构建方式以及数据开发和管理过程不规范的问题,提供数据治理能力,帮忙企业进行数据资产盘点、数据标准统一和解决数据质量问题,完成数据资产化的过程。

TDS 的数据治理套件作是基于星环数据治理咨询方法论的、一站式的面向企业各类信息系统的数据管控平台,集成元数据管理、数据标准管理、数据质管理量等模块,提供全生命周期数据治理能力。 

在 2.4.0 版本中数据治理套件进行了如下更新:

  • 数据治理模块新增数据模型管理能力,提供逻辑模型和物理模型的开发和管理能力;

  • 元数据模块增强元数据自动采集范围,新增支持 KunDB、达梦、SAP HANA 等数据源类型;支持批量订阅元数据;

  • 数据标准模块新增主数据标准类别;优化质量检查报告和落标检查报告,提供维护人员和治理人员两种视角的报告内容和入口;数据质量模块新增支持在质量任务中自定义配置质量参数值功能;

  • 数据治理套件各模块各类型任务接入通知中心,支持多种通知渠道以及通知触发条件配置;

数治理套件的核心优势

  • 可以事前通过 TDS 内置知识库,对行业文献、企业内部知识文档以及已有的数据标准、标规则内容,进行智能解析和知识沉淀,扩大数据标准对标的支撑业务主题范围,提高推荐准确率。同时,可以根据用户对推荐结果的判定行为对智能推荐算法进行自动化迭代和优化;

  • TDS 数据治理套件是一站式产品架构,由完整的数据治理功能模块组成,并集成至统一平台中,各功能模块根据数据治理方法论有机的形成功能联动和流程,提供一站式工具应用体验;

  • TDS 数据治理套件提供基于星环大数据技术的数据治理任务执行能力,高效完成数据治理作业。

数据运营套件,助力数据运营平台建设

数据运营套件包含:数据服务平台 Midgard、标签平台 Starviewer、数据商城 Foresight。提供数据标签体系构建和自助取数,直接对接数字化转型应用的 API 开发和管理,并能将上述套件产生的数据产品在统一的共享门户中进行企业内部共享交换,将企业各类型数据资产以分析、服务和共享的方式提供服务,发挥资产价值,最终支撑数字化转型相关应用,完成数据业务化的过程,并提供数据资产共享交互,构建企业数据生态化,助力数据运营平台建设。         

在 2.4.0版本中数据运营套件进行了如下更新:

  • 数据服务模块新增 SQL 模式创建 API,支持查询类 SQL 和非查询类 SQL;支持管理业务分组,对 API 资源进行隔离和管控;新增API路由配置;

  • 数据商城模块新增支持对资源编目进行可见范围控制,支持按照机构粒度选择可见范围;支持的资源类型扩展,新增数据标签、非结构化文件两类资源;支持配置资源的共享类型(有条件共享/无条件共享);

  • 新增数据标签开发平台模块,提供多种类型标签的开发、管理、发布、下线等生命周期管理能力,提供基本的标签数据分析能力;提供将发布后的标签数据在数据商城提供对外共享的能力;

目前,星环科技 TDS 已经在金融、能源、政府、医疗等多个行业落地,海洋石油富岛公司借助 TDS,建设了大数据技术平台及体系化的数据资产管理平台,实现技术业务化、数据业务化,实现化工生产过程的降本增效,推进公司数字化转型;某医学大数据研究平台通过 TDS 的数据资产定义、资产目录建立、数据溯源、数据全程监控及资产评估改进工具,实现数据资产的全生命管理,为研究所构建了高性能、高可靠性、高安全性及可扩展性的医学大数据研究平台,实现了医疗数据的规范化、流程化、质量化,帮助研究所专业的医学数据分析团队高效挖掘病历样本等科研数据的价值,落地科研业务,保障科研进度的稳步推进;华夏基金基于TDS,融合了 TA(Transfer Agent开放式基金登记过户)系统、OTS(Online Trading System 网上交易)系统、反洗钱系统、会计系统、资讯系统、交易系统及直销和代销数据,为营销数据中心、反洗钱系统、投研指标系统、数据分析等业务应用建立了数仓、数集及专用库,对投研指标系统相关数据进行了迁移与整合,为华夏基金构建基于大数据等技术的统一分析数仓打下了平台基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/65924.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Opencv实战】高手勿入,Python使用Opencv+Canny实现边缘检测以及轮廓检测(详细步骤+源码分享)

前言 有温度 有深度 有广度 就等你来关注哦~ 所有文章完整的素材源码都在👇👇 粉丝白嫖源码福利,请移步至CSDN社区或文末公众hao即可免费。 在这次的案例实战中,我们将使用Python 3和OpenCV。我们将使用OpenCV,因为它是…

谷歌牛人发布小说式《算法图解》,竟被人扒下来,在GitHub开源了

今天给大家带来了一本算法方向的好书:巴尔加瓦(Aditya Bhargava)老师 著,袁国忠老师译的 《算法图解:像小说一样有趣的算法入门书》,网上有没有开源版本我不知道,我就看他内容不错所以推荐给大家…

蓄电池建模、分析与优化(Matlab代码实现)

💥💥💥💞💞💞欢迎来到本博客❤️❤️❤️💥💥💥🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清…

[附源码]Python计算机毕业设计Django校园运动会管理系统

项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等。 环境需要 1.运行环境:最好是python3.7.7,…

数据存储,详细讲解

✨数据存储,详细讲解💜数据类型的介绍:💙整形的内存存储大小端介绍:💛浮点数的存储💜数据类型的介绍: 1.内置类型: char //字符数据类型(1&#xff…

SpringBoot 之 AOP

前言: Spring 三大核心思想是啥,还记得不?IOC(控制反转),DI(依赖注入),AOP(面向切面编程)。回顾一下这三个东西: IOC:不考…

Dash初探:如何将Label和Dropdown放在一行

Use Dash! How to display html.Lable and dcc.Dropdown on the same line? 1、目标 下图展示了我想要实现的效果。 数据筛选部分包含了三个筛选条件:日期区间选择器;区域选择器;地市选择器。其中,地市选择器的取值和已选区域…

【1805. 字符串中不同整数的数目】

来源:力扣(LeetCode) 描述: 给你一个字符串 word ,该字符串由数字和小写英文字母组成。 请你用空格替换每个不是数字的字符。例如,"a123bc34d8ef34" 将会变成 " 123 34 8 34" 。注意…

[附源码]JAVA毕业设计砂石矿山管理系统(系统+LW)

[附源码]JAVA毕业设计砂石矿山管理系统(系统LW) 项目运行 环境项配置: Jdk1.8 Tomcat8.5 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术…

如何将Word转成PDF格式?这三种方法总有一个适合你

如何把Word文档转换成PDF文件格式呢?大家在传输文件的时候,相信很多小伙伴都喜欢不使用PDF文件格式,因为它非常的稳定,在浏览文件的时候格式不会乱,但我们都是先做好Word文档,然后再把它转成PDF格式&#x…

诗人贺伟陪你看世界杯

国内三大拥有转播权的主流平台(央视、中国移动咪咕和抖音)都已经公布了解说阵容 CCTV解说阵容 贺炜、刘嘉远、朱晓雨、曾侃、李晨明、孙思辰、邵圣懿。 此次央视世界杯采取了“单口”解说的模式,这多少还是会让球迷们感到错愕。以往的足球盛…

ubuntu+Docker双容器docker-compose部署Django+Vue项目(2-Django)

文章目录部署Django后端接口下载Python环境及一些尝试pip包管理运行项目容器报错1(查询容器IP解决)报错2(pvsite_uwsgi.ini文件配置socket还是http)报错3(用http先)用python manage.py runserver运行项目先报错4(下载cryptography库)回到用uwsgidjango运行成功先在uwsgidjango中…

FT2004(D2000)开发实战之PBF配置

一 PBF概述 PBF英文全称Phytium Base Firmware,PBF主要作用: 初始化PLL设置CPU主频初始化DDR4初始化PCIe控制器初始化全局中断和定时器跳转到U-boot 飞腾FT2004芯片BIOS固件由两部分构成,PBF+U-boot或者PBF+UEFI,最终的BIOS烧写⽂件由PBF固件包中的脚本程序⽣成,当然在生…

为什么消费返利模式层出不穷?这个消费返利玩法值得你借鉴

大家好,我是林工,不知道大家听说过消费返利没有?消费返利是互联网常见的一个商业模式,是指互联网平台将自己所销售的商品和服务让渡给消费者并获得一定比例的报酬,消费者通过平台享受到的佣金和消费总额(金…

正则表达式简介

一、介绍 正则表达式(Regular Expression)是一种文本模式,包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为"元字符")。 正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字…

观察|数字营销正当时,企业如何玩转短视频?

​​双十二购物狂欢节即将来临,从手机APP的开屏广告到线下随处可见的广告屏,铺天盖地的短视频成为各大品牌宣传造势的重头戏。凭借具有强烈视觉冲击力的画面和魔性的配音配乐,短视频已然超越传统图文广告,迅速成长为占领受众心智的…

Java数据结构与Java算法学习Day05---二叉树(简略笔记记录)

目录 一、二叉树 79 1.1树的基本定义79 1.2数的相关术语 80 1.3二叉树的基本定义 81 1.4二叉查找树的创建 82 1.4.1二叉树查找树创建---插入方法(put) 83 1.4.2二叉树查找树创建---获取方法(get)84 1.4.3二叉树查找树创建…

大数据学习:进程管理(2)

文章目录一、系统资源监控1、free命令2、uname命令3、uptime命令4、netstat命令5、vmstat命令二、任务管理1、前台进程2、后台进程3、操作案例一、系统资源监控 1、free命令 观察内存(memory)使用情况 2、uname命令 查阅系统与核心相关信息 3、up…

JavaEE技术点:MySQL目录及基本命令介绍

1.MySQL目录介绍 (1)首先来看MySQL的安装目录,如图1-1所示: 图1-1 MySQL的安装目录 (2)图1-1中的bin目录中存放的是二进制的可执行文件,如图1-2所示: 图1-2 bin目录结构 (3)图1-2中的mysqld.exe是服务器程序,必须先…

山东:推进自然资源确权登记 助力自然资源保护发展

2019年,自然资源统一确权登记工作启动以来,山东省认真贯彻生态文明思想,坚决扛牢政治责任,按照国家统一部署,担当作为、加压奋进,在探索推进自然资源确权登记法治化、规范化、标准化、信息化等方面取得了积…