中核武汉 x Tapdata:能源领域老牌央企如何释放数据力量,推进精细化管理

news2024/12/27 11:28:58

在这里插入图片描述

数据孤岛是一直以来的老大难问题,之前也有在寻找相关产品和解决方案,要么太重,要么不容易落地,直到偶然间看到
Tapdata。这是一个小而美的产品,专注实时数据开发领域,其异构数据实时同步能力使我们可以更专注在业务层面开发,而不用再关心数据层问题。——中核武汉系统技术部架构师
易继虎

近年来,以信息化、智能化为典型特征的新一轮科技革命正在蓬勃发展,全球经济正处在一个前所未有的变轨期,数字化技术持续涌现,数字经济已然成为经济增长的核心驱动力。

时代呼唤传统企业的数字化升级。

而国有企业作为国民经济发展的中坚力量,需要充分发挥国有经济主导作用,主动把握和引领新一代信息技术变革趋势,引领和带动我国经济在这轮转型变革中占据国际竞争制高点。国务院国资委更是于2020年正式印发《关于加快推进国有企业数字化转型工作的通知》,积极引导国有企业在数字化转型道路上发挥其示范引领作用。

在央企、国企全面实现数字化转型的道路上,存在着这么一个公认的拦路巨石——数据孤岛。而在与众多相关企业用户牵手,加速转型优化的过程中,Tapdata 也一直在努力为企业轻成本破局提供新思路,践行数据孤岛“终结者”的使命。

想知道 Tapdata 具体解决了什么样的问题、可以如何使用,不妨一起来了解下中核武汉是怎么实践落地的。

一、中核武汉,科改示范

“卡脖子”的数据孤岛,难拔除的数据烟囱

中核武汉,科改示范企业,由核动力运行研究所、秦山核电公司、武汉元一科技投资有限公司、上海核工程研究设计院共同投资组建,融入了发起单位在核动力技术服务领域的原有优势资产、市场以及管理运作优势,“以此为生,精于此道,致力于保障核设施安全、可靠、经济地运行”,是目前国内规模最大、实力最强的核动力运行技术服务专业化公司。

中核武汉在为不同国企、央企提供信息化服务的同时,也发现了一个普遍存在的问题:数据孤岛。由于系统的多样性——外采、内建结构各异,组织分化,业务场景多样……致使对接业务数据时频频受阻,往往需要花费大量的人力资源去做非业务侧的开发工作。开发中更是需要和不同组织部门的人协调,申请获得对应的数据权限,并耗费时间成本来理解数据字典的业务含义。

而常见的 ETL 工具没有复用性,每次有新需求或是需求有改动时,都需要重跑一遍同步流程,大量 ETL 开发也只能是“治标不治本”,没有办法从根源上打破数据壁垒。除此之外,中核武汉还在通过 Java代码来实现不同数据中心之间的数据查询,工作量也很大,依旧会带来背离核心任务的资源投入。

如此一来,其项目落地周期不可避免地被拉长,以至于无法专注在业务的开发上。中核武汉迫切需要解放被数据层“绑架”的创造力,将开发重心收拢回业务侧,为此,中核武汉尝试将数据层技术对接工作交托给了专注于实时数据开发领域的 Tapdata——各专其专,各长其长,共同为核工业高质量发展添薪。

二、Tapdata:小而美的实时数据交换平台

因为专注,所以更专业

面对日益高涨的数据打通需求,和传统架构掣肘之间的矛盾,Tapdata 提供了新思路:“实时同步+实时处理+实时发布”的全链路实时数据服务平台,在保留原有系统基础上,构建一个高度一致的数据镜像,并采用主数据管理技术,形成一套完整、准确、可信、可服务的主数据服务系统。

为快速满足中核武汉缩短项目周期,优化资源配置的需求,Tapdata 充分发挥平台低代码可视化配置操作,以及异构数据实时同步等功能特性,快速打通中核武汉各数据中心,达成本地和云上数据联通——实现快速开发、快速查询,极大优化开发人力资源,成功用开创性的“小而美”攻破了沉疴式的“大而难”。

同时考虑到中核武汉的央企属性,Tapdata 还具有“纯国产自研”,拥有自主知识产权的优势,对国产数据库也更加友好,从国际竞争长远角度来看,技术更加可控。

架构部署图解

  1. 从预生产实例同步全实例数据到公共数据中心实例
  2. 公共数据中心实例通过特定逻辑和规则将修改的公共数据分别同步至不同的业务数据中心实例,同时记录同步的数据条数和是否成功(有日志)
  3. 公共数据中心研发域通过数据同步后处理形成宽表,将全局查询数据同步至公共数据中心研发域 ES!

为什么选择 Tapdata?

面对国有企业的精细化管理需求,以及科技攻关道路上的国产化进程,Tapdata 展现出如下优势:

  • 纯国产自研
    Tapdata 先天具备自主知识产权优势,技术更加可控。

  • 开箱即用与低代码可视化操作
    在这里插入图片描述
    Tapdata 部署简单,且支持无代码和低代码可视操作,可以在拖拉拽中快速创建任务,无需编码甚至 SQL 来编写转换规则。

  • 内置 60+ 数据连接器,稳定的实时采集和传输能力
    在这里插入图片描述
    以实时的方式从各个数据来源,包括数据库、API、队列、物联网等数据提供者采集或同步最新的数据变化。支持多源异构数据双向同步,自动映射关系型到非关系型。基于自研的 CDC 日志解析技术,0入侵实时采集数据,对源库几乎无影响,一键实现实时捕获,毫秒内更新。已内置 60+连接器且不断拓展中,覆盖大部分主流的数据库和类型,并且支持自定义数据源,具有强可扩展性的 PDK 架构,4 小时快速对接 SaaS API 系统;16 小时快速对接数据库系统。

  • 秒级响应的数据实时计算能力
    在这里插入图片描述
    全链路实时,基于 Pipeline 流式数据处理,以应对基于单条数据记录的即时处理需求,如数据库 CDC、消息、IoT 事件等。不同于传统 ETL,每一条新产生并进入到平台的数据,会在秒级范围被响应,计算,处理并写入到目标表中。同时提供了基于时间窗的统计分析能力,适用于实时分析场景。

  • 稳定易用的数据实时服务能力
    在这里插入图片描述

支持低代码可视化方式开发和配置业务需要的 Data API,能够提供毫秒级延迟、大并发的实时交互式数据访问能力,做到真正意义上支持 TP 型业务。具备完善的、可配置的数据访问权限,支持访问监控和分析能力,可为数据需求部门提供基于权限内的自助式主数据访问服务和机制。 兼具高可用、可扩展的架构设计,足以应对大并发和大流量的访问。

  • 数据、任务分类,让数据跨部门流动起来
    在这里插入图片描述
    支持任务分类,可根据不同项目自定义标签,方便快速筛选查找,有助于对全部任务的协同管理与后续维护。

  • 平台级数据校验
    在这里插入图片描述
    在这里插入图片描述
    通过多种自研技术,保障目标端数据与源数据的高一致性。支持通过条数校验、主键校验、行级校验、高级数据校验多种校验方式,以定时校验、轮询校验、分钟级动态校验等不同的校验周期完成一致性校验,保障生产要求。同时支持错误数据二次校验,以及错误数据修复,共同为数据一致性提供保障。

  • 可视化任务运行监控和告警
    在这里插入图片描述
    包含 20+ 可观测性指标,包括全量同步进度、增量同步延迟等,能够实时监控在运行任务的最新运行状态、日志信息等,支持任务告警。进入 Tapdata 控制台看板,任务运行情况一览无余。

三、更多牵手:精细化管理进行时

创新驱动,提高效率,增强活力

随着核动力运行研究所走过建所40周年重要节点,中核武汉也步入“精细化管理年”,围绕中国核电在集约经营、提质增效、精准施策、数字创新四个方面要求,积极策划开展以“创新驱动、提高效率、增强活力〞为主题的精细化管理提升专项工作,以期进一步夯实管理基石、赋能高质量发展。

面对新时期的发展需求,中核武汉将建立以价值创造为核心的科研生产项目精细化管理、差异化考核、精准性激励体系。Tapdata 作为集实时同步,可视化 ETL 及数据开发,数据治理,及低代码 API 发布为一体的实时数据服务平台,在这一需求背景下,还有更多应用场景等待挖掘。

  • 为绩效考核优化提供数据基础:目前已实现对中核武汉业务数据中心工作流库的连接,支持通过指标分析工作流工作中,相关人员绩效。
  • 为可视化的项目实时监测和分析平台提供数据基础:可借助 Tapdata 完成数据采集同步、宽表构建、统计聚合计算,为中核武汉开发的数据可视化平台提供数据固化视图,以亚秒级的性能为这些可视化平台供数,超越传统可视化方案对 SQL 和逻辑视图的依赖,强实时,更流畅。
  • ……

打破数据孤岛式、烟囱式的生长魔咒,将被数据开发裹挟的人力、时间成本收归科技、业务创新,加速企业数字化转型升级——专注且专业,全行业多领域全面开花,挑战、破局、实践,Tapdata 从未止步。

推荐阅读

  • Tapdata 赋能敏捷转型:头部知识付费应用如何搭载实时数据快速提升人效,创造业务增长点
  • Tapdata 杨庆麟:实时数据如何赋能制造业,实现业务卓越与持续发展?
  • Tapdata 在数字化防疫场景的最佳实践
  • Tapdata 在“疫”线:携手张家港市卫健委争分夺秒实时抗疫
  • Whats On Tap | Tapdata Cloud 如何助力大型家居连锁商城推进数字化经营?
  • Whats On Tap | 坐标PCB公司,想做实时数仓、推生产线看板,和Tapdata Cloud的偶遇来得就是这么凑巧

原文链接:https://tapdata.net/tapdata-enabling-refined-management.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/424662.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

陶泓达:4.17午间提前布局美盘黄金原油操作建议!

黄金方面: 上周五(4月14日),美市盘中,黄金金价大幅下跌,盘中一度下跌55美元。随着黄金遭遇技术性抛售压力,回吐一周的大部分涨幅,不过,在周末之前,许多分析师表示,市场早…

MySQL索引及SQL优化

先对索引做个大概回顾,然后我们详细探讨SQL优化 索引 索引的分类 主键索引 设定为主键后数据库会自动建立索引,innodb为聚簇索引 单值索引 即一个索引只包含单个列,一个表可以有多个单列索引【建议不要超过3】 唯一索引 索引列的值必须唯一&#xff0…

算法训练第五十九天 | 503.下一个更大元素II 、42. 接雨水

单调栈part02503.下一个更大元素II题目描述思路42. 接雨水题目描述思路暴力解法双指针优化单调栈解法准备工作单调栈处理逻辑503.下一个更大元素II 题目链接:503.下一个更大元素II 参考:https://programmercarl.com/0503.%E4%B8%8B%E4%B8%80%E4%B8%AA%E…

升级长江存储最新闪存,忆恒创源发布新一代企业级NVMe SSD

2023年4月11日 —— 北京忆恒创源科技股份有限公司(Memblaze)正式发布搭载高品质国产闪存的PBlaze6 6541 系列企业级PCIe 4.0 NVMe SSD。作为 MUFP 平台化开发的最新作品,PBlaze6 6541 采用长江存储最新一代晶栈 Xtacking 3D NAND&#xff0c…

类中的那点事

c入门必看类类的基本介绍类的实例化类的6个默认成员函数构造函数析构函数拷贝构造函数赋值重载静态成员友元类 类的基本介绍 class为定义类的关键字,ClassName为类的名字,{}中为类的主体,注意类定义结束时后面分号不能省略。类体中内容称为类…

恢复删除的文件,小白也能轻松掌握的5个方法!

案例:如何恢复删除的文件? 【各位大神!谁能帮帮我呀!一不小心把电脑里很重要的文件删除了,不知道该如何是好,求一个简单方法,感谢大家!】 在计算机使用过程中,误删文件…

Tomcat处理请求的全过程

文章目录一、组件详解二、请求处理流程1.总体流程图2.Worker线程任务流程三、源码跟踪1.Tomcat启动线程组件2.Acceptor3.Poller4.Worker总结一、组件详解 在Tomcat处理客户端请求的过程中,这里面有三个组件概念,他们都是线程,分别负责不同的…

NEWS|关于人工智能大型语言模型能否理解的争论

科学家调查了当前人工智能(AI)研究界的一场激烈的争论,即大型预先训练的语言模型是否可以说可以理解语言——以及任何类人意义上的语言编码的物理和社会情境。他们提供了支持和反对这种理解的论点,以及根据这些论点而出现的更广泛…

7个最新的时间序列分析库介绍和代码示例

时间序列分析包括检查随着时间推移收集的数据点,目的是确定可以为未来预测提供信息的模式和趋势。我们已经介绍过很多个时间序列分析库了,但是随着时间推移,新的库和更新也在不断的出现,所以本文将分享8个目前比较常用的&#xff…

SpringCloud学习(六)——Feign的简单使用

文章目录1. Feign 的使用1.1 引入依赖1.2 添加注解1.3 编写Feign客户端1.4 测试2. Feign中的自定义配置2.1.配置文件方式2.2.Java代码方式3. Feign 性能优化4. Feign的抽取式使用4.1 抽取配置4.2 引入依赖4.3 指明Client在此之前,我们服务之间需要进行调用的时候使用…

Spring Cloud Alibaba全家桶(十)——微服务网关Gateway组件

前言 本文小新为大家带来 微服务网关Gateway组件 相关知识,具体内容包括微服务网关Gateway组件(包括:Gateway核心概念,Gateway工作原理),Spring Cloud Gateway环境搭建,路由断言工厂&#xff08…

颜值即正义,献礼就业季,打造多颜色多字体双飞翼布局技术简历模版(Resume)

一年好景君须记,最是橙黄橘绿时。金三银四,秣马厉兵,没有一个好看的简历模板怎么行?无论是网上随便下载还是花钱买,都是一律千篇的老式模版,平平无奇,味同嚼蜡,没错,蜡都…

一文理解Transformer整套流程

【备注】部分图片引至他人博客,详情关注参考链接 【PS】query 、 key & value 的概念其实来源于推荐系统。基本原理是:给定一个 query,计算query 与 key 的相关性,然后根据query 与 key 的相关性去找到最合适的 value。举个例…

mysql语法大全

首先来一个全局总览,后面我会分别对每个命令进行说明: 如果你的mysql导入环境变量,可以在命令行输入: mysql -u root -p然后输入密码登录数据库 否则,打开mysql command line并输入密码进入数据库 一,基础…

HTTP HTTPS简介

一篇文章带你走进HTTP HTTPS场景复现核心干货HTTP/HTTPS简介(简单比较)HTTP工作原理HTTPS作用场景复现 最近在对前端的深入学习过程中,接触到了与网络请求相关的内容,于是打算出一个专栏,从HTTP与HTTPS入手&#xff0…

针对航空安全风险分析和飞行技术评估问题的题解

文章目录针对航空安全风险分析和飞行技术评估问题的题解思路文章最下方针对航空安全风险分析和飞行技术评估问题的题解 最新进度在文章最下方卡片,加入获取思路数据代码论文:2023十三届MathorCup交流 (第一时间在CSDN分享,文章底部) 思路 问…

VFP读写t5557卡示例源码

T5557卡是美国Atmel公司生产的多功能非接触式射频卡芯片,属于125KHz的低频卡,在国内有广大的应用市场。该芯片共有330bit(比特)的EPROM(分布为10个区块, 每个区块33bit)。0页的块0是被保留用于设置T5557操作模式的参数配置块。第0页第7块可以作用户数据块…

Excel表格怎么换行?4个方法任你选!

案例:excel表格怎么换行 【作为一名excel新手,我真的要被各种功能整懵了!今天又遇到了一个难题!excel表格怎么换行呀?各位大神帮帮我!】 在excel表格中进行换行操作是一种常见的需求,可以使单…

三分天下、格局初定,AR产业千亿市场谁执牛耳?

文|智能相对论 作者| 青月 【这是聚焦智能车与家的“智能相对论”关于创新硬件赛道的第27篇行业分析。】 早在十一年前,谷歌就推出了第一款AR眼镜Google Glass。 可由于当时1500美元的高昂价格,以及并不令人惊艳的体验,这款产品并未俘获消…

Flink1.14 Standalone独立集群模式安装

一、下载 在Flink 官网下载Flink 1.14,完整的安装包名是:flink-1.14.4-bin-scala_2.11.tgz。 二、master 配置 解压安装包,编辑conf/flink-conf.yaml文件: vim conf/flink-conf.yaml jobmanager.rpc.address: 172.21.0.XX tas…