机械厂如何做好企业级数据治理系统落地

news2024/9/25 1:16:25

生产制造企业的数据治理面临着诸多难点与挑战,今天以某国营机械厂为例,分享机械制造企业数据治理经验。某机械厂是国家投资的国有大型企业,业务范围覆盖到零部件的研发、测试、生产制造,属于典型的离散制造企业。

鉴于近年来国家对国有企业数字化转型战略的深入部署,该厂积极响应国家号召,紧密围绕“数字化转型”这一核心任务,全面启动数据管理体系的建设工作,不仅有效解决了数据治理的痛点,还极大地提升了企业运营效率,加速了产品创新步伐,为离散制造业的数据治理之路提供了宝贵的经验与启示。

01

企业面临的挑战

目前工厂内部已经建成约70多套信息化系统,包括经营管理系统(OA、财务、HR、知识系统等)、生产制造系统(修理MES、ERP、PLM、IETM等),这些系统的数据分散存储,未实现数据资产的统一管理,在数据管理面临的双重挑战:

挑战一:数据质量参差不齐,人工填报隐患多

由于大量数据依赖于人工填报,且填报表单中的字段缺乏统一的标准化定义与约束,导致数据填写过程中不规范现象频发。

以工艺问题改进管理数据表单为例,同一行数据中竟出现两个文件编号,文件名称五花八门,缺乏一致性;机型字段本应通过值集约束确保填写具体机型,但实际填写却五花八门,甚至缺失关键信息如提出时机、登记时间等。

这种数据填写的不规范性,不仅增加了后续数据加工与统计分析的难度,还使得数据清洗过程变得异常复杂,整体数据质量难以保证,从而限制了数据在技术研发与改进分析中的有效应用,其辅助决策的价值大打折扣。

挑战二:数据价值挖掘不足,线上线下割裂严重

一方面,工厂内部积累了大量纸质表单及各部门线下的Excel数据,由于缺乏统一的线上管理系统,这些数据如同孤岛般散落各处,难以进行有效汇总与分析,数据价值被严重埋没。另一方面,虽然IT系统中已沉淀了丰富的业务数据,但各系统之间彼此独立,数据共享壁垒高筑,导致工厂用户难以便捷地获取所需数据,进一步阻碍了业务数据的深度开发与利用。

02

解决方案

结合对某机械厂数据管理现状调研的实际情况,工厂涉及众多业务板块,迫切需要统一的数据管理平台,能将这些数据收集起来集中存储,制定数据管理办法,进行标准化管理,基于高质量的数据,对工厂的生产经营进行动态分析、预测分析等,为工厂的综合决策提供支持。

  建设目标

本项目旨在通过建立工厂数据管理标准体系,搭建数据治理平台,将各类业务数据汇入数据湖展开治理,形成数据资产,提供数据可视化应用,将工厂数据管理成熟度从程度较弱的受管理级提升至稳健级。

建设目标分解为5大类:

一是明确数据战略,建章立制,建立数据管理体系;

二是构建数据湖、数据仓库,打破数据孤岛;

三是打造持续升值的数据资产,将数据变为全厂人员可阅读,易理解的内容,并可以快速结合到业务中;

四是依托数据治理平台,通过数据分析试点应用的落地来检验标准体系和平台架构;

五是通过平台的建立和体系的建立和完善,工厂数据管理成熟度将提升至稳健级。

  建设思路

系统平台建设思路按照“1+2+2“即“一个体系、两个中心、两个应用”进行设计。

  • 一个体系:是指建立数据的管理体系和管理规范体系,制定工厂的数据管理模式、策略和标准,通过对数据的标准化、资产化管理,实现工厂各业务数据的汇聚融合、各环节数据的一致性;

  • 两个中心:分别是汇聚中心、数据中心。汇聚中心是数据的采集汇聚及ETL功能平台;数据中心实现数据湖/数据仓库的建设,同时要实现数据数据治理活动

  • 两个应用:分别是数据分析和数据API服务应用。

  建设内容

主要包括三大方面:

一是数据管理体系规划及推广,除了要构建符合工厂要求的数据管理体系外,还需要对全体员工进行数据治理赋能,为工厂培养一批掌握数据管理、数据中台应用与开发技能的复合型管理人才;

二是数据治理平台建设,要包括数据采集以及数据治理、系统集成等平台功能;

三是数据治理实施,涉及数据采集入湖、数据标准开发作业配置以及主数据质量提升等内容。

  项目周期

此项目建设历经规划设计、平台建设、治理实施与运维支持四大阶段。自23年1月项目启动,至5月前完成需求调研与体系设计,并同步推进平台建设,兼顾客户化定制开发。随后,基于前期设计,数据治理工作于5月后正式启动,采用迭代模式,优先构建元数据基础,进而搭建数据资产目录体系,逐步上架梳理后的数据资产。同时,并行开展数据采集与数据标准梳理,辅以数据质量稽核,确保数据治理成效。系统于9月初顺利上线,随后启动数据分析应用竞赛的筹备与培训工作,竞赛于11月圆满落幕。至12月,项目圆满通过验收,正式迈入运维支持新阶段。

03

如何落地实施

整个项目落地包括数据治理体系规划、平台建设、数据治理实施三大部分:

1.数据治理体系规划

1.1数据成熟度评估

在数据治理体系规划方面,基于DCMM(数据管理能力成熟度模型)提炼的八大数据管理领域,我们设计了数据能力评估问卷,并依据调研结果编制了差异分析报告。在八大能力域框架下,与领导层及业务部门紧密沟通,制定了关键措施。最终,输出了一系列数据治理体系规划文档,为组织能力提升提供了坚实基础。

1.2建立数据治理组织架构

治理组织架构的,我们组建了决策、管理、执行三层的治理组织架构,决策层是由厂领导组成,主要负责确定数据治理目标;管理层是由数据中心领导以及各业务部门领导组成,负责制定数据治理管理制度、流程等,执行层由数据中心、各业务部门在各数据治理领域的对接人组成,负责落实数据治理管理层的管理制度和流程。

1.3职能角度建立责任矩阵

建立好组织架构后,逐步细化和明确了数据资产的管理职责,企业的数据认责机制必须建立在明晰、均衡的专业与责任划分之上,认责方应当有明确的职责边界,同时还要便于相互间的协作。因此在职能的角度上建立了责任矩阵,明确了数据资产所有者、业务认责方,技术认责方、操作认责方各方的职责。

1.4数据角度开展认责

以数据角度开展认责,包括业务活动数据的CU矩阵、部门数据的CU矩阵、系统数据的CU矩阵,通过建立数据资产C-U矩阵,按照“谁产生,谁负责”,“谁经手,谁负责”的原则,将数据责任逐级落实到个人。

1.5制定数据管理流程

立足数据使用、数字化建设、数据管理三大业务场景,定义业务活动流程,并明确数据提供者、数据管理者、数据消费者各角色职责分工。截止目前共发布了20项数据管理流程,涉及到数据资源申请使用、数据应用开发、引用数据标准建模、数据标准落地评估、资产盘点、数据质量管理等数据管理场景。上图是一份针对已上架的资产数据申请流程示例,用户在线进行数据申请使用的填写、在线审批、通过后直接开放数据使用权限。

2.平台建设

建设体系的同时我们也在建设数据治理平台,平台架构(如上图)主要由4层组成,最底层是基础设计及网络,在此之上存储层,通过数据集成对各类异构数据的采集并存储,在数据存储之上主要是能力层,也就是数据治理的各个域的功能,最终面向用户提供数据资产门户、API服务以及数据分析应用。

本次项目的实施采用的是亿信华辰睿治数据治理平台工具,分别完成了数据仓库建设、核心业务数据治理以及数据资产门户、数据分析等数据应用服务。基于数据治理体系的规划,利用治理平台完成了数据管理流程的落地应用。

3.数据治理实施

3.1数据入仓

本次数仓的建设包括了很多历史数据、ETL、调度的迁移,因此利用睿治数据治理平台的数据采集功能,将各业务系统异构的数据和历史数仓的数据,通过JDBC方式、实时采集、接口采集、文本采集等方式,抽取到数仓统一管理,其中涉及到传统的关系型数据库、Hadoop数据库,半结构化和非结构化数据。

工作成果:在数仓按照业务主题划分了9大业务域,涉及1000+张表入仓,设计了100+数据模型,500+ETL作业,150+调度在运行中,为工厂的数据分析应用提供了数据基础。

3.2数据盘点

整个数据盘点工作要用到睿治数据治理平台的元数据管理和数据资产管理功能,需要强调的就是数据有效性的确认在数据盘点过程中是非常必要的,我们会先从技术层筛选掉无效表,例如空表、备份表、临时表、垃圾表、系统配置表等,然后让业务部门做二次确认,通过数据有效性确认,精简数据盘点工作工作范围,大大提升效率。

工作成果:完成对79套源端业务系统的深度梳理,涵盖了17种类别,累计采集并整合了高达185万项元数据,实现了对业务元数据与管理元数据的全面补充与优化。此举显著提升了元数据注释的完备程度,从原有的51.68%跃升至83.48%,成功构建了覆盖全厂的统一数据字典,为数据治理奠定了坚实基础。

同时,紧密围绕工厂9大核心业务价值链,将盘查出的数据项精心转化为宝贵的工厂数据资产,并通过数据服务门户平台对外发布,实现了跨部门的无缝对接与高效共享。这些数据资产依据业务价值链的自然流程,精细划分为从研发到生产、从销售到回款的各个环节,进一步从数据维度细化为主数据(如人员机构、客商、物料、机型、设备等关键共享信息)、基础数据(作为参考标准的各类数据)以及业务数据(如具体的单机维修方案、完工发运单等),为企业的精细化管理与决策提供了强有力的数据支撑。

3.3数据标准

在数据标准制定方面,我们采取业务驱动与技术驱动相结合的策略,以确保标准的全面性与实用性。从业务驱动角度,梳理核心业务流程、识别核心业务实体、识别核心业务属性、确定权威数据源、制定数据标准;从技术驱动角度,统计梳理业务含义相同/相近数据项、确定数据标准范围、确定权威数据源、制定标准。

在制定过程中,遵循三大原则:一是按需定义原则,以物资业务为例,结合线上线下业务数据,提炼关键业务实体与主要属性,避免简单复制信息系统数据库表信息,而是从业务实际需求出发进行抽象与规范;二是抽象定义原则,针对如证书等具有共性与差异性的实体,我们进行抽象化处理,整合共有属性并新增类别属性以区分不同用途;三是明确权威原则,针对多系统中存在的相同实体(如采购申请),厘清其跨系统血缘关系,以权威系统(如ERP系统)的属性为准绳,制定统一的数据标准。

工作成果:利用睿治数据治理平台数据标准管理功能,建立了工厂级数据标准体系,包括基础数据284项、主数据13项、参考数据38项及指标数据307项。同时,依据标准对业务系统进行了数据评估,发现并推动了29项不符标准的整改,提升了数据质量。

3.4数据质量

在数据质量管理领域,我们构建了完善的工厂数据质量管理闭环体系,该体系清晰界定了各环节的责任主体,从质量问题的初步提出、深入分析,到质量规则的严谨制定,再到质检方案的实施与结果反馈,直至质量问题的针对性整改与后续评估,形成了一个闭环循环的持续优化机制。紧密依托前端数据分析与应用场景,特别是通过深度挖掘报表生成过程中的问题数据,实现了对数据质量问题的精准定位。

工作成果:精心梳理了涵盖人员、物料、串件等9大主题域的广泛数据资源,并制定了共计355条严格的数据质量规则,这些规则覆盖了空值检查、重复数据识别、值域校验及数据规范审核等多个关键维度。同时,利用元数据分析功能追溯问题源头,通过深入分析63条数据链路,从根本解决数据问题,提升数据质量。

3.5数据资产门户

在数据服务实施方面,我们依托已治理的数据,通过资产门户向全厂员工提供便捷的数据服务。根据业务视角划分资产目录,并运用来源系统、数据类型等作为数据标签,构建了一个类电商的数据资产平台。用户可通过目录分类、标签及业务关键字快速定位所需数据,并查看详细信息,如业务描述、来源系统、提供部门等,以判断数据适用性。一旦确认需求,用户可在线提交查询、下载及分析申请,待审批流程完成后,即可访问权限内的数据。

3.6数据API服务

针对系统间数据共享,我们提供了数据API服务。在平台上,通过简易配置即可实现API服务的构建,无需繁琐的代码开发,相较于传统方式,显著降低了开发成本,并加速了系统间数据共享的效率。在本次项目中,已将厂房信息、人员信息等重要数据,通过接口方式对接至工业互联网系统,同时,也将质检问题数据等关键信息提供给质量与生产系统,为工厂的高效生产运营提供了坚实的数据支撑。

3.7数据分析应用

在数据分析应用方面,我们以赋能为核心,组织了面向全工厂的多次培训会议及答疑交流,旨在提升数据分析能力。同时,与工厂数据中心部门紧密合作,策划并举办了为期三个月的数据分析应用竞赛,吸引了10个业务部门参与,共收到15组优秀作品。此系列活动显著增强了各业务部门的数据应用能力。

04

价值与效果

1.权责明确,数据资产高效利用

项目实施前,跨部门数据共享障碍重重,审批繁琐,效率低下。而今,通过构建科学管理体系,明确责任分工,并推出资产门户,实现了数据需求审批的线上化闭环,极大降低了沟通成本,提升了协作效率,同时支持数据的在线查阅、下载与自助分析,显著减轻了管理员负担。

2. 数据集中化管理,质量提升

此前,数据存储分散、标准不一,数据孤岛现象严重,质量堪忧。项目实施后,数据湖统一存储,标准规范确立,企业级数仓构建完成,有效打破了系统间壁垒。通过数据整合、字典梳理与标准化应用,数据质量显著提升,跨业务关联分析成为可能,为决策支持奠定了坚实基础。

3.数据思维普及,自助分析能力增强

针对国企传统办公习惯与数据分析挑战,项目通过系列培训与竞赛活动,成功激发了全厂员工的数据意识与应用能力。从基础理论体系宣讲到实操技能培训,再到竞赛中的专业展示,全方位提升了数据应用能力,实现了数据驱动的业务创新与发展。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2121629.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

设计友好型相亲交友应用的关键要素揭秘

在设计一款友好型的相亲交友应用时,关键在于创造一个安全、舒适且高效的用户体验。以下是几个核心要素,它们共同构成了一个成功的相亲交友应用的基础(编辑h17711347205)。 1. 简洁直观的用户界面(UI) 用户…

【Java数据结构】泛型的进阶部分(泛型通配符)

1.❤️❤️前言~🥳🎉🎉🎉 Hello, Hello~ 亲爱的朋友们👋👋,这里是E绵绵呀✍️✍️。 如果你喜欢这篇文章,请别吝啬你的点赞❤️❤️和收藏📖📖。如果你对我的…

protobuf使用

我下载的是 protobuf-27.4 以下使用vs2022 根据readme,执行如下命令 "C:\Program Files\CMake\bin\cmake.exe" -G "Visual Studio 17 2022" -DCMAKE_INSTALL_PREFIXC:\Users\x\Downloads\install C:\Users\x\Downloads\protobuf-27.4 -D…

【动态规划】子序列问题(数组中不连续的一段)

子序列问题 1.最长递增子序列2.摆动序列3.最长递增子序列的个数4.最长数对链 点赞👍👍收藏🌟🌟关注💖💖 你的支持是对我最大的鼓励,我们一起努力吧!😃😃 1.最长递增子序列…

Java+Swing学生信息管理系统

JavaSwing学生信息管理系统 一、系统介绍二、功能展示1.管理员登陆2.学生信息查询3.学生信息添加4.学生信息修改5.删除 三、系统实现1.StudentFrame .java 四、其它1.其他系统实现 一、系统介绍 该系统实现了管理员系统登陆、学生信息查询、学生信息添加、学生信息修改、学生信…

【代码随想录训练营第42期 Day55打卡 - 图论Part5 - 并查集的应用

目录 一、并查集 适用范围 三大基本操作 二、经典题目 题目:卡码网 107. 寻找存在的路径 题目链接 题解:并查集 三、小结 一、并查集 适用范围 动态连通性问题:并查集可以判断两个节点是否在同一个连通分量中,这在处理网络…

对耳朵伤害最小的耳机类型,开放式耳机最大程度保护耳道健康

开放式耳机是目前比较流行的耳机种类,其特点是通过采用海绵状的微孔发泡塑料制作透声耳垫,或利用骨传导、气传导等技术传音,不使用厚重的染音垫,没有与外界的隔绝感,佩戴者在享受音乐的同时,也能听到一部分…

WordPress自动备份至群辉NAS

目录 一、配置群辉NAS 1、开启远程管理 2、开启群辉NAS的FTP服务 3、新增网址备份路径 4、新增备份账户 5、设定备份账户能访问的资源 二、插件安装 三、配置插件 四、手工备份 五、自动备份 六、插件中的备份管理 七、数据还原 (本文讲述了WordPress搭建的网址,…

《数字信号处理》学习06-因果系统与稳定系统

目录 一,因果系统 二,稳定系统 之前学习了系统中的线性时不变系统( 系统),接下来学习线性时不变系统( 系统)中的因果系统与稳定系统。(非LTI系统这里暂时不作为学习的要求&#xf…

Java实现自定义线程池

Java实现自定义线程池 ThreadPool public interface ThreadPool {void execute(Runnable runnable);void shutdown();int getInitSize();int getMaxSize();int getCoreSize();int getQueueSize();int getActiveCount();boolean isShutdown(); }RunnableQueue public interfac…

Windows10 Paddlepaddle-GPU CUDA CUDNN 版本选择

最终选择: 在创建的新环境下 python 3.8.* paddlepaddle-gpu 2.5.1.post120 CUDA 12.0 CUDNN 8.9(需配合CUDA的版本) 1. 本机GPU硬件信息 打开NVIDIA Control Panel->System Information->Components,…

深度解析:如何注册并培育亚马逊测评买家号?

在亚马逊这个全球热门的电商平台上,产品评价对于卖家而言至关重要,它直接影响着产品的曝光率、转化率以及消费者的购买意愿。因此,亚马逊测评账号的注册与养号成为了许多卖家关注的焦点。本文将介绍亚马逊测评账号的注册流程以及高效养号的一…

[数据集][目标检测]百事可乐可口可乐瓶子检测数据集VOC+YOLO格式195张2类别

数据集格式:Pascal VOC格式YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数):195 标注数量(xml文件个数):195 标注数量(txt文件个数):195 标注类别…

RS485工业通信网关原理详解-天拓四方

一、引言 随着工业自动化技术的飞速发展,工业通信网关作为连接各种设备和系统的关键节点,发挥着越来越重要的作用。RS485工业通信网关作为其中的佼佼者,以其高可靠性、长距离传输能力和抗干扰能力强的特点,在工业自动化、楼宇自控…

经纬恒润高压电池管理系统,助力新能源汽车飞速发展

随着新能源汽车行业的快速发展,电池管理系统作为关键技术之一,其重要性日益凸显。经纬恒润自主研发的高压电池管理系统(Battery Management System,BMS),凭借卓越的性能与先进的技术,在新能源汽…

【区块链通用服务平台及组件】微言科技数据智能中台

人工智能技术中的机器学习、深度学习依赖于海量数据进行模型训练,仅依靠某一机构的数据,无法实现模型、 算法的快速突破。然而数据要素流通涉及多方主体、多个环节,共享环境复杂,同时数据产品具有极易复制、非排他性、难追溯等特征…

为明天做好准备,摆脱传统财务规划的不足

对于企业规划和财务团队来说,自动化工具和创新技术虽说都能够有力支持企业实现数字化转型,进行符合时代发展的战略规划,但同时也伴随着一定的限制。回溯上个世界七十年代,电子表格的问世改变了经济世界的管理模式,带来…

数据智能驱动的工业互联网:能否真正解决企业成本问题?

数据智能驱动的工业互联网:能否真正解决企业成本问题? 前言数据智能驱动的工业互联网 前言 工业互联网作为推动制造业转型升级的关键力量,正逐渐展现出其巨大的潜力和影响力。随着信息技术的不断发展和应用,工业互联网的概念应运…

ctfshow-web入门-sql注入(web241、web242、web243)delete file 注入

目录 1、web241 2、web242 3、web243 1、web241 //删除记录$sql "delete from ctfshow_user where id {$id}"; 这里是 delete 语句,查询出来的东西不会有回显,因此采用盲注。如果采用布尔盲注,我们需要根据页面的回显情况来判…

电影《西施新传》首映礼,九月金秋全国正式公映

2024年9月1日,古装谋略情感影片《西施新传》在无锡大世界影城中山路IMAX激光店举办首映礼。电影《西施新传》根据作家沈雅琴、笔名一蝶的同名小说改编,以家喻户晓四大美人之首的西施为主人公,讲述了春秋末期吴越战争的故事。越国败于吴国&…