制造业数据质量提升的方法和实践

news2024/9/29 19:26:47

制造业的数据治理尚处于早期阶段,而数据质量管理是所有数据类项目重点关注的领域。数据治理以数据标准、数据质量和元数据的管理为根本,是企业实现数据资产价值创造的基础。上周,在由武汉市经济和信息化局主办的“万企育才工程”之《制造业数据管理与应用(一期)》专题培训班上,亿信华辰数据治理专家温来松结合制造业数字化转型现状以及自身工作经验,分享了制造业数据质量提升的实践方法。

01

提升数据质量的必要性

数据已成为制造企业发展的驱动力,高质量的数据是支撑业务管理和业务决策的基础。而数据质量问题一直困扰着企业决策者、管理者和执行者。在企业里,每天都围绕着数据发生很多“故事”,但是也会有不少“事故”。

据统计分析,造成数据质量不佳的原因,包括从数据采集/录入到数据加工/处理 再到数据应用展现各个环节。任何一个环节出错,都将导致数据的错误,甚至源头数据本身就是错误的。所以,数据质量问题不仅仅是一个技术管理,它有可能出现在业务和管理的过程中。

全流程的数据问题产生原因

正如此,数据质量提升在数据管理项目中尤为重要,其目的是为企业设立数据标准规范,提高并管控数据质量,保证企业数据的准确性、一致性、完整性、独特性、时效性、有效性等,保证业务数据应用及业务决策的正确性。

在“制造产业数字化转型”背景下,面对来源丰富、特征多元的数据,数据融合管理正逐渐成为企业各部门信息渠道建设和管理的重要内容与要求。数据质量提升是提升领导决策和治理能力,促进企业数据资源运营的必要步骤。

02

数据质量提升的概念

什么是数据质量?

DAMA对于数据质量的定义是:为确保满足数据消费者的需求,应用数据管理技术进行规划,实施和控制等管理活动。DCMM更是把数据质量作为一大能力域,并规划了二级能力项包括数据质量需求、数据质量检查、数据质量分析、数据质量提升。

数据质量是保证数据应用的基础,业内明确了数据质量评价指标框架,评估数据质量包括以下6个维度:

完整性:指的是数据信息是否存在缺失的状况。

唯一性:是指数据集内的任何实体不会重复出现。

一致性:指确保数据值在数据机内和数据集之间表达的相符程度。

准确性:指是指数据记录的信息是否存在异常或错误。

及时性:指数据的更新频度符合预期。

有效性:是指描述数据遵循预定的语法规则的程度。

那什么是数据质量提升呢?

数据质量提升通常被理解为对应用系统中的业务数据、数据仓库中的汇集数据通过一系列的数据清洗、转换、修改,使得数据在完整性、独特性、时效性、有效性、准确性、一致性方面达成满足报表查询、决策支持、预警预测等数据应用的过程。数据质量提升是企业在数据战略的引导下,制定合乎企业自身的数据管理制度,合理规划企业数据架构,并通过专业化平台,进行一系列标准化、数据治理工作,使得数据成为企业资产的过程。

数据质量提升是数据管理的一部分,数据质量提升的包括三个方面的建设内容:

  • 管理体系建设:通过优化数据治理组织架构,制定数据治理制度规范,形成企业数据治理体系,促进数据质量提升工作有效提升

  • 平台能力建设:为数据质量提升提供高效的技术手段,同时打破数据孤岛,实现企业数据在同一平台进行高效管理

  • 数据治理实施:提升数据质量、打造持续升值的数据资产,提优质的数据服务。将数据变为全集团人员可阅读、易理解的内容,并可以快速结合到业务中,加强数据应用能力,将数据转变为生产力

数据质量提升的阶段划分

03

提升制造业数据质量的方法

制造业数字化转型的核心在于数据,数据的链接、汇聚和治理是制造业企业数字化转型的第一步。制造企业究竟要如何提升数据质量?经过10多年的摸索,亿信华辰作为数据治理领域的领航者,现在已经有了一整套行之有效的管理数据质量的方法,具体实施步骤如下:

数据质量提升的标准流程

步骤1:调研数据问题

针对相关业务部门及IT系统开展问卷调查,收集在信息使用中存在的障碍和挑战,理清数据现状和用户需求。以调研问卷为基础,针对项目发起者重点关注的领域组织专项面对面访谈,从源系统、数据应用系统、业务部门、科技主管部门到数据治理主管领导,逐步建立整体架构视图,勾勒出目标蓝图。

步骤2:数据治理成熟度评估

企业数据成熟度阶段分为数据积累阶段、初始阶段、体系阶段、定量管理阶段、持续优化阶段。认知自身所处的数据成熟度,对于企业来说十分必要。目前,制造行业的信息化建设已取得显著效果,企业普遍希望通过数据治理为建设数据应用夯实基础,从而实现数据价值。

步骤3:确定治理目标、获取高层支持

数据治理是一把手工程。数据治理是一个跨部门、跨系统的活动,需要得到高层的极大支持。

步骤4:制定数据治理实施路线图

步骤5:搭建数据治理组织体系

组织跨部门的数据治理工作小组,确定组织目标与定位,确定组织形式与层级,明确管理内容和职责划分,设置岗位与人员安排。

步骤6:梳理业务系统,摸清家底

不仅是对数据,还需要对业务流程进行“全面体检”,梳理业务系统,摸清数据现状。

步骤7:建立元数据存储库

步骤8.1:基础标准定义模板

步骤8.2:数据质量管理闭环机制

在质量管理的发展过程中形成了众多的质量管理理论,PDCA循环通过计划、执行、检查、处理四个循环反复的步骤进行质量管理。PDCA映射到数据问题闭环管理,包括数据问题发现,到问题定位、跟踪问题处理、完善问题知识库,到考核评价,形成一种可持续运行、可持续解决问题的机制。

步骤8.3:主数据管理

步骤9:建立数据治理长效机制

数据质量管理贯穿数据的全生命周期,是一个长期的、需要持续开展的工作,需要业务人员和技术人员共同努力,才能获得高质量的数据。因此需要从以下几方面建立长效机制,持续优化迭代提升数据价值:

1.推进数据资产化,使得数据战略与业务战略结合统一

2.数据治理可视化展示,直观呈现,从数据治理域的各维度分析

3.治理成效评估,通过成果度量成效,并定期向委员会汇报

4.推广数据治理文化,宣传数据战略,建立数据论坛

5.建立体系化数据服务体系,形成统一的数据服务入口

治理成效评估示例

04

数据质量提升的落地实践

制造行业已经开始逐步进行数据治理和管理应用的探索,并取得落地成果。亿信华辰积极布局数据治理领域,以DCMM和DAMA为理论框架,结合实践构建闭环式数据管理体系,数据治理产品已成功应用于诸多企业。

案例一:某主机厂数据治理项目

客户痛点:随着造车技术的不断进步,车企进入定制化时代,它需要以更低的成本生产多样化的产品,从而满足不同顾客的多种需求。对数据本身而言,业务量的增长加快了数据膨胀的速度,因此,数据治理已经成为大势所趋。

解决方案:打造车企集团层面的数字化运营体系按”119”进行整体设计。高效积累数据资产,赋能业务应用场景,助力企业构建扎实的数据根基,实现数字化经营。

  • 咨询规划:结合理论组织架构,组建车企决策、管理、执行三层治理组织架构,包括:治理管理委员会、治理管理部门、执行工作小组。咨询成果输出分为两个方面:一是数据治理体系,二是数据治理管理办法。

  • 平台建设:数据治理平台架构于数据底座之上,采集车企各系统及服务的元数据、主数据模型,构建标准、进行质量管控,实现资产化运营,赋能业务部门及应用创新。

  • 治理服务:基于车企数据治理业务需求,通过数据采集、主数据、元数据、数据标准、数据质量、数据安全,数据资产管理、数据服务、数据指标等全方位治理,实现数据价值提升。

治理成果:

1.构建 6 大业务领域,11个核心应用系统之间的数据链路,通过数据地图展示系统间依赖关系,层层深入了解数据的业务含义,通过元数据分析,了解影响范围

2.建立数据质量检查&整改机制,完成数据入湖、数据分析环节的数据质检工作,构建 7 个质检模型,48 个质检规则,76个 质检方案。保障大数据平台中的数据完整性、真实性、准确性、及时性、规范性,为数据分析、决策支持、数据挖掘提供有效支撑。

3.基于元数据信息和集团职能全景图构建数据分类目录,第一阶段梳理形成人力资源域、营销域、供应链域数据资产,并数据治理平台门户实现了数据分类自动化和数据资产可视化,制定了数据分类维护方案,保证分类的准确性和实时性。

案例二:某电力集团数据质量管理项目

为快速解决现有系统中存在的飞码异常、表码倒走、台区/用户漏采、日超容等问题,在数据服务平台中规划数据质量管理平台,快速定位问题数据,对数据进行定期巡检,提升数据质量,为后续的数据分析提供有效的数据基础。

数据服务平台分期建设数据源管理平台、数据集成平台、数据权限管理平台、数据质量管理平台、数据缓冲区、数据分析平台、统计对外服务接口等多个模块,多模块协同整合多源数据,提升数据质量,面向不同用户提供相关数据支持服务。

其中数据质量管理部分则借助亿信华辰数据质量管理工具,全面提升数据质量,减少因数据不可靠导致的用户决策偏差和损失。同时按照指定检测数据源,定义之间规则,定期巡检,推送质检报告的流程为用户提供全面完善的质检方案。

案例三:南山集团主数据管理项目

确定南山集团建立一套全生命周期的物料主数据管理模式,该方案以数据标准与制度二者为基石,以管理组织、流程和平台三者为实现手段,实现物料主数据全面高效的管理。

完成人力资源、财务、采购、营销、指标及其他基础等六大类主数据建设,其中物料主数据,涉及40+大类,3000+小类,10万+实体数据,并实现供应链等其他经营系统的数据对接共享。

案例四:山能源临矿集团数据资产项目

山东能源临矿集团通过建立集团级大数据资产平台,运用大数据技术实现数据采集、清洗、分析建模,实现了集团全量多源异构数据采集,并对核心的人力、财务、设备、煤质、生产安全数据进行数据治理,形成高质量的数据资产。

通过数据资产目录对全集团发布,并用业务元数据解释数据含义,便于业务人员寻找自己所需的数据。业务人员可以对自己所需数据提出申请,数据管理员审批通过后,业务人员可以利用零代码敏捷分析工具自助分析取数,实现数据赋能,支持日常生产经营管理。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/381217.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

随机森林在sklearn中的实现

目录 一.集成算法 二.sklearn中的集成算法模块ensemble 三.RandomForestClassifier(随机森林分类器) 四.重要参数 1.基评估器参数 2.随机森林参数 五.重要属性和接口 六.Bagging的另一个必要条件 七.RandomForestRegressor(随机森林回归器) 八.机器学习中调参的基本思…

2023 年 6 大智能合约语言

如果你想成为一名 Web3 开发人员,你需要知道如何编写智能合约,智能合约是所有 Web3 应用程序的支柱。 简而言之,智能合约是在区块链网络上部署和执行的计算机程序,提供确定性保证,使多方能够达成一致的、防篡改的结果…

CSDN时隔一年,我又回来了还愿

CSDN时隔一年,我又回来了还愿 去年的今天我申请到了Jetbrains学生试用,前两天刚买了JetBrains。 特别感谢Jetbrains和Jetbrains的客服小姐姐。 情况说明: 由于本人读非全日制大学,每周也同全日制一样上五天学放二两天。首先非全日制已经不符…

vue - vue是mvvm模型吗?

先说明一下什么是标准的mvvm模型: M: Model;既是数据,主要负责业务数据相关;V: View;即是视图,展示给用户看的页面,细分下来就是htmlcss层;VM: ViewModel;是连接界面View…

ZOJ-搜索专题

1002 题意 思路 深搜&#xff0c;每个格子都搜一遍。技巧dfs(cnt,ans)dfs(第几个格子&#xff0c;答案)&#xff1b; 代码 #include <iostream>using namespace std;int n,i,j,ans; char s[5][5];int c_put(int n,int m) {for (i n-1;i > 0;i --) {if (s[i][m] …

怎么解决SPA首屏加载速度慢?

首屏加载 首屏时间&#xff08;First Contentful Paint&#xff09;&#xff0c;指的是浏览器从响应用户输入网址地址&#xff0c;到首屏内容渲染完成的时间&#xff0c;此时整个网页不一定要全部渲染完成&#xff0c;但需要展示当前视窗需要的内容 首屏加载可以说是用户体验…

LeetCode第2577题-在网格图中访问一个格子的最少时间-python实现-图解思路与手撕代码

LeetCode第2577题-在网格图中访问一个格子的最少时间-python实现-图解思路与手撕代码 文章目录一、题目描述二、解题思路与代码实现1.解题思路2.代码实现总结一、题目描述 二、解题思路与代码实现 1.解题思路 这道题求最短距离&#xff0c;首先检查起始点0,0的右边0,1和下边1…

Linux配置mysql主从复制

Linux配置mysql主从复制 systemctl restart mysqld 重启mysql服务 Mysql主从复制 在linux里面部署mysql 主库Master 192.168.162.138 contos 7 从库Slave 192.168.162.137 contos 7测试 log-binmysql-bin町[必须]启用二进制日志 第三步:登录Mysql数据库&#xff0c;执…

oracle 19c 创建物化视图并测试logminer进行日志挖掘

1、创建物化视图 alter session set containerpdb; grant create materialized view to scott; create materialized view 物化视图名 -- 1. 创建物化视图 build [immediate | deferred] -- 2. 创建方式&#xff0c;默认 immediate refre…

LeetCode-2373. 矩阵中的局部最大值【矩阵,数组】

LeetCode-2373. 矩阵中的局部最大值【矩阵&#xff0c;数组】题目描述&#xff1a;解题思路一&#xff1a;原地修改。首先将每个3*3的矩阵的最大值存放在左上角的点&#xff0c;然后修改给的grid矩阵的大小。解题思路二&#xff1a;暴力&#xff0c;申请一个数组解题思路三&…

想学Java开发,有什么方式可以选择?

想学习软件开发Java高级编程语言的小伙伴看过来&#xff0c;这里有多年Java职业教育经验总结以及学习技巧分享&#xff0c;不容错过的精彩内容&#xff01; 一年之计在于春&#xff0c;阳春三月是学习的好时光。万物复苏&#xff0c;一切都可以重新开始&#xff0c;如果你也在考…

一些开源的,好看的前端组件/样式库

以下是一些受欢迎的开源 CSS 样式库&#xff1a;Bootstrap&#xff1a;https://getbootstrap.com/Materialize CSS&#xff1a;https://materializecss.com/Bulma&#xff1a;https://bulma.io/Foundation&#xff1a;https://foundation.zurb.com/Semantic UI&#xff1a;http…

智慧燃气管理系统

在数字经济时代&#xff0c;迫切需要通过数字化建设智能天然气&#xff0c;提高天然气的基本安全水平&#xff0c;提高企业的智能管理水平。这是人们可以看到、触摸和使用的智能应用&#xff0c;也是为智能城市奠定良好基础的必修课。智能燃气是以GIS为基础&#xff0c;采用物联…

商简智能计划与排程SPS在纺织行业中的应用

企业背景 某织造、染色及后整理一体化工艺的纺织面料企业&#xff0c;主要从事户外功能运动服装、内衣、泳衣、汽车内饰等面料的研发和销售&#xff0c;年产值在20亿左右&#xff0c;是迪卡侬运动面料最优质供应商之一。 纺织行业特点 印染具有典型的流程行业特性&#xff0c…

从功能测试到自动化测试,我只花了67天,薪资翻倍

在这个吃技术的IT行业来说&#xff0c;我刚入行的时候每天做的也是最基础的工作&#xff0c;但是随着时间的消磨&#xff0c;我产生了对自我和岗位价值和意义的困惑。 随着移动互联网的发展&#xff0c;从业人员能力的整体进步&#xff0c;软件测试需要具备的能力要求越来越高…

Databend 开源周报 第 82 期

Databend 是一款现代云数仓。专为弹性和高效设计&#xff0c;为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务&#xff1a;https://app.databend.com 。Whats New探索 Databend 本周新进展&#xff0c;遇到更贴近你心意的 Databend 。Features & Improvements :…

vue源码分析-基础的数据代理检测

简单回顾一下这个系列的前两节&#xff0c;前两节花了大量的篇幅介绍了Vue的选项合并&#xff0c;选项合并是Vue实例初始化的开始&#xff0c;Vue为开发者提供了丰富的选项配置&#xff0c;而每个选项都严格规定了合并的策略。然而这只是初始化中的第一步&#xff0c;这一节我们…

【计算机组成原理 - 第一章】计算机系统概论(完结)

本章参考王道考研相关课程&#xff1a; 【2021版】1.2.1_计算机硬件的基本组成_哔哩哔哩_bilibili 【2021版】1.2.2_认识各个硬件部件_哔哩哔哩_bilibili 【2021版】1.2.3_计算机系统的层次结构_哔哩哔哩_bilibili 【2021版】1.3_计算机的性能指标_哔哩哔哩_bilibili 目录 一、…

绘制带有角度的CAD图形

这个CAD图形用到的命令有CAD直线、CAD圆、CAD圆弧、CAD偏移和CAD旋转等多个CAD命令相结合才绘制出来。 目标对象 操作步骤 1.先使用直线命令画相交于A点的两条线段&#xff0c;然后A点为圆心画半径12和半径15的圆 2.然后以B点为圆心画半径2的圆&#xff0c;使用复制命令指定圆…

Maven的基本使用

1.Maven的基本介绍2.Maven中仓库的概念3.Maven中坐标的概念坐标示例如下&#xff1a;<dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.13</version><scope>test</scope>//这个是范围 &l…