数据治理:数据标准的6大建设步骤及实施分享

news2025/1/16 7:51:54

“车同轨、书同文”,数字化时代,数据标准化是企业进行数字化转型的根基。数据标准与企业数据管理的每个域都相关,是数据治理工作的最基础内容。

元数据管理中,需要从业务属性、技术属性、管理属性三个方面定义数据标准;

数据质量管理中,需要定义数据模型、质量规则的标准;

数据安全管理中,敏感信息的识别、数据的分类分级都是对数据进行标准化过程;

数据仓库与BI中,需要定义数据模型、数据指标、维度、度量等数据的标准;

数据集成中,数据标准让不同主体拥有了系统之间交换标准化数据的能力;

数据存储中,存储格式、存储位置、数据结构等都离不开数据标准;

……

本文将从数据标准的定义讲起,为大家详细介绍数据标准建设的一般步骤、以及数据标准落地过程中的一些关键点。

企业的哪些数据需要建标准

大家一般直观认为数据标准就是几个文档,描述了一些规范和要求,需要去遵守。而我们认为数据标准又不仅仅是一套规范,而是一套由管理规范、管控流程、技术工具共同组成的体系,是通过这套体系逐步实现信息标准化的过程。数据标准化是通过一整套的数据规范、管控流程和技术工具来确保的各种重要信息,例如产品、客户、机构、账户等在全公司内外的使用和交换都是一致、准确的过程。

数据标准可从数据结构、数据内容来源、技术业务三个维度进行分类:

            

1、从数据结构角度进行的数据标准分类

结构化数据标准是针对结构化数据制定的标准,通常包括:信息项分类、类型、长度、定义、值域等。

非结构化数据标准是针对非结构化数据制定的标准,通常包括:文件名称、格式、分辨率等。

2、从数据内容来源进行的数据标准分类

基础类数据标准是指业务系统直接产生的明细数据和相关代码数据,保障业务活动相关数据的一致性和准确性。

派生类数据标准是指基础类数据根据管理运营的需求加工计算而派生出来的数据,例如:统计指标、实体标签等。

3、从技术业务角度进行的数据标准分类

业务数据标准是指为实现业务沟通而制定的标准,通常包括:业务定义和管理部门,业务主题等。

技术数据标准是指从信息技术的角度对数据标准的统一规范和定义,通常包括:数据类型、字段长度、精度、数据格式等。

企业的数据标准如何建立?

提到建立标准,你可能还会想到要参考国际标准,国家标准,行业标准等等。没错,这是制定企业数据标准的第一步。收集现行的国家标准或行业标准,再根据企业需求确定数据标准的范围。但由于每个行业、每个企业都有自己的特点,真正能够参考的数据标准其实并不多。

那么,企业数据标准到底该如何建立?一般来说,数据标准的建立有5个步骤,包括标准分类规划、标准体系建设、标准评审发布、标准落地执行、标准运营维护。

(一) 标准规划  

数据标准规划主要指企业构建数据标准分类框架,并制定开展数据标准管理的实施路线。数据标准规划的过程主要包括以下六个阶段:

(1)数据标准调研

数据标准调研工作,主要从企业业务运行和管理层面、国家和行业相关数据标准规定层面、信息和业务系统数据现状三个方面开展,调研内容包括现有的数据业务含义、数据标准分类、数据元定义、数据项属性规则以及相 关国际标准、国家标准、地方标准和行业数据标准等;

(2)业务和数据分析

主要根据数据标准调研结果,根据数据标准体系建设原则,初步研究数据标准整体的分类框架和定义,以及对业务的支撑状况;

(3)研究和参照行业最佳实践

收集和学习数据标准体系建设案例,并研究和借鉴同行业企业单位在本行业数据标准体系规划上的实践经验;

(4)定义数据标准体系框架和分类

根据数据标准调研结果以及行业的最佳实践,在对企业现有业务和数据现状进行分析的基础上,定义企业自身的数据标准体系框架和分类;

(5)制定数据标准实施路线图

根据已定义的数据标准体系框架和分类,结合企业自身在业务系统、信息系统建设上的优先级,制定数据标准分阶段、分步骤的实施路线图;

(6)批准和发布数据标准框架和规划

由数据标准管理的决策层审核数据标准体系框架和规划实施路线图,并批准和发布。

(二) 标准制定  

标准制定是指在完成标准分类规划的基础上,定义数据标准及相关规则。数据标准的定义主要指数据元及其属性的确定。随着企业业务和标准需求的不断发展延伸,需要科学合理地开展数据标准定义工作,确保数据标准的可持续性发展。

数据标准定义主要包括分析数据标准现状、确定数据元及其属性两个关键步骤:

(1)分析数据标准现状

企业应依据业务调研和信息系统调研结果,并分析、诊断、归纳数据标准现状和问题。其中,业务调研主要采用对业务管理办法、业务流程、业务 规划的研究和梳理,以了解数据标准在业务方面的作用和存在的问题;系统调研主要采用对各系统数据库字典、数据规范的现状调查,厘清实际生产中 数据的定义方式和对业务流程、业务协同的作用和影响;

(2)确定数据元及其属性

企业应依据行业相关规定或借鉴同行业实践,结合企业自身在数据资产管理方面的规定,在各个数据标准类别下,明确相应的数据元及其属性。

(三) 标准发布  

在数据标准定义工作初步完成后,数据标准定义需要征询数据管理部门、数 据标准部门以及相关业务部门的意见,在完成意见分析和标准修订后,进行 标准发布。标准评审发布主要流程包括意见征询、数据标准审议、数据标准发布等三个过程:

(1)数据标准意见征询

意见征询工作是指对拟定的数据标准初稿进行宣介和培训,同时广泛收集相关数据管理部门、业务部门、开发部门的意见,减小数据标准不可用、 难落地的风险;

(2)数据标准审议

数据标准审议工作是指在数据标准意见征询的基础上,对数据标准进行修订和完善,同时提交数据标准管理部门审议的过程,以提升数据标准的 专业性和可管理执行性;

(3)数据标准发布

数据标准发布工作是指数据标准管理部门,组织各相关业务单位对数据标准进行会签,并报送数据标准决策组织,实现对数据标准进行全企业审 批发布的过程。

(四) 标准执行  

数据标准执行通常是指把企业已经发布的数据标准应用于信息建设, 消除数据不一致的过程。数据标准落地执行过程中应加强对业务人员的数据标准培训、宣贯工作,帮助业务人员更好的理解系统中数据的业务含义, 同时也涉及信息系统的建设和改造。

数据标准落地执行一般包括四个阶段:评估确定落地范围、制定落地方案、推动方案执行、跟踪评估成效。

(1)评估确定落地范围

选择某一要点作为数据标准落地的目标,如业务的维护流程、客户信息采集规范、某个系统的建设等;

(2)制定落地方案

深入分析数据标准要求与现状的实际差异,以及落标的潜在影响和收益,并确定执行方案和计划;

(3)推动方案执行

推动数据标准执行方案的实施和标准管控流程的执行;

(4)跟踪评估成效

综合评价数据标准落地的实施成效,跟踪监督标准落地流程执行情况,收集标准修订需求。

亿信华辰数据标准平台落地评估

(五) 标准维护  

数据标准并非一成不变,而是会随着业务的发展变化以及数据标准执行效果而不断更新和完善。

在数据标准维护的初期,首先需要完成需求收集、需求评审、变更评审、发布等多项工作,并对所有的修订进行版本管理,以使数据标准“有迹可循”,便于数据标准体系和框架维护的一致性。其次,应制定数据标准运营维护路线图,遵循数据标准管理工作的组织结构与策略流程,各部门共同配合实现数据标准的运营维护。

在数据标准维护的中期,主要完成数据标准日常维护工作与数据标准定期维护工作。日常维护是指根据业务的变化,常态化开展数据标准维护工 作,比如当企业拓展新业务时,应及时增加相应数据标准;当企业业务范围 或规则发生变化时,应及时变更相应数据标准;当数据标准无应用对象时, 应废止相应数据标准。定期维护是指对已定义发布的数据标准定期进行标准审查,以确保数据标准的持续实用性。通常来说,定期维护的周期一般为一年或两年。

在数据标准维护的后期,应重新制定数据标准在各业务部门、各系统的落地方案,并制定相应的落地计划。在数据标准体系下,由于增加或更改数 据标准分类而使数据标准体系发生变化的,或在同一数据标准分类下,因业务拓展而新增加的数据标准,应遵循数据标准编制、审核、发布的相关规定。

如何让数据标准发挥更大的作用

数据标准项目在实施过程中遇到的难点相对会比较多,

比如需要各业务部门、业务厂商积极配合,但是这无疑是对业务部门和业务厂商额外增加工作量,所以有时推进的时候会多少有些难度。

再比如需要对业务特别精通的高精专人员参与能够从业务角度主导数据标准制定,要以专家的身份对要制定的数据标准进行指导,具备权威性。

再比如数据标准制定出来后,如何让数据标准更好,更大的发挥作用也是在实施过程中需要思考的问题。

因此要让数据标准能够用起来,在企业的数字化中真正发挥作用,在标准的建设和实施过程中应注意以下几个事项:

1.全面的数据盘点

基于企业业务架构,从满足企业经营管理、数据分析、数据共享、数据集成等需求入手,对各个系统的数据资源进行盘点。

通过梳理数据现状,厘清业务开展过程中业务流、单据流以及数据流,明确数据资产分布,数据的质量情况、数据集成情况、数据管理情况等问题;明确各基础数据和指标数据的业务含义、数据口径、适用场景、数据来源、数据关系等信息。

2.全域的覆盖范围

数据标准够不够成熟一个非常简单的衡量标准就是看它的覆盖范围够不够广。一般来说,覆盖范围越大,数据标准越成熟!

数据标准覆盖范围有三个方面:

1)组织范围,即,数据标准适用的组织范围,部门级、公司级,集团级还是行业级。

2)业务应用范围,即数据标准都哪些业务部门会使用,例如,一个“客户”数据标准,就会被市场、销售、生产、采购、仓储、物流、售后等多个部门使用。

3)落地系统范围,即该标准需要在哪些系统中贯彻执行,例如:我们上边举的“客户”数据标准,落地系统范围可能包括ERP、CRM、WMS等。

3.数据标准是技术和业务的结合

亿信华辰数据标准平台之标准监控

数据标准主要是针对业务,企业很多业务的语义十分依赖业务人员的人工梳理,难度大效率低,很可能出现因为梳理人员没有及时梳理,而造成业务语义难以被及时发现和管理的问题。但在企业数据治理中,任何一个数据标准,如果没有对应的技术手段,都将难以落地。需要通过技术手段,利用数据治理工具提供商的行业实践积累,形成业务与技术的自动关联库,自动完成业务与技术对应,将能大大减少业务人员的工作量,同时提升技术与业务关联的准确度,消除业务与技术之间的鸿沟。

数据标准管理工具应包括:标准分类管理、标准增删改查、标准导入导出、标准评审、标准发布、标准版本管理、标准落地映射、标准落地评估、标准监控等功能。同时为更好的保障数据标准的落地,最好结合元数据管理工具一起使用。

亿信华辰数据标准管理平台ESDataStandard提供了一套完整的数据标准管理流程及办法,通过统一的数据标准制定和发布等一系列的活动,结合制度约束、系统控制等手段,实现企业大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/10357.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

第54篇-某网易易盾滑块请求data参数分析【2022-11-16】

声明:该专栏涉及的所有案例均为学习使用,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!如有侵权,请私信联系本人删帖! 文章目录 一、前言二、流程分析三、data参数1.d值2.p值3.ext值一、前言 在很久以前我们使用selenium+OpenCV模拟过一次易盾盾滑块…

学习大数据之后可以做什么?未来发展怎么样?

当下,有很多小伙伴看中了大数据开发的前景,从而选择了学习大数据的行列当中来,只能说,坚持你的选择没有错~ 当下来看,可以说大数据是一种宝贵的战略资源,其潜在价值和增长速度正在改变着人类的工作、生活和…

人人开源搭建后台管理系统 逆向工程生成CRUD代码

一、什么是人人开源 也就是说和若依类似,都是快速帮我们开发一些简单的逻辑代码的,可以帮我们自动生成代码。 二、具体操作 我们现在就以renren-fast作为后台管理系统框架,用renren-fast-vue作为前端系统框架进行开发项目 具体操作如下所示&a…

做好一个BI项目的关键是什么

做好一个BI项目的关键是什么?有人会说,那肯定是报表,报表是数据分析最直接的成果展示,好的报表能够帮助企业从各种纷杂的信息中及时地发现关键有效的信息,从而为决策提供支持。诚然,报表很重要,…

SPI通信协议

目录一、什么是SPI协议二、SPI物理层三、SPI协议层一、什么是SPI协议 SPI(Serial Peripheral Interface,串行外围设备接口)通讯协议,是 Motorola 公司提出的一种同步串行接口技术,是一种高速、全双工、同步通信总线&a…

【PTA-训练day7】L2-019 悄悄关注 + L1-027 出租

L2-019 悄悄关注 - 哈希表 PTA | 程序设计类实验辅助教学平台 1、java - 喜闻乐见超时 import java.util.*;public class Main {public static void main(String[] args){Scanner scnew Scanner(System.in);int nsc.nextInt();String[] namesc.nextLine().split(" "…

Centos7.6 源码编译部署percona mysql 5.7.39-42

Centos7.6 源码编译部署percona mysql 5.7.39-42 参考链接: mysql5.7.35源码编译安装部署CentOS7 编译安装 Percona Server 5.7percona Server for MySQL 5.7源码安装 一、部署环境准备 更换阿里云yum源 cd /etc/yum.repos.d/ mkdir bak && mv *.repo ba…

[附源码]java毕业设计江苏策腾智能科技公司人事管理系统

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

第1关:节点监听机制

ZooKeeper的监听机制 节点监听机制用以保证集群之间的一致性,以及服务器可以及时通知客户端节点状态的变化。 一个节点可以被监控,包括路径中存储的数据修改,子节点路径改变,当该节点发生修改,服务器可以通知设置监控…

AVS3帧间预测

帧间预测是去除时域冗余的重要工具,随着AVS标准发展,越来越多的帧间预测工具被加入标准,主要可以分为三类:预测编码类型、运动信息编码工具、CU级和子块级运动补偿。 预测编码类型 预测编码类型是指帧间预测的不同预测方式&#…

年产5000吨芒果醋工厂设计

摘要 - 1 - 1 绪论 - 6 - 1.1 概述 - 6 - 1.1.1 芒果醋的价值 - 6 - 1.1.2 芒果醋的市场贸易需求 - 6 - 1.1.3 国内芒果醋行业发展现状 - 7 - 1.2 本课题研究的意义 - 7 - 1.3 本课题的研究内容 - 8 - 1.4 设计原则 - 8 - 2 厂址选择 - 8 - 2.1 厂址选择 - 8 - 2.2 气温 - 9 - …

21、池化技术和线程池的使用(三大方法,7大参数,4种拒绝策略)

池化技术和线程池的使用(三大方法,7大参数,4种拒绝策略) 池化技术:事先准备好一些资源,有需要用就拿,用完再还回来线程池的好处: *降低资源的消耗:线程的不停的创建销毁…

【LeetCode 力扣】2.两数相加 Java实现 模拟 递归

题目链接:2.两数相加 1 原题描述: 2 解题思路 初看此题,其实并不难理解,我们只需要简单对加法过程进行一个模拟,即可完成。那么我们应该怎么模拟呢?首先观察题目,链表是采用的 逆序 存储&…

[旭日X3派] 初识篇 - 01

简单介绍一下 旭日X3派: 地平线旭日️ X3 派是一款面向生态开发者的嵌入式 AI 开发板,接口兼容树莓派,具有 5 TOPS 端侧推理与 4 核 ARM A53 处理能力。 可同时多路 Camera Sensor 的输入并支持 H.264/H.265 编解码。 结合地平线的高性能 A…

什么是JUC

什么是JUC JUC指的是:Java里的三个包 java.util.concurrentjava.util.concurrent.atomic:原子性java.util.concurrent.locks:lock锁回顾线程和进程 进程 程序执行的一次过程,一个进程包含一个或多个线程。进程是资源分配的单位 …

【毕业设计】深度学习行人重识别系统 - person reid

文章目录0 前言1 技术背景2 技术介绍3 重识别技术实现3.1 数据集3.2 Person REID3.2.1 算法原理3.2.2 算法流程图4 实现效果5 部分代码6 最后0 前言 🔥 Hi,大家好,这里是丹成学长的毕设系列文章! 🔥 对毕设有任何疑问…

Linux NetCore下Pdf转图片 内存溢出

Linux NetCore下Pdf转图片 内存溢出Linux PDF转图片异常查看libgdiplus版本解决方案NetCore 3.1下面调用Pdf转图片的组件,在本地windows环境下转换正常,但是到容器里面就会转换失败,查看命令行日志可以看到如下错误。 Linux PDF转图片异常 …

web期末大作业:基于html+css+js制作 学校班级网页制作----校园运动会 4页

⛵ 源码获取 文末联系 ✈ Web前端开发技术 描述 网页设计题材,DIVCSS 布局制作,HTMLCSS网页设计期末课程大作业 | 校园班级网页设计 | 我的班级网页 | 我的学校 | 校园社团 | 校园运动会 | 等网站的设计与制作 | HTML期末大学生网页设计作业 HTML:结构 …

source 命令的用法(与 sh Filename、./Filename的区别)

source 命令简单来说,就是读取脚本里的语句,并在当前Shell中执行,脚本里面所有新建、改变变量的语句都会保存在当前shell里。 目录 1、source 命令的使用方法 2、source命令的妙用 3、source Filename 和 ./Filename的区别 1、source 命令…

12期数据分析-第5次数据分析作业-pandas数据清洗--第 课讲解

1.册除每列都为NAN的数据,以下操作正确的是单法题 选B: 2.?离散化就是将连续值进行分区间 选C 3.以下方法中可以修改索引名称的是多选 选ABCD。 df.index.map({0:‘A1’,1:‘B1’,2:‘C1’}) 4.?求4个人的平均分数 选BCD .…