数据治理的关键能力是什么?如何发力?

news2024/10/7 8:29:22

工业时代历经百年形成的全球经济体系、治理体系,在突如其来的新冠疫情冲击和数字技术高速发展下,开始加速变革。从社会经济系统来看,未来人类社会将向“实体+数字”的二维空间发展。数字经济将是基于这个二维空间而建立的新经济模式,发展数字经济是激活数据要素、开发数字生产力、创新数字生产关系的过程,数据已经成为数字经济发展基础性、关键性、决定性的生产要素。

近年来,随着一系列与数据相关的法律法规和标准陆续发布,我国的数据基础制度体系建设不断完善。在国家陆续出台的《网络安全法》《数据安全法》及《个人信息保护法》等基础性法律之外,目前已有18个省市公布了各种数据相关条例。其中,深圳、上海、浙江和重庆出台了明确的数据条例。这些地方条例虽然立意不同、完善程度不一,但大多以促进数据利用和产业发展为基本定位,为当地加快数据流通和开发利用奠定了坚实基础。

企业是数据要素开发的市场主体。在数据要素市场化过程中,传统企业的商业模式正在发生根本性改变。作为企业的新型资产,企业的数据资产增长越来越快,价值越来越大,因此必须建立企业数据治理制度,用以规范和开发企业数据资产的价值。

一、数据治理概述

到目前为止,不同组织或机构基于不同的研究视角和侧重点对数据治理概念的阐述多种多样,尚未形成统一的一个标准定义,但其本质上都是对企业数据管理的整个过程开展监督及指导,目标均为企业创造更大的利益。总体来看,数据治理的侧重点主要体现在数据治理的范围、治理主体的职责、数据治的理目标、数据治理的过程及其规范。在当前已有的定义中,以DAMA(国际数据管理协会)、DGI(国际数据治理研究所)、IBM数据治理委员会三家机构提出的最具权威性,因而被广泛应用。

DAMA认为数据治理是对数据资产管理行使权力和控制的活动集合。DGI认为数据治理是包含信息相关过程的决策权及责任制的体系,即在企业数据管理中分配决策权和相关职责。IBM数据治理委员会认为数据治理是一种质量控制规程,并且对数据管理的整个过程开展监督及指导工作。

二、企业数据治理的必要性

1、企业实现数据资源在组织内部的对接和共享的需要

大部分企业已经完成了ERP、CRM、供应链、协同办公等企业信息化系统的建设, 但是由于数据分散在众多系统中, 缺乏统一的数据定义和数据分类, 因此在数据使用上存在数据不标准、数据不一致、数据完整性差等问题。数据不标准主要表现在不同系统之间描述同一业务问题的数据定义标准不同;数据不一致主要表现在相关联业务系统的数据不同步、各应用系统间存在数据编码规则不一致的问题, 还有重复编码的问题;数据完整性差表现为缺少关键ID。企业必须对各个系统的数据源以及输出的数据资产进行统一的数据治理, 实现数据在不同组织和系统内的交换与共享。只有解决了数据的问题, 才能实现IT的价值。

例如亿信华辰帮助佛山某区政务服务数据管理局建设的数据治理平台,就根据数据应用的需求,对人口库、卫计、工商、流管等数据建立质量规则,通过构建模型、配置规则、人工智能识别等方法对数据进行数据核查、数据清洗、数据更新及数据修复,并输出数据分析报告。

全面提升数据质量,帮助建立健全完善的考核制度,实现数据中心的统一监管,全面实现教育无纸化改革,提升办事效率,充分实现数据的全面共享应用。

2、提升海量数据资源质量的需要

大数据时代数据产生的价值越来越大, 各企业都在探索基于数据的相关技术和应用模式, 最终目的就是挖掘数据的价值, 推动企业的发展。因为数据有可能是成本, 也有可能是资产, 能给企业带来重要的价值, 是企业宝贵的资源。如果没有数据治理, 数据的质量就无法保证, 数据难以成为企业的资产, 既使再多的业务和技术投入也都是徒劳。数据质量低下会导致企业在IT方面的重复投入, 各种应用系统的价值难以有效地发挥出来, 数据的问题甚至会使得企业错失商机,损失无法估量。国内外许多学者在数据治理领域都讨论了与价值创造或提升相关的话题,从全球范围来看, 数据治理是保证数据质量的必需手段, 数据治理的价值贡献在于确保数据的准确性、可获取性、安全性、适度分享和合规使用。

例如, 湖北移动对数据服务涉及的计算资源、数据资源制定了标准化的统一管理规范, 明确了各个应用项目计算资源的初始分配、扩容、忙闲时调度等策略和流程, 制定了涵盖数据层次、数据主题、数据命名、质量检查、数据转换等11个大类的数据标准化规则体系, 降低了管理成本和应用成本。

3、数据驱动企业进行科学决策的需要

当今世界进入了数据爆炸的时代, 数据成为企业重要的资产。企业涉及的数据类型, 包括文本、图像、音频、视频等, 分为静态数据和动态数据, 实时数据和非实时数据, 结构化数据、半结构化数据和非结构化数据, 这些数据有些来源于企业的内部信息系统及设备, 有些来源于外部的供应链和社交网络。数据驱动企业的决策成为时代发展的必然。

数据治理能使企业清楚地认识自己的优势和劣势, 有利于企业提高决策的合理性, 为用户提供更加优质的服务。大数据时代, 企业可以通过对数据的整合和分析, 从中获取对企业有用的数据。新的数据技术手段, 使得信息在企业内部不同部门之间有效、快速地传递, 使得不同部门之间的交流、沟通更加透明, 使得企业不同的利益主体能广泛地参与决策, 从而提高决策的科学性和合理性。

4、企业整合数据资源提升竞争力的需要

在企业的生产经营活动中会产生大量的数据, 企业需要对事务性数据、机器生成数据、社交媒体数据等内外部数据进行整合, 特别是对与企业重大商业利益相关的数据资源的整合、分析与利用, 从而指导企业的经营与发展。数据技术带来的不仅是技术的更新, 还有管理方式的改变, 数据治理不仅局限在企业的决策层, 还包含管理层和业务层, 数据治理能改善企业管理层与其他利益相关者的关系, 大家共同关心企业的发展, 致力于企业目标的实现, 使企业变得更加敏捷和高效, 更注重用户体验的提升和需求的满足。例如, 长安汽车集团为解决日常的数据收集、数据处理效率较低、不同源系统的数据不一致的问题, 通过元数据管理系统, 建立采集元数据和元数据关系, 提升了跨系统的数据交互能力以及数据整合能力, 进一步提升了自身的竞争力。

三、企业实施数据治理的核心内容

1、元数据管理

元数据是描述数据的数据。Forrester Research将元数据定义为“用于描述数据、内容、业务流程、服务、业务规则以及组织信息系统的支持政策或为其提供上下文的信息”。元数据管理就是对元数据进行创建、组织与存储、整合与控制的相关活动。管理团队首先要弄清企业开展业务需要哪方面的数据, 生产经营活动又会产生哪些方面的数据, 如何获取支持业务活动的数据, 以及各种数据之间的相互关系。企业可以创建元数据存储库, 存储各种业务元数据和技术元数据的属性、状态及关系, 以便于不同部门、不同系统之间的共享和利用。

元数据的管理, 在一定程度上可以解决数据重复建设等问题,进一步提升数据质量。比如,东方航空公司利用普元产品的全自动采集和大数据地图的自动展现等功能,集中管理了包括技术、业务、操作在内的全企业的元数据, 分析出了海量元数据之间的关系,可视化展现出了东航数据资产全貌和数据之间的流向, 促进了东航对海量数据的有效利用。

2、主数据管理

主数据是企业业务实体的数据, 比如客户数据、产商数据、产品数据等。它广泛地分散在企业的各种业务流程、各个信息系统以及应用程序中。对于企业来说, 主数据是非常有价值的数据, 也是各业务部门和应用系统需要共享的数据。企业数据治理的目标是充分挖掘主数据的价值, 以满足不同部门对主数据的需求。针对各业务部门对数据使用的目的和要求不同, 主数据管理需要围绕业务的目标与规则并与各部门的业务流程相匹配, 同时也要得到各业务部门的支持, 具体从提高主数据的质量着手, 确立主数据管理的策略、规程和技术解决方案, 尽量保证各业务数据的合规性、一致性和相关性。

主数据管理是一项长期的实践活动, 可通过建立主数据中心来规范主数据的使用, 这不仅是一项技术工作, 还有配套的管理工作, 如确立主数据的管理规范和管理流程。2008年九州通集团开始进行主数据规划, 首先通过管理和标准来建立流程, 明确组织分工, 之后进行数据清理, 系统开发, 上线实施主数据的建设, 使信息自由流动, 提升业务效率, 为后续的数据分析、科学决策提供有价值的数据驱动, 进而提升管理水平[14]。

3、数据质量管理

Weber等人将数据质量管理定义为:以质量为导向的数据资产管理, 即计划、规定、组织、使用和处理支持决策和运营业务流程的数据, 从而持续性地提高数据质量。大数据技术的广泛应用, 使得企业对数据治理的需求日益迫切。企业数据大量分散在各个系统中, 由于缺乏一套完整的数据标准体系, 各系统之间的数据交互共享性差。由于缺乏标准化的管理和适当的控制, 数据的分散会导致相同数据存放在不同系统中, 不能被有效识别, 数据的可靠性无法等到保证。数据的质量决定了技术应用的质量;数据质量管理侧重于高质量数据的计划、组织和使用, 确保了治理对象的质量。通过数据治理, 组织能够承担数据责任, 解决技术问题, 从而进一步提高数据管理和数据质量管理的能力。

以生产男式西装为主的红领集团为例,用户在手机APP上下单之后, 测量师会到用户家里做定制测量,然后在版型库里做设计,自动排产之后就开始生产。整个过程都是基于高质量的数据驱动的,数据质量成为业务的生命线。数据质量管理需明确质量管控的规范与流程, 使相关人员明确在数据产生、存储、应用的整个生命周期中数据治理包含的工作内容、工作流程、各自的职责, 进一步提升数据治理的效率。

4、数据生命周期管理

数据生命周期是指数据从产生、利用到消亡的过程。数据对企业的重要性不言而喻, 但数据不会永久性存在, 一方面企业对数据的维护需要支付成本, 另一方面数据的价值也会发生变化, 因此企业数据治理需要根据自身的需求, 结合数据生命周期的特征, 采取不同的管理方式。数据生命周期管理的目标是在成本可控的情况下, 有效管理数据, 创造更多的价值。如, 欧洲某公用服务公司在部署电气智能仪表时, 实施大数据生命周期治理, 使得包括大数据归档和压缩在内的总体的运营成本节约了60%。数据生命周期管理首先要有一个判断标准, 确定哪些数据需要存储, 哪些数据需要进行分析利用, 哪些数据需要被剔除;然后制定数据剔除、存储、分析、应用的标准与流程, 结合数据实际应用情况, 不断优化生命周期管理流程, 最大限度地发挥数据的价值。

5、业务流程整合

数据治理围绕企业业务活动展开, 首先要识别企业的业务问题, 根据实际的业务问题初步拟定数据治理计划, 一旦问题得到解决, 业务部门会给予更多的支持, 并将数据治理的范围扩展到更多的业务活动中。业务流程整合的目的是为了便于数据治理活动的开展, 同时也是为了提高数据治理的效率。业务流程的整合将有助于规范业务流程, 有利于数据治理团队发现业务活动中的数据以及数据之间的关系。


进入数字经济时代,数据正在成为经济社会发展的核心生产要素,并将成为国家、企业、个人最具价值的未来资产之一。面对数据要素,需要重新思考传统企业经营的底层逻辑。加快推进企业数据治理建设,将促进企业面向“实体+数字”的二维空间,规范企业的数据资产,并让企业的数据资产在未来创造更大价值。

企业数据治理建设不能只针对单一企业,而要面向产业链和产业生态,整体思考数据资产的流通生命周期。企业数据治理制度的核心理念是促进数据在企业、产业链、产业生态中的流动,促进数据资产的价值实现。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/683421.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

做好新媒体宣传的工作总结

新媒体宣传工作总结1 不得不说时间过的真快,自己在_公司_部工作已有两多月了。这段时间是我人生的一个重大转折点,一个在校生成为一名社会人员的转型期,在这期间我失去了,也收获了,更多的是我成长了。 走出校园我还懵懵…

一文彻底教你如何mysql8驱动 jdbc下载

这里以mysql-connector-java-8.0.29.jar为例 打开MySQL官网,点击DOWNLOADS,如下图 进入页面后,滚动到下方,点击 MySQL Community (GPL) Downloads 进入后,点击Connector/J 选择项 这里选择的是zip包&#xff0c…

OpenMMLab OpenMMLab mmdeploy v1.1.0模型部署(一)

一、MMDepoly整体框架 模型部署是指把机器学习训练生成的算法模型,部署到各类云、边、端设备上去, 并使之高效运行,从而将算法模型实际地应用到现实生活中的各类任务中去,从而实现AI的智能化转型。 目前,我们已经支持…

windows下进行c++开发环境的搭建以及使用cmake跨平台工具进行c++代码的开发

windows下使用cmake进行c程序的开发 要求环境条件简单使用cmake 要求环境条件 安装mingw64并配置环境变量 检查命令 gcc - v安装cmake并配置环境变量 检查命令 cmake – version安装vscode安装vscode开发插件,cextension pack(这是一系列整合包) tips: 腾讯微云min…

el-popover修改宽度

popper-class可以修改其样式。 写法&#xff1a; <el-popover v-if"showNav false" popper-class"el-popover-self"><template #reference><el-icon class"recorder_open"><DArrowLeft style"color: #ffb814"/&…

23年测试前景?测试开发?开发测试框架你懂多少?

目录&#xff1a;导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结&#xff08;尾部小惊喜&#xff09; 前言 基本概念 库&…

接口文档这几点我们一定要注意

我们在做开发的时候&#xff0c;经常需要输出接口文档&#xff0c;我们的接口文档&#xff0c;如果输出的有问题&#xff0c;首先给别人的感觉就是觉得你不专业&#xff0c;另外好的接口文档&#xff0c;给了他人以后&#xff0c;就完全可以按照你接口文档去做对接&#xff0c;…

【vue】项目开发常见问题目录

问题目录&#xff08;持续更新&#xff01;&#xff09; 0&#xff0c;页面初始化1&#xff0c; v-if 与 v-for 同时使用报错的问题2&#xff0c; 页面传参注意事项3&#xff0c; Vue路由this.$router.push转跳同一个页面不刷新4&#xff0c;NavigationDuplicated: Avoided red…

Linux之Centos7.6版本下载及安装Go语言环境配置,安装Go1.18版本教程笔记-2023版

文章目录 一、Linux下安装Go环境1.远程获取2.解压3. 添加环境变量5.Go环境配置图配置完成信息图 二、VsCode连接我们Go2.1安装对应的插件2.2进行连接3.相关配置4.成功连接 一、Linux下安装Go环境 推荐在linux下安装Go,因为windows配置的话有些运行不了&#xff0c;在我做Mit6.8…

【SpringCloud学习笔记】gateway网关

gateway网关 核心概念&#xff1a; 路由&#xff08;route&#xff09;&#xff1a;路由信息由 D、目标 RI、一组断言和一组过滤器组成。如果断言路由为真&#xff0c;则说明请求的 URI 和配配断言&#xff08;predicate&#xff09;&#xff1a; Java8 中的断言函数&#xf…

5种raid冗余磁盘阵列

1 RAID&#xff1f;作用&#xff1f; 1.1 RAID RAID就是冗余磁盘阵列&#xff0c;通常称作「磁盘阵列」的RAID (Redundant Array of Independent Disks)功能&#xff0c;多半是应用在NAS这类肩负资料储存的设备上&#xff0c;它能依据NAS里硬盘数量、容量的不同&#xff0c;提…

频段、信道、信道带宽、传输速率无线路由器2.4GHz和5GHz的区别?

无线通信是指电磁波经过空间传播传递信息的通讯方式&#xff0c;也被称为无线电通信。无论是采用何种的无线接入技术&#xff0c;都会涉及到4个重要的参数&#xff1a; 第一、频段 无线通信使用的是电磁波&#xff0c;既然是波&#xff0c;那就有频率&#xff0c;通过将电磁波…

使用 Jetpack Compose 创建自定义的对话框(Dialog)

在 Jetpack Compose 中&#xff0c;对话框&#xff08;Dialog&#xff09;是一种常见的用户界面组件&#xff0c;用于展示重要的信息、确认操作或者收集用户输入。本篇博客将带你深入了解 Jetpack Compose 中的对话框&#xff0c;并展示如何创建自定义的对话框&#xff0c;以满…

复试线即国家线!你敢不敢冲?

List item 一、学校及专业介绍 成信大近年也比较热门&#xff0c;全称成都信息工程大学&#xff08;Chengdu University of Information Technology&#xff09;&#xff0c;位于四川省成都市&#xff0c;为教育部首批“卓越工程师教育培养计划”试点高校、“四川2011计划”、“…

2023一造各科速记手册

[考点]我国建设项目总投资及工造价的构成 生产性建设项目总投资包括建设投资、建设期利息和流动资金:非生产性建设项目总投资包括建设投资、建设期利息。其中建设投资和建设期利息之和对应于固定资产投资&#xff0c;固定资产投资与建设项目的工程造价在量上相等。 工程造价是…

STM32单片机(七)ADC模拟数字转换器----第二节:ADC模数转换器练习1(AD单通道)

❤️ 专栏简介&#xff1a;本专栏记录了从零学习单片机的过程&#xff0c;其中包括51单片机和STM32单片机两部分&#xff1b;建议先学习51单片机&#xff0c;其是STM32等高级单片机的基础&#xff1b;这样再学习STM32时才能融会贯通。 ☀️ 专栏适用人群 &#xff1a;适用于想要…

【送书福利-第十三期】计算机核心基础知识需要搞懂哪些?

大家好&#xff0c;我是洲洲&#xff0c;欢迎关注&#xff0c;一个爱听周杰伦的程序员。关注公众号【程序员洲洲】即可获得10G学习资料、面试笔记、大厂独家学习体系路线等…还可以加入技术交流群欢迎大家在CSDN后台私信我&#xff01; 本文目录 一、前言二、书籍介绍1、《深入…

Flink基础概念及常识

1.flink入门 官方定义&#xff1a;Apache Flink是一个框架和分布式处理引擎&#xff0c;用于在无边界和有边界数据流上进行有状态的计算&#xff0c;Flink能在所有常见集群环境中运行&#xff0c;并能以内存速度和任意规模进行计算。 简言之&#xff0c;Flink是一个分布式的计…

AUTOSAR(ETAS)工具ISOLAR简介

注&#xff1a;今天安装ETAS遇到了很多坑&#xff1a; 软件需要安装在VMware的windows虚拟机中&#xff0c;目的是因为公司的ETAS工具买的软件license是与电脑的mac地址绑定的&#xff0c;所以要想用ETAS软件&#xff0c;就必须使用虚拟机&#xff0c;然后更改mac地址&#xf…

第二十三章_Redis高性能设计之epoll和IO多路复用深度解析

before 多路复用要解决的问题 并发多客户端连接&#xff0c;在多路复用之前最简单和典型的方案&#xff1a;同步阻塞网络IO模型 这种模式的特点就是用一个进程来处理一个网络连接(一个用户请求)&#xff0c;比如一段典型的示例代码如下。 直接调用 recv 函数从一个 socket 上读…