读书笔记--数据治理的应用实践与展望

news2024/9/24 1:25:09

      继延续上一篇文章,终于到数据治理这本书的收尾了,这段时间忙,一直没有及时更新这部分内容,本文主要讲述一些相对成熟的数据治理应用实践案例、数据治理的6大准备工作、6大误区和5个技术展望,希望对大家在开展数据治理工作及数字化转型工作有所帮助与参考。正如前面多次强调的一样,数据治理工作是一项重实践、持续性迭代、错综复杂的过程性系统工程,数据治理项目周期长,见效时间慢,价值体现间接,甚至需要做好背锅的一系列工作,本书整理出的经典方法论实践,我觉得非常有借鉴意义,就整理出来分享给大家,与大家共勉。数据治理作为企业数字化转型的必经之路,是企业未来用数据说话、用数据管理、用数据决策、用数据创新的基础,也是企业未来从业务驱动或流程驱动向数据驱动转变的基石,在整个世界数字化转型的大潮下,企业数据治理工作的开展不是选择题,而是必修题,企业要在未来竞争中开展业务提效和管理决策智能化,前提必须是数据驱动,因此,为了提升企业的市场竞争力和安全合规,企业都不得不开展数据治理工作,并将其作为企业重要的业务工作、常态化的日常工作来抓,重点抓。

一、两个典型的企业数据治理实践案例

在企业中开展数据治理工作,涉及的企业的方方面面,包括企业战略、组织机制、数据标准、管理规范、数据文化、技术工具等,相当于一个综合体。而且数据治理是企业数据项目开展的基础,数据仓库、数据中台、数据资产管理,主数据管理等项目的开展都离不开数据治理工作。以下是两个典型实践案例。

(一)、某电线电缆集团公司的主数据管理实践

包括企业简介、建设背景(存在缺乏统一规划、标准不一、横向纵向协同效率低、集成共享难等问题)、主数据普查情况摸清现状(人力、客商、物料域)、主数据管理解决方案和建设成效等。下面着重阐述后两部分。
1.主数据管理解决方案
1)管理组织建设,见下图所属,包括组织机构、归口部门和管控模式(集中或分散)


2)主数据标准建设,包括分类标准,编码标准,命名标准和描述规范。
3)主数据清洗方案,包括清洗范围,不同类型主数据清洗的注意事项等。
4)单源头主数据管理方案,达成集团范围内单一可信视图,识别每个主数据的来源去向。
5)多源头主数据管理方案,见下图,需要做多源头数据归集接口。

2.项目建设成效
通过项目建设,搭建主数据管理平台,进行主数据治理,提高主数据质量、实现企业内部的降本增效和管理创新。具体成效如下:
1)促进业务数字化集成化
2)促进业务管理规范化
3)促进业务管理精细化
4)促进管理决策科学化

  (二)、某能源公司的数据资产管理系统实践

包括企业简介、建设背景(存在数据多样性、再利用价值密度低、集成共享难等问题)、企业数据管理现状(数据复杂说不清、数据质量堪忧、缺乏数据标准)、数据资产管理解决方案和建设成效等。下面着重阐述后两部分。
1.数据资产管理解决方案
1)数据资产管理总体蓝图,见下图所属,包括元数据管理、数据标准管理和质量管理

2)数据管理成熟度评估,摸清企业所处的阶段,明确了改进的内容和路径等。
3)数据资产调研及梳理,见下图,包括价值链、业务域、确定数据域、设计数据模型、建立数据目录和映射数据源等。

4)数据资产管理体系建设,包括组织机构、标准体系、管理办法和流程建设等。
5)数据资产管理平台建设,包括数据标准管理、元数据管理和质量管理。
2.项目建设成效
通过项目建设,搭建数据资产管理平台,提升企业数据管理水平和数据资产使用效率,集中在数据标准、元数据和数据质量方面开展应用建设,形成统一的可视化数据资产管理平台,实现统一、自动化、开放的数据资产可视化管理。建设成效如下:
1)建立了数据资产管理体系,形成组织、流程、策略、标准、安全和技术支撑的有机结合的数据管理解决方案,提供企业信息化建设全方位的监管
2)建立平台,从产供销主价值链出发,对企业数据资产进行全面梳理盘点,形成资产地图,通过元数据的影响血缘分析,支撑业务指标跟踪追溯,为管理决策提供支撑
3)建立数据标准和管理体系,明确责任主体,统一规划和标准
4)建立数据质量规则定义、检验,问题分析、质量整改全生命周期模型,提供数据生产、交换、存储、管控全链路的质量监控,提升管控水平。 

 二、数据治理需要提前做好的6项准备工作

数据治理不仅仅能建立企业级的数据共识,让企业所有人员认识到数据的重要性和对企业的价值意义,而且能将数据作为资产,逐步盘活企业数据资产,让企业中的利益相关方了解到企业有哪些数据资产,在哪里,怎么用,用到如何等等。因此,如果想做好数据治理,需要提前具备以下条件:
1.管理层对数据治理价值的理解:决策、洞察,数据保护、安全合规。
2.合理评估企业数据管理的现状
3.选定数据治理的领头羊或团队
4.业务与IT的深度融合一起做
5.数据治理工具的选型,明确关注的重点和急需
6.数据治理咨询和实施专家

三、数据治理要提早明白的6大误区

数据治理作为企业数字化转型的必经之路,是企业系统集成、业务协同的集成,是实现企业业务一体化融合、加强集团管控等管理目标的重要手段方法。但在数据治理工作开展过程中,容易形成如下误区:
1.技术部门主导的盲目治理:明确治理的原因和核心驱动力,要聚焦目标,别贪大求全,要严控范围,不可漫无边际。
2.业务部门牵头的局部治理:易造成局部狭隘的数据治理,缺大局整体观。
3.重项目建设,轻持续运营:日常业务要持续改进,外包不一定好。
4.唯工具论:数据治理是一个集方法、标准、制度、流程、技术和工具为一体的解决方案吗,缺一不可。
5.重视结果,轻过程:治理是搭成共识的过程。讲普通话,写规范字的过程。
6.数据多源,适配困难:流程驱动实现多源数据归集融合,或通过中台思维的公共接口承接业务系统的数据接入。

四、未来数据治理的5大技术展望

未来,随着数据治理的不断演进,数据领域需要借助IT新技术(大数据、人工智能、物联网、区块链、数据湖、中台、数字孪生、数字化转型等)的应用融合,加速数据治理理论体系完善、技术体系发展和实践经验积累,主要有以下5个技术展望。
1.大数据下,主数据管理是否还有必要:主数据永远是企业的黄金数据,是承上启下的关联数据,永远不会死,非常重要。未来在主数据+人工智能方面进行应用升华,比如AI自动识别主数据,清理主数据,数据自动打标等。
2.大数据下,企业数据如何治理:本文提出了采、存、管、看、找、用的六字方针。看数据包括数据资产地图、数据流动分析、热度分析、血缘分析、质量问题分析等,找数据包括利用知识图谱从各种数据中抽取实体关系属性等,实现数据的快速定位和精准查询。,最终实现在数据看得见、找得到、管得住和用得好的情况下,体现数据的真正价值。
3.微服务下,企业数据如何治理:明确了治什么、在哪里治、怎么治理的问题,包括在线数据的处理方案和离线处理方案等。
4.区块链,助力企业数据资产管理:区块链本质是一种去中心化的分布式数据库,可以开展以下工作,基于区块链的数据资产确权,保护数据资产安全,提高数据质量,加速数据资产共享等。
5.人工智能,为企业数据治理插上翅膀:人工智能包括NLP、智能搜索、机器学习、知识获取、组合调度、模式识别、神经网络等。未来数据治理过程中,需要借助人工智能的地方非常多,具体如下:
1)在数据采集方面,通过图像、语音、nlp实现自动化采集各种类型数据,也包括通过机器学习技术,从历史数据中自动发现结构模式、关系,实体属性等
2)在建模方面,通过kg、机器学习、图数据库等技术,实现企业不同类型数据的文本识别,实体关系识别,挖掘企业中的暗数据。
3)在元数据管理方面,利用AI更好的管理和整合元数据。
4)在主数据管理方面,利用AI对数据集进行监控,让主数据管理变得自动高效
5)在数据标准方面,频度热度进行评估优化。
6)在数据治理管理方面,词频分析、记录自动合并,异常值检测、自动替换补全和删除处理等。
7)在数据安全方面,对敏感数据的实时、动态识别、自动化生成标注,自动分类分级。
8)在数据分析方面,实现数据的自动清洗处理,分类标记,识别数据关系,相关术语的连接等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/900798.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Cpp学习——list的模拟实现

目录 一,实现list所需要包含的三个类 二,三个类的实现 1.list_node 2.list类 3.iterator_list类 三,功能实现 1.list类里的push_back() 2.iterator类里的运算符重载 3,list类里面的功能函数 1.insert(&#xff…

vue技术学习

vue快速入门 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>vue快速入门</title> </head> <body> <!--老师解读 1. div元素不是必须的&#xff0c;也可以是其它元素&#xff0…

【C++】做一个飞机空战小游戏(十)——子弹击落炮弹、炮弹与飞机相撞

[导读]本系列博文内容链接如下&#xff1a; 【C】做一个飞机空战小游戏(一)——使用getch()函数获得键盘码值 【C】做一个飞机空战小游戏(二)——利用getch()函数实现键盘控制单个字符移动【C】做一个飞机空战小游戏(三)——getch()函数控制任意造型飞机图标移动 【C】做一个飞…

回归预测 | MATLAB实现SA-SVM模拟退火算法优化支持向量机多输入单输出回归预测(多指标,多图)

回归预测 | MATLAB实现SA-SVM模拟退火算法优化支持向量机多输入单输出回归预测&#xff08;多指标&#xff0c;多图&#xff09; 目录 回归预测 | MATLAB实现SA-SVM模拟退火算法优化支持向量机多输入单输出回归预测&#xff08;多指标&#xff0c;多图&#xff09;效果一览基本…

【华为鸿蒙3.0/荣耀安卓12使用VMOS Pro的激活方式】

关于华为鸿蒙3.0/荣耀安卓12如何解除进程限制&#xff0c;这里提供以下教程供小伙伴们参考。 需要准备&#xff1a;电脑一台&#xff0c;数据线一根。 第一步&#xff1a;打开手机USB调试模式。 确保USB数据线已连接手机和电脑&#xff0c;打开手机“开发者选项”&#xff0…

Monitor.Analog产品老化试验软件概要设计

Monitor.Analog产品老化试验软件概要设计&#xff1a; 1. 引言&#xff1a; 模拟量采集软件的目标是实现对模拟量信号的采集、处理和展示。该软件旨在提供一个用户友好的界面&#xff0c;允许用户配置采集参数、实时监测模拟量信号&#xff0c;并提供数据分析和导出功能。 2. 功…

K210学习笔记——三角函数下的目标追踪

各位正在读文章的朋友们你们好&#xff0c;本人为非专业学生&#xff0c;如有不对的地方&#xff0c;期待您的指正。 目标追踪的意思是&#xff1a;识别到目标物体&#xff0c;通过舵机转动&#xff0c;朝向目标物体. 实验器材&#xff1a;二自由度舵机云台加两个SG90舵机&…

预警:传统的QA岗位将被DevOps淘汰

导读在大多数机构或公司里&#xff0c;软件开发过程主要遵循一个或多个开发模型&#xff0c;例如瀑布模型或敏捷模型。在瀑布模型中&#xff0c;测试活动一般都在后期进行。软件开发完成后&#xff0c;缺陷被QA团队找出&#xff0c;然后再被修复。后两个活动不断循环和重复&…

Python基础语法入门(第二十三天)——正则表达式

正则表达式是一种文本模式&#xff0c;用于匹配字符串&#xff0c;它是由字符和特殊字符组成的模式。正则表达式可以用于验证、搜索、替换和提取字符串。其能够应用于各种编程语言和文本处理工具中&#xff0c;如Python、Java、JavaScript等。 正则表达式在线测试工具&#xf…

Spring源码编译-for mac

超详细的spring源码编译 记&#xff1a;编译成功时间&#xff1a;2023.08.19 环境准备&#xff1a; 1.idea 2023.1.1 Community Edition 2.jdk1.8 3.gradlegradle-5.6.4 4.spring源码(版本&#xff1a;spring-framework-v5.2.25.RELEASE) 一.spring源码下载 github 加速网站&…

stm32单片机4个开关控制8个LED灯,4种不同模式参考源代码(附带PROTEUS电路图)

//main.c文件 /* USER CODE BEGIN Header */ /********************************************************************************* file : main.c* brief : Main program body************************************************************************…

0101前期准备-大数据学习

文章目录 1 前言2 配置VMware虚拟机2.1 设置主机名和固定IP2.2 本地系统与Linux系统配置主机名映射2.3 配置虚拟机之间用户的SSH免密互通2.4 安装JDK环境2.5 关闭防火墙和SELinux2.6 更新时区和同步时间2.7 保存虚拟机快照 结语 1 前言 我们从基础的hadoop开始学起&#xff0c;…

Python上楼梯问题:递归解法探究(斐波那契变种)(记忆化递归)

文章目录 上楼梯问题&#xff1a;递归解法探究问题定义解决方案1. 递归2. 记忆化递归关于python memo{}默认参数和字典的语法语法功能版本信息注意事项 结论 上楼梯问题&#xff1a;递归解法探究 在这篇文章中&#xff0c;将对上楼梯问题进行深入探讨。上楼梯问题是一种常见的…

2D应用开发是选择WebGL 还是选择Canvas?

推荐&#xff1a;使用 NSDT场景编辑器 助你快速搭建可二次编辑的3D应用场景 在介绍WebGL和Canvas的区别和联系之前&#xff0c;需要先了解它们各自的定义和特点。 WebGL是一种基于标准HTML5的技术&#xff0c;用于在Web浏览器中实时渲染3D图形。它是由Khronos Group开发的一套…

C++系列-内存模型

内存模型 内存模型四个区代码区全局区栈区堆区内存开辟和释放在堆区开辟数组 内存模型四个区 不同区域存放的数据生命周期是不同的&#xff0c;更为灵活。 代码区&#xff1a;存放函数体的二进制代码&#xff0c;操作系统管理。全局区&#xff1a;存放全局变量&#xff0c;常…

工厂模式的三种姿态?

在软件工程中常见的设计模式——工厂模式。工厂模式是一种有力的工具&#xff0c;用于创建对象实例的方式&#xff0c;可以帮助我们更好地组织代码和降低耦合性。在本文中&#xff0c;我将为大家详细介绍工厂模式的三种姿态&#xff0c;同时通过举例和代码演示来帮助大家更好地…

Docker环境安装elasticsearch和kibana

一、安装elasticsearch 创建es-network&#xff0c;让es、kibana在同一个网段&#xff1a; docker network create --driverbridge --subnet192.168.1.10/24 es-network运行elasticsearch docker run -d \ --name elasticsearch \ # 容器名 --hostname elasticsearch # 主机…

【Redis】Redis中的布隆过滤器

【Redis】Redis中的布隆过滤器 前言 在实际开发中&#xff0c;会遇到很多要判断一个元素是否在某个集合中的业务场景&#xff0c;类似于垃圾邮件的识别&#xff0c;恶意IP地址的访问&#xff0c;缓存穿透等情况。类似于缓存穿透这种情况&#xff0c;有许多的解决方法&#xf…

高效的WMS系统手持盘点方案

WMS系统手持盘点就是指利用WMS系统支持的手持式电子盘点设备进行库存盘点的方式。 具体来说: - 手持盘点设备是一种小型的电子设备,具有移动条形码扫描功能,可以实时与WMS系统联通。 - WMS系统利用手持设备,可以给仓储人员下发具体的盘点任务,例如需要盘点的货位、商品等信息…

mybatis plus 配置自动设置创建时间和创建人id

1.新建 MyMetaObjectHandler package com.ruoyi.framework.config;import com.baomidou.mybatisplus.core.handlers.MetaObjectHandler; import com.ruoyi.common.bean.LocalUser; import com.ruoyi.coupon.domain.CouponUser; import org.apache.ibatis.reflection.MetaObjec…