读书笔记--数据治理之法

news2024/11/17 19:46:58

继续延续上一篇文章,对数据治理之法进行学习。数据治理之法是战术层面的方法,是一套涵盖8项举措的数据治理实施方法论,包括梳理现状与确定目标、能力成熟度评估、治理路线图规划、保障体系建设、技术体系建设、治理策略执行与监控、绩效考核与长效运营。构建形成数据治理的8项核心能力,为企业数字化转型铺平了道路。

本书这八章从方法论的角度,阐述了数据治理的持续性、长期性、全面性和循环迭代性,明确了数据治理要以业务目标为导向,以数据标准为基础,以优化流程为关键,以技术创新为支撑,以组织制度为保障,明确数据治理的业务目标和治理范围,指出数据治理不能一蹴而就的,需要建立起长效运营机制,需要培养一批有工匠精神的数字化人才,不断打磨数据标准和数据质量,将数据治理变成一种机制、一种文化、一种习惯,才能达到数据治理的标本兼治、长治久安的目标。方法论部分从现状剖析,目标确定,由成熟度评估找出差距到路线图规划,明确了数据治理过程中的管理制度组织保障和技术保障措施,之后提出了数据治理的策略制定和治理过程的执行监督,并明确了数据治理的考核指标,最后根据数据治理要想支撑业务出效果,就需要长期和持续的坚持,即长效运营机制的建立,说明数据治理工作既是一个过程工程,也是一个持久性结果工程,不能只看过程,更要注重结果。

一、梳理现状与确定目标

数据治理的第一步是明确治理的业务目标是什么。

首先,需要摸清楚企业现状,通过信息化摸底,了解企业信息化建设情况,从IT视角了解企业数据管理的痛点和需求;通过业务部门调研,了解数据治理涉及的实施范围,目前数据管理存在的问题与核心需求等,从业务视角了解企业数据管理的痛点和需求;通过高层领导调研,了解企业业务战略、数据思维和认知,了解高层领导对数据治理思路目标方向期望和要求,明确数据治理的目标,数字化目标和发展目标。

其次,开展现状评估,需要对企业的数据思维和认知现状进行评估,接下来要对企业IT系统现状(系统架构、系统集成、系统使用和系统数据)、数据分布现状(数据域划分和数据资源归类)、数据管理现状和数据质量现状进行评估分析。

最后,明确数据治理的目标,要通过企业战略理解、业务需求分析来确定业务目标,再结合IT需求分析,进而确定治理目标,明确了数据治理是企业实现业务目标的一种手段。

常见的治理目标:提效、降本、增强决策、控制风险、精细化管理、创新管理业务模式、增强数据价值获取、满足利益相关方需求等。

二、数据治理能力成熟度评估

能力成熟度评估是企业开展数据治理的切入点,主要通过一系列方法、关键指标和工具来摸清楚企业目前的数据管理现状,用于统一数据管理概念认识、帮助企业建立全面的数据管理能力体系、找到优势和差距,指明方向,提供建议。

常见的能力成熟度模型有DMM和DCMM模型,DCMM分为5个等级,即初始级、受管理级、稳健级、量化管理级和优化级。具体见下图。

引入DCMM模型后,需要进行相应的评估,评估方法见下图。

DCMM是参考DMM模型和DAMA数据管理框架,并结合国内数据管理特点形成的,相对成熟和应用广泛。

总之,通过能力成熟度评估,目的是为了发现问题、找出差距、明确改进方向。

三、数据治理路线图规划

通过前面的能力成熟度评估,绘制出符合企业现状和需求的数据治理路线图。

路线图:一种目标计划,就是计划未来要做的事情罗列出来,直至达到某个目标。

数据治理路线图:是企业数据治理战略要素、发展方向、建设顺序和实施路径的综合表达,指明方向和路径,以时间为轴,采用量化方式明确每个节点的目标、建设内容,为数据治理的实施和操作提供具体参考和依据。一般包括5个要素,即目标任务、需求分析、技术路径、建设步骤、实施保障。给出了具体业务目标,以及实现该目标的步骤、方法、资源、技术和制度等,形成全方面、全链路的治理体系规划。

在路线图中,首先要明确目标、量化指标,要选取业务部门强烈的数据需求和数据质量痛点为着力点,同时要量化数据治理的指标;其次要选择合适的技术路径,比如自研、采购平台或PaaS服务,未来数据治理的技术路径会逐步走向云端;最后要确定治理的优先级,绘制治理路线图,要通过业务痛点--》业务线协同问题--》数据问题,以点连线、以线带面,采用大处着眼、小处着手的原则推进,逐步实现治理目标。典型的数据治理路线图如下。

四、数据治理保障体系建设

数据治理是对数据资产的治理,更是对数据资产所属的利益相关方的协调和规范,甚至是利益再分配。因此需要配置良好的组织机构和高层(一把手)的支持,甚至深入参与。

数据治理项目不像传统的IT项目或科研项目,要求项目负责人具备强大的沟通能力、深厚的技术能力和业务功底。

1.组织机构

设置组织机构明确了组织的3个原则,即治理要从企业利益出发、需要合理分工、需要相关方通力合作。

数据治理项目涉及范围广,牵扯不同的业务部门、信息部门和应用系统,一般来说,主要有5类角色,即数据治理委员会、数据治理办公室、数据所有者、生产者和使用者(消费者)。见下图。

关于谁应该对数据质量负责的问题?数据所有者对特定数据域内的数据负责,数据确权定责只是数据治理的手段,目的是为了提高数据质量和实现业务目标。严格来说数据质量人人有责,谁生产谁负责,谁拥有谁负责,谁管理谁负责,谁使用谁负责。

数据治理的组织机构也要随着建设阶段和运营阶段的变化有所调整,具体见下图。

2.打造高层(一把手)工程

数据治理项目的实施涉及业务范围广、牵扯的人员多、技术复杂多样,因此需要一把手打破部门墙、消除信息孤岛,拿到项目成功的金钥匙。

数据治理不仅仅是一个项目,更是一项持续的数据服务,需要不断迭代、持续优化的综合工程,需要高层的支持或深度参与,由于涉及范围广、周期长、过程复杂等特点,需要不断的重新调配预算、资源,这些都需要高层的推动,同时要开展全面数据治理才可能最终见效,需要企业的利益相关方统一认知、统一思想、齐心合力、上下一致行动,种种这些都需要高层领导和支持。

数据治理是企业信息化的一场重要变革,需要4类人的支持,分别为倡导者、跟随着、观望者和抵制者。

如何才能得到高层的支持呢?

1)将数据治理与企业战略绑定,将IT部门从成本中心逐步变为利润中心

2)敢于暴漏数据的问题,管理、业务和技术方面的问题

3)选择价值显而易见的数据治理策略,增收、降本、提效、控制风险

4)提供明确的落地方向,哪些数据、哪些管理问题、哪些流程、哪些系统,形成路线图,明确阶段内容、效果和投入等

5)引导更多的人支持,重点关注高管利益相关项目,利益干系人关注的事项

高层领导如何发挥作用呢?深度参与和充分授权与适当机会的表扬肯定。

五、数据治理技术体系建设

数据管理中的架构、建模、存储、质量、安全、集成和应用等技术都与数据治理的技术体系有关。技术体系的设计涉及到数据的采集、处理、存储、访问、应用和分析等全生命周期,要考虑静态数据,如元数据、模型、主数据、共享数据的标准化问题,还要考虑动态数据,如交易数据、数据流转、大数据、ETL等数据的生命周期管控。以下是5个典型实战案例的技术架构。

1.元数据为核心的数据治理,见下图

2.主数据为主线的数据治理,见下图

3.混合云架构下的数据治理,见下图

4.大数据架构下的数据治理,见下图

5.微服务架构下的数据治理,见下图

六、数据治理策略执行与监控

从项目经理角度,如何做好数据治理过程的沟通管理,如何监控治理的执行情况,对治理过程进行监督和控制是必须要事先考虑的问题。

数据治理包括4个过程,即发现过程、策略定义、执行和监控。

发现过程就是发现问题,识别需求的过程,获取治理需求、管理问题和存在的风险。确定治理目标和范围的过程。

策略定义需要制定治理策略、项目章程和计划

策略执行需要做好开端,做一个项目启动会、做好沟通管理,学会借势和造势,以及例行的会议和报告及时总结成果,做好宣传

策略监控包括执行情况监控,包括治理度量和评价的指标体系,以及有效性和价值监控,比如提升了哪些业务指标等

总之,数据治理是一个问题发现、定义策略、执行项目和监控成效的闭环管理过程,是一个不断迭代、循环上升的螺旋模型。

七、数据治理绩效考核

数据治理既要抓过程,更要看结果,企业要建立相应的数据治理考核办法,并将其关联到组织和个人绩效中,以保证制度的有效推进和落实。

数据治理绩效考核难以量化,只能间接形成考核指标,一般数据治理的目标就是降本、增收、提效,建立考核指标体系的3个要素为问题,目标和影响。绩效考核机制是形成并固化企业数据文化的重要手段,培养员工数据素养的手段,促进业务效率提升。

4个考核原则:公平公正、严格、公开透明、客观评价原则

6类考核指标:数据治理人员维度、数据治理问题、数据标准贯彻、治理策略执行、技术达成、业务价值实现维度。

数据质量的6种检查办法:记录数、关键指标总量分析法、历史数据对比法、值域判断、经验审核法、匹配判断法。

数据治理的4种考核方式:日常考核、定期考核,系统自动考核和人工考核。

八、数据治理长效运营

由于数据治理是一个长期持续性的工作,因此需要逐步建立长效运营机制。

长效:长期持续运行的数据治理;运营:多项数据治理活动的总称(计划、组织、实施、控制和沟通);机制:发挥预期效能的配套制度,数据治理赋能业务,数据治理要有规范、稳定、配套的制度体系。

数据治理为什么需要长效运营?数据治理的意义是运用科学的管理、先进的技术,持续调动人员的积极性、主动性和创造性。通过数据治理的长效运营,不断加强巩固数字化协同环境,巩固和扩大数据治理成果(树立数据治理旗帜、盘活存量挖掘价值、从被动到主动治理),通过以治促管、以治促用、以治促转,加速企业的数字化转型。

长效运营的挑战:组织挑战、文化认知挑战、项目转产的挑战。

如何建立长效运营机制:组织领导机制、标准规范机制、培训教育机制、人才培养机制、绩效考评机制和持续优化机制。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/496892.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

c++学习:STL之string类初识

目录 1.关于STL 1.什么是STL 2.STL的六的组件 2.关于string类的学习 1.为何学习string类 2.何为string类 3.string类对象的构造 4.容量操作 5.元素访问的操作 6.迭代器(Iterators) 7.修改类的操作 8.字符串操作 1.关于STL 1.什么是STL STL&a…

理解多态的实现原理

目录 概念: 特例: 协变: final: override: 抽象类、纯虚函数: 查表: 动态绑定: 概念: 就是多个不同的对象,在完成某种相同动作时,会产生多种不同的状态…

佩戴更舒适的骨传导耳机,音质也很出色,南卡 NEO体验

现在天气越来越好,特别适合户外运动,很多人跑步健身时都喜欢戴上一副骨传导耳机,听音乐的同时,还可以随时留意周围的交通状况。在国产的骨传导耳机里面,南卡是很受欢迎的一个品牌,而且旗下产品非常丰富&…

基于Redis优化验证码登录流程, 解决登录状态刷新问题

文章目录 1 问题: 多台Tomcat间session共享问题2 Redis代替session的业务流程分析2.1 设计key的结构2.2 设计Key的具体细节2.3 整体访问流程 3 基于Redis实现短信登录4 解决状态登录刷新问题4.1 初始方案问题4.2 优化方案4.3 代码 1 问题: 多台Tomcat间session共享问题 书接上…

Linux 内存分配/内存管理 相关接口

Linux 内存分配/内存管理 相关接口 分配栈内存alloca() 分配堆内存直接分配malloc() 分配初始化空间calloc() 分配对齐空间posix_memalign()aligned_alloc()过时:memalign()过时:valloc()过时:pvalloc() 修改块的大小realloc()reallocarray()…

20230506在Ubuntu22.04下使用python3下载合并ts切片

20230506在Ubuntu22.04下使用python3下载合并ts切片 2023/5/6 19:42 本文主要是和WIN7/WIN10下的差异比对! 一、 Z:\1575\buquan-ts1574.py import requests from multiprocessing import Pool def mission(url,n): headers {"User-Agent":"M…

php语法基础

基础语法 1&#xff0c;php标记符 ①&#xff0c;XML风格 <?php echo "这是标准风格的标记"; ?>②脚本风格 <script language"php"> echo 这是脚本风格的标记; </script>③简短风格 <? echo "这是简短风格的标记"…

62.网页设计规则#8_视觉层次

什么是视觉层次&#xff1f; 视觉层次是关于确定设计中哪些元素是最重要的。视觉层次是为了吸引人们的注意力关注这些最重要的元素。视觉层次是关于为用户定义一个“路径”,引导他们浏览页面我们使用位置、大小、颜色、间距、边框和阴影的组合来建立元素/组件之间有意义的视觉…

leetcode:环形链表(详解)

前言&#xff1a;内容包括-题目&#xff0c;代码实现&#xff0c;大致思路&#xff0c;代码解读&#xff0c;拓展问题 题目&#xff1a; 给你一个链表的头节点 head &#xff0c;判断链表中是否有环。 如果链表中有某个节点&#xff0c;可以通过连续跟踪 next 指针再次到达&…

【BIM+GIS】Supermap打开BIM Revit模型的方式

Revit导出Supermap GIS格式数据的方法通常有三种:插件式导出、直接导入和标准交换格式(IFC)导出。 文章目录 一、Revit安装Supermap插件1. 安装Supermap插件2. UDB导出模型3. 打开模型二、Revit导出IFC格式1. Revit导出IFC2. Supermap导入IFC一、Revit安装Supermap插件 1. …

115-Linux_C语言访问mysql及操作数据库

文章目录 一.C语言访问mysql1.连接数据库使用的头文件和库文件2.初始化连接句柄3.连接数据库4.关闭连接5.执行sql语句6.提取结果7.获取结果集中有多少行8.取出结果集中的一行记录9.查看记录行的列数10.释放结果集占用的内存11.获取错误信息 二.连接数据库三.操作数据库 一.C语言…

Linux 中实现 ssh 免密登录

Linux 中实现 ssh 免密登录 1. 使用命令行 在控制端使用命令生成私钥密钥对&#xff0c;执行命令 ssh-keygen -t rsa ,一路默认回车即可&#xff0c;然后会在 .ssh/ 目录下生成两个文件 id_rsa 和 id_rsa.pub&#xff0c;如下图。 使用命令 ssh-copy-id root192.168.16.4&…

电力NLP:指令票规范识别

文章目录 任务目的想法讲解数据集介绍1电气主语2操作任务判断数据集3操作内容判断数据集4错误词数据集 解法讲解程序、数据集下载链接 任务目的 识别调度指令票&#xff08;或者其它操作票&#xff09;是否规范。 想法讲解 按石第2014—16号定值单投入石双西线161开关6区保护…

web三大作用域+servlet生命周期

Web三大作用域 Application ServlectContext &#xff1a; 作用于整个web应用&#xff0c;随程序的停止而失效。 使用&#xff1a; request.getServletContext().setAttribute("参数名","参数值");//servlet获取Application对象并传入数据 Application.g…

React antd 日期选择控件踩坑 <DatePicker> Table Ant Design ProTable

背景 需求&#xff1a;一个带日期的字段 后端接口给值时默认设置为这个日期值 不给值时就是默认状态 <DatePicker defaultValue{val} onChange{handleChange} {...props} />这里 val 是我最终从后端获取到的日期数据 可能有值可能没有值 按照官方 API 和 demo 写 应…

实验四 微程序控制器实验报告

我班算是几乎最后一个做实验的班级了&#xff0c;报告参考了一些朋友提供的数据加上一些自己的主观拙见&#xff0c;本人水平有限加之制作仓促难免有错误&#xff0c;望大家批评指正。 4.1 微程序控制器实验 一、实验目的 (1) 掌握微程序控制器的组成原理。 (2) 掌握微程…

springboot实习管理系统的设计与实现

摘 要 随着信息化时代的到来&#xff0c;管理系统都趋向于智能化、系统化&#xff0c;实习管理也不例外&#xff0c;但目前国内仍都使用人工管理&#xff0c;市场规模越来越大&#xff0c;同时信息量也越来越庞大&#xff0c;人工管理显然已无法应对时代的变化&#xff0c;而实…

一键免费部署你的私人 ChatGPT 网页应用-ChatGPT Next Web

ChatGPT-Next-Web是一款基于GPT-3.5的在线聊天机器人应用程序。它可以自动回复用户输入的消息&#xff0c;并提供有用的信息和服务。该应用程序使用了最先进的自然语言处理技术和GPT-3.5模型&#xff0c;可以生成自然流畅的文本&#xff0c;并提供准确和个性化的回复。 项目地…

(浙大陈越版)数据结构 第二章 线性结构 2.3 队列

目录 2.3.1 队列及顺序存储实现 什么是队列 概念&#xff1a; 特性&#xff1a; 队列的抽象数据类型描述 队列的顺序存储实现 解决方案&#xff1a; 2.3.2 队列的链式存储实现 2.3.1 队列及顺序存储实现 什么是队列 概念&#xff1a; 和堆栈一样&#xff0c;是一种受…

黑马点评项目导入

文章目录 开篇导读项目地址导入SQL项目架构介绍后端项目导入前端项目导入 开篇导读 亲爱的小伙伴们大家好&#xff0c;马上咱们就开始实战篇的内容了&#xff0c;相信通过本章的学习&#xff0c;小伙伴们就能理解各种redis的使用啦&#xff0c;接下来咱们来一起看看实战篇我们…