数据治理:数据治理框架和标准

news2024/11/20 4:56:57

参考《一本书讲透数据治理》、《数据治理》等

数据治理并不是新概念,在国内外都有实践,这里重点介绍下国内外对数据治理的主流框架和标准

国际数据治理框架

国际上,主流的数据治理框架主要有:ISO数据治理标准、GDI数据治理框架、DAMA数据管理框架。对国际主流数据治理框架的理解,有助于我们建立符合自身业务需求的数据治理体系。

ISO数据治理标准

ISO/IEC 2015年发布ISO/IEC 38505标准,其完整的数据治理方法论如下:

  • 数据治理目标:促进组织高效、合理地利用组织数据资源
  • 数据治理地6个基本原则:职责、策略、采购、绩效、符合和人员行为。这些原则阐述了指导决策地推荐行为,每个原则描述了应该采取地措施,但并未说明如何何时由谁来实施。
  • 数据治理模型:提出了E评估、D指导、M监督地方法论。通过评估现状和将来的数据利用情况,编制和执行数据战略和政策,以确保数据的使用服务于业务目标,指导数据治理的准备和实施,并监督数据治理实施的符合性等

在这里插入图片描述

  • 内部需求:企业将围绕组织的战略目标疏凿数据文化,以确保数据之列策略达到其总体目标。由于数据预决策一样有价值,因此这种数据文化需要的数据访问、良好数据先骨干的组织行为处理依赖于相关环境中的所有做法和决策过程
  • 外部压力:企业可能需要调整其数据治理战略和政策,以确保符合外部市场的压力对其的作用
    • 客户及利益相关方对数据可用性、治理和交互的期望
    • 竞争对手使用数据来改进或扩展其产品、服务和流程
    • 数据保留和处置要求
    • 适当处理偏见、歧视、和定性的决策义务
    • 有关共享或重用数据的自身产权问题
  • 评估:评估数据治理时,相关机构,应考虑到组织内部要求和外部压力,此外理事机构应审查和判断目前和未来数据的管理和使用情况
  • 指导:指导数据战略的政策制定和执行
    • 最大化企业对数据投资的价值
    • 根据据数据风险偏好管理与数据相关的风险
    • 确保组织的数据管理水平
  • 监督:通过适当的系统测量,检测数据的使用情况
    • 确保数据被放到企业战略的实施中
    • 确保数据的使用和管理符合内部管理和外部法规监管要求
    • 确保数据安全和隐私问题,保证数据使用的透明度
    • 确保数据的存档或处置符合数据管理流程
    • 确保数据合规使用,包括数据共享、出售的相关权利和许可
    • 确保数据使用符合规范、并避免偏见或歧视

DGI数据治理框架

DGI数据治理研究所,是业内最早,最知名的研究数据治理的专业机构,于2004年推出DGI数据治理框架。

采用5W1H法则

dgi数据治理框架图片来源《一本书讲透数据治理》

  • Why:为什么要做数据治理:对应于DGI框架中的第1-2个组件:数据治理的愿景和目标
    • 愿景:主动的规则定义与一致性调整;为数据的利益干系人提供持续的跨职能的保护和服务;解决因违反规则而产生的问题
    • 目标:DGI认为数据治理目标的定义应该可量化、可衡量、可操作,且要服务于企业的业务和管理目标。且不同企业对于目标有不同侧重,一般企业的数据治理涵盖以下一个或多个侧重点:
      • 致力于政策、标准、战略制定的数据治理
      • 致力于数据质量的数据治理
      • 致力于隐私、合规、安全的数据治理
      • 致力于架构、集成的数据治理
      • 致力于数据仓库与商业智能的数据治理
      • 致力于支持管理活动的数据治理
  • What:数据治理治什么:对应于DGI框架中的第3-6个组件:数据规则与定义、数据的决策权、职责、控制
    • 数据规则与定义,侧重业务规则和数据标准的定义
    • 数据的决策权,侧重数据的确权,明确数据归口和产权,为数据标准的定义、数据管理制度、数据管理流程的指定奠定基础
    • 职责,侧重数据治理职责和分工的定义,明确谁应该在什么时候做什么
    • 控制,侧重采用什么措施保证数据的质量和安全以及数据的合规使用
  • Who:谁参与数据治理:对应DGI框架中的第7-9个组件:数据利益干系人、数据治理办公室和数据管理员
    • 数据利益干系人:是可能会影响或收到讨论数据影响的个人或团体,他们对数据治理会有更加准确的目标定位
    • 数据治理办公室:促进并支持数据治理相关活动
    • 数据管理员:由数据治理委员会或数据治理办公室指定的几个数据管理小组以解决特定的数据问题、负责特定业务域的数据质量监控和数据安全合规使用,并根据数据一致性、正确性和完整性等质量标准检查数据集,并发现解决问题
  • How:如何开展数据治理:DGI框架的第10个组件:数据治理流程
    • 数据治理价值声明
    • 确定路径
    • 计划于资金准备
    • 策略设计
    • 策略部署
    • 策略实施
    • 监控、评估、和报告
  • When:什么时候开展数据治理:包含在DGI的第10个组件中,用来定义数据治理的实施路径回答数据治理的时机和优先级等问题
  • Where:数据治理位于何处:包含在DGI框架的第10个组件中,强调明确当前企业数据治理的成熟度级别,找到企业于先进标杆的差距是确定数据治理目标和策略的基础

DGI框架是一个强调主动性、可持续的数据治理模型,对实际治理实施的指导性很强

DAMA数据管理框架

DAMA国际数据管理协会。是一个由全球性数据管理和业务专业的志愿人士组成的非盈利协会,致力于数据管理的研究和实践,其出版的《DAMA数据管理知识体系指南》(DAMA-DMBOK)被业界奉为数据管理的圣经。

其用一个车轮图定义了数据管理的11个知识领域

dama

  • 数据治理:数据治理位于车轮图中央,是对数据管理的高层计划与控制
  • 数据架构:定义了与组织业务战略相协调的数据资产蓝图,以建立战略性的数据需求,并满足需求的总体设计,包括数据技术架构、数据集成架构、数据仓库和商业智能架构以及元数据架构。数据架构要求在不同抽象层级,不同角度上描述组织的数据,以便更好的了解数据,帮助管理者做出决策
  • 数据建模和设计:数据模型分为概念模型、逻辑模型和物料模型。建模方法有维度建模法、面向对象建模法,基于事实的建模法,基于时间的建模法以及非关系型数据建模方法等
  • 数据存储和操作:以业务连续性为目标,包括存储数据的设计,实现和支持活动,以及在整个数据声明周期中从计划到销毁的各种活动。为IT运营提供可靠的数据存储基础设施,可以最大限度地降低业务中断的风险
  • 元数据管理:分为业务元数据、技术元数据、业务元数据。元数据管理包括规划、实施和控制活动,以便访问高质量的集成元数据,包括定义、模型、数据流、以及其他至关重要的信息
  • 数据质量管理:数据质量管理包括规划和实施质量管理技术,以测量、评估和提高数据在组织内的适用性。
  • 主数据和参考数据管理:主数据是企业关键业务实体的核心共享数据,例如组织、人员、客户、供应商、物料等。参考数据是用于描述或分类其他数据,或者将数据与企业外部信息联系起来的任何数据,例如货币代码、地区代码等。主数据和参考数据管理是对企业核心共享数据的持续协调和维护,是关键业务实体真实信息以准确、及时、相关联的方式在各个系统之间得到持续使用
  • 数据安全管理:数据安全管理的目的是确保数据隐私和机密性得到保护,数据不被破坏,并得到适当的访问,确保数据安全。降低风险和促进业务增长是数据安全管理活动的主要驱动因素。
  • 数据集成和互操作:数据集成和互操作,主要目的是对数据移动,进行有效的管理。(在不同组织间流动)
  • 文件和内容管理:用于管理非结构化数据和信息的全生命周期,包括计划、实施、和控制活动,尤其是支持法律法规遵从性要求所需的文档
  • 数据仓库和商业智能:用来管理决策支持数据,并使得业务和管理人员通过分析报告从数据中获取价值,该技术赋能企业将不同来源数据整合到公共数据模型中,整合后的数据模型为业务运营提供洞察。DAMA-DMBOK2认为,数据仓库和商业智能是数据价值的提供者,而要提供数据价值离不开数据治理的支撑

国内数据治理框架

国内起步相对较晚,目前主要有GB/T 34960和 DCMM两个标准

GB/T 34960规定的数据治理规范

我国发布的信息化标准GB/T34960《信息技术服务治理》包含5部分:

  • 通用要求
  • 实施指南
  • 绩效评价
  • 审计导则
  • 数据治理规范

其中第五部分数据治理规范提出了数据治理的总则和要求,为企业数据治理体系的建设提供了参考

gbt34960数据治理架构

《数据治理规范》包括顶层设计、数据治理环境、数据治理领域和数据治理过程四大部分

  • 顶层设计
    • 战略规划:应保持与业务规划、信息技术规划一致,并明确战略规划的实施策略
    • 组织构建:应聚焦责任主体以及责权利,通过完善的组织机制,获得利益相关方的理解和支持,指定数据管理的流程和只读,以支持数据治理的实施
    • 架构设计:应关注技术架构、应用架构、和管理体系,通过持续的评估、改进和优化,以支撑数据的应用和服务。建立与战略一致性的数据架构,明确技术方向,管理策略和支撑体系,以满足数据管理、数据流通和数据洞察的应用需求
  • 数据治理环境
    • 内外部环境:组织应分析业务、市场和利益相关方的需求,适应内外部环境变化,支撑数据治理实施。内外部环境包括:遵守法律法规;满足利益相关方需求;识别并评估市场发展、竞争地位和技术变革的变化等
    • 促成因素:包括获得数据治理决策机构的授权和支持;明确人员的业务技能和职业发展路径;关注技术发展趋势和技术体系建设;指定数据治理实施流程和制度;营造数据驱动的创新文化;评估数据资产管理能力和数据运营的水平
  • 数据治理域
    • 数据管理体系:围绕数据标准、数据质量、数据安全、元数据管理和数据生命周期管理开展数据管理体系的治理
    • 数据价值体系:围绕数据流通、数据服务和数据洞察等,开展数据资产运营和应用的治理
  • 数据治理过程
    • 统筹和规划:明确数据治理目标和任务,营造必要的治理环境,做好数据治理实施的准备。这一环节的工作包括:评估数据治理的资源、环境和人员能力等现状;指导数据治理方案的制定;监督数据治理的统筹和规划过程,保证现状评估客观、组织机构设计合理、数据治理方案可行
    • 构建和运行:构建数据治理实施的机制和路径,确保数据治理实施的有序运行。这一环节工作包括:评估数据治理方案与现有资源、环境、能力的匹配程度;指定数据治理的实施方案;监督数据治理的构建和运行过程,保证数据实施过程与方案的符合性和治理活动的可持续性
    • 监控和评价:监控数据治理过程,评价数据治理的绩效、风险和合规,保证数据治理目标的实施。这一环节工作包括:构建必要的绩效评估体系、内控体系或审计体系、制定评价机制、流程和制度;评估数据治理成效与目标的符合性;定期评价数据治理实施的有效性和合规性。
    • 改进和优化:改进数据治理方案,优化数据治理实施策略、方法和流程,促进数据治理体系的完善。这一环节的工作包括:持续评估数据治理相关资源、环境、能力、实施和绩效等;指导数据治理方案的改进;优化数据治理的实施策略、方法流程和制度,促进数据管理体系和数据价值体系的完善。

数据管理能力成熟度评估模型

GB/T 36073-2018《数据管理能力成熟度评估模型》DCMM,实在国家标准化管理委员会指导下,由全国信息技术标准化技术委员会编制的一份国家标准,于2018年发布并实施

DCMM按照组织制度流程技术对数据管理能力进行了分析和总结,提炼出组织数据管理的8个过程域,其共包括28个过程项:

  • 数据战略:数据战略规划、数据战略实施、数据战略评估
  • 数据治理:数据治理组织、数据制度建设、数据治理沟通
  • 数据架构:数据模型、数据分布、数据集成与共享、元数据管理
  • 数据应用:数据分析、数据开放共享、数据服务
  • 数据安全:数据安全策略、数据安全管理、数据安全审计
  • 数据质量:数据质量需求、数据质量检查、数据质量分析、数据质量提升
  • 数据标准:业务术语、参考数据和主数据、数据元、指标数据
  • 数据生存周期:数据需求、数据设计和开放、数据运维、数据退役

在这里插入图片描述

DCMM将组织的数据能力成熟度划分为:初始级、受管理级、稳健级、量化管理级、和优化级

在这里插入图片描述

本文概述的是国内外的主流的数据治理框架和标准,作为指导学习,当然不同企业仍然是根据企业自身情况参考。而DCMM数据能力成熟度这个是每个数据处理企业比定的级,也是企业数据成熟度能力的一个参考项,越来越多的企业合作伙伴重视此项评级。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/124603.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

深入浅出scala之函数(匿名函数)(P41-45)

文章目录1.函数的定义2.匿名函数3.递归函数4.无参函数5.方法和函数的区别联系1.函数的定义 package MethodDemoobject FunctionDefinition {// 实现加法的功能,省略写法,把函数体写在返回值的位置val f1 ((a: Int, b: Int) > { a b })val f2 (a: …

Charles - 配置抓Chrome、iOS、Android包环境

官网下载地址:https://www.charlesproxy.com/。 1、设置代理http端口 路径:Proxy > Proxy Settings > Proxies > HTTP proxy > Prot 2、设置代理https端口 路径:SSL Proxying Settings > SSL Proxyin 3、Mac证书配置 …

谷粒商城-基础篇-Day06-属性分组

属性分组 抽取出一个tree组件放到modules下的common下的category.vue <template><el-tree :data"menus" :props"defaultProps" node-key"catId"ref"menu"></el-tree> </template><script> //这里可以…

LVGL学习笔记6 - 输入设备

目录 1. 移植文件 2. 移除多余代码 3. 输入设备初始化 4. 输入设备读回调函数 4.1 LV_INDEV_TYPE_POINTER 4.2 LV_INDEV_TYPE_KEYPAD 4.3 LV_INDEV_TYPE_ENCODER 4.4 LV_INDEV_TYPE_BUTTON 5. 事件 6. 实例 7 Group 7.1 创建Group 7.2 与输入设备关联 7.3 添加对…

低频功率放大器参考电路图解大全

功率放大器一般也被我们称为电压放大器&#xff0c;主要是把微弱信号进行电压放大&#xff0c;其输入输出的电压电流一般很小&#xff0c;不能够直接驱动功率较大的仪器。为了满足使用需求&#xff0c;需要在放大器末级增加功率放大器。而功率放大器主要就是放大信号功率&#…

供应商绩效管理对企业采购组织的重要价值

供应商绩效管理是供应商管理中的重要组成部分&#xff0c;它在企业整个采购管理生命周期中起到重要的作用&#xff0c;作为管理好供应商的一个重要手段&#xff0c;现代企业几乎都会对供应商实施绩效考核。供应商绩效管理是对公司供应商的可靠性、质量和性能的监视和分析。它能…

sec2-GObject

1 类和实例 GObject实例用函数g_object_new创建。GObject不仅仅有实例&#xff0c;也有类。 一个GObject类在第一次访问g_object_new时候创建&#xff0c;只有有一个GObject类存在。GObject实例在任何时候访问g_object_new都会被创建&#xff0c;所以就会创建更多GObject实例…

【剧前爆米花--爪哇岛寻宝】String类型构造,修改的底层逻辑与StringBuilder和StringBuffer的关系

作者&#xff1a;困了电视剧 专栏&#xff1a;《JavaSE语法与底层详解》 文章分布&#xff1a;这是一篇关于String类型及其底层构造的文章&#xff0c;如有疏漏&#xff0c;欢迎大佬指正&#xff01; String对象的创建 字符串的用法比较多&#xff0c;所以String类提供的构造方…

算法复杂度 O(1),O(n),O(logn),O(nlogn)的区别

算法复杂度分为时间复杂度和空间复杂度 时间复杂度是指执行这个算法所需要的计算工作量空间复杂度是指这个算法所需要的内存空间 1.对于一个循环&#xff0c;假设循环体的时间复杂度为O(n),循环次数为n&#xff0c;则这个循环的时间复杂度为O(n*1)。 void aFunc(int n) {for…

嵌入式终端的以太网系统简析

一 初识以太网电路 从硬件的角度看&#xff0c;以太网接口电路主要由 MAC&#xff08;Media Access Control&#xff09;控制器和物理层接口 PHY&#xff08;Physical Layer&#xff09;两大部分构成&#xff0c;一般一个嵌入式终端系统的以太网硬件抽象 如下&#xff1a; 1 网…

数字孪生教学楼3d可视化系统功能介绍

目前&#xff0c;校园教学楼运维管理阶段面临的主要难题有&#xff1a;数据采集不全、数据各自为阵的数据孤岛现象严重&#xff1b;系统的集成度低&#xff0c;缺乏统一、有效的运行维护处理中心平台&#xff1b;能耗巨大&#xff0c;不符合绿色建筑要求&#xff0c;未形成有效…

做了多年的Android开发,自己是否有擅长领域?(Framework 篇)

前言 如今Android 开发行业的招聘需求可谓是越来越高了&#xff0c;如果你想入大厂工作&#xff0c;学历还只是他们的基础入门的门槛&#xff0c;他们不仅要看学历还得看你是否在某块技术领域有着过硬的实力。比如&#xff1a;APP性能优化、Framework底层原理、音视频、APP架构…

数字验证学习笔记——SystemVerilog芯片验证17 ——数组约束

一、数组约束 1.1 数组的属性约束 多数情况下&#xff0c;数组的大小应该给定范围&#xff0c;防止生成过大体积的数组或者空数组此外还可以在约束中结合数组的其他方法sum&#xff08;&#xff09;&#xff0c;product&#xff08;&#xff09;&#xff0c;and&#xff08;&a…

Ansys Zemax | 如何在 OpticStudio 中模拟人眼

本文是人眼模型的一个案例研究&#xff0c;并提供了更高级的序列模式建模技术的演示。我们将在OpticStudio中使用Liou & Brennan 1997眼睛模型创建人眼模型。在OpticStudio中成功生成这个眼睛模型后&#xff0c;我们将使用它来设计一个自由形式的渐进眼镜镜片。 下载 联系…

正大国际期货:2022年各行业顶级富豪身价大洗牌

2022年各行业顶级富豪身价大洗牌 富豪身价较2021年年底变动幅度涨跌幅 行业&#xff1a;加密货币&#xff0c;币安创始人&#xff1a;赵长鹏816%&#xff0c;身价174亿美元 行业&#xff1a;基建、大宗商品&#xff0c;阿达尼集团创始人&#xff1a;高塔姆阿达尼210%&#x…

Linux下Python脚本的编写(二)

今天试着把两个shell小脚本转化成Python版本 一. 脚本1 判断所接的nvme 在哪个CPU上 #!/bin/bash lscpu |grep -i node for nvme in nvme list|sed 1,2d|awk {print $1}|awk -F "/" {print $NF} doecho $nvmebusid$(readlink -f /sys/block/$nvme |cut -d / -f 6)ec…

【解决】VMware虚拟机中ubuntu系统联网问题——以桥接模式解决

问题描述 由于需要通过笔记本的蓝牙与外接设备进行通信&#xff0c;我使用的是无线网。所以需要使用VMware中提供的桥接模式&#xff0c;借助笔记本的无线网卡进行联网&#xff0c;之前设置过一次&#xff0c;能够正常运行&#xff0c;但是关机后&#xff0c;可能加载的快照不同…

维视智造成为苏州市人工智能行业协会首届会员单位

近日&#xff0c;以“智者相偕聚势赋能”为主题的苏州市人工智能行业协会一届一次会员大会暨成立大会在苏州举行&#xff0c;来自全市200多家人工智能相关单位的代表以及人工智能领域的知名学者、产业专家、企业家参加了会议。维视智造作为协会的首届会员&#xff0c;与苏州市工…

2022/12/28总结

今天AC了一道题&#xff08;后面的题目对我来说好难&#xff0c;刷不动了&#xff09; P2895 [USACO08FEB]Meteor Shower S P2895 [USACO08FEB]Meteor Shower S_lxh0113的博客-CSDN博客 学的新知识&#xff1a; dijkstra算法 dijkstra算法是求最短路径的算法。相比较于flo…

【真干货】Activiti7工作流如何使用?看这里

一. 前言 近日文哥有个毕业学员在公司开发时遇到了工作流的相关业务场景。在这里&#xff0c;文哥给大家精心准备了以Activiti为代表的工作流简单使用教程&#xff0c;希望能给有需要的小伙伴们一些帮助。下面我们就来开始介绍Activiti工作流的基本使用情况。 二. Activiti工…