24张架构图讲透数据治理核心内容

news2024/9/21 4:41:04

a68cdb92e27db29d6bc5f31ac629c5b9.jpeg

加ghz“大数据食铁兽”,了解更多大数据资讯!

一、数据治理的框架和核心内容

不同的利益相关者群体对数据治理的关注点不一样,因此各自的视图也不一样。其中管理者视图可以概括为“五域模型”,分别是“管控域”、“过程域”、“治理域”、“技术域”、“价值域”。

627a6e5cac81fefa42296ad7a7fd4dc0.jpeg

图1、管理者视角-数据治理五域模型


管控域:在数据治理战略指导下制订企业数据治理组织,明确组织的责、权、利,岗位编制及技能要求。

治理域:是数据治理的主体,明确数据治理的对象和目标。

技术域:数据治理的支撑手段,指的工具平台。

过程域:是数据治理的方法论。

价值域:通过对数据资产的管控挖掘数据资产的价值,并通过数据的流动、共享、交易变现数据资产。

f359fce4e8bf9f84bc18ff02bdeab8aa.jpeg

图2、技术视角:企业大数据治理实践指南框架


数据治理体系,包括数据战略、数据治理管控体系(数据治理组织、制度、流程、管控机制、绩效体系及标准体系)、数据架构、主数据、元数据、指标数据、时序数据、数据质量、数据安全、数据集成与交换、数据开放和共享、数据资产管理能力成熟度评估以及数据价值、数据共享、数据变现等多方面。

314899f670cc1c4211225f608ceb21a6.jpeg

图3、数据治理车轮图


接下来从数据战略、数据管控(组织管理、制度体系、流程管理及绩效)、三个核心体系(数据标准体系、数据质量体系、数据安全体系)和工具等分别进行介绍。

93965e49f3d984793e45fae8d86c5a75.jpeg

图4、企业数据管控和三个核心体系


1、数据战略

数据战略是整个数据治理体系的首要任务,关注整个组织数据战略的规划,愿景和落地实施,为组织数据管理、应用工作的开展提供战略保障,应由数据治理组织中的决策层制定,需要指明数据治理的方向,包括数据治理的方针、政策等。

7d7d85741c3dffdaa3c8dfb18cacf154.jpeg

图5、数据治理顶层规划设计方法论


正确的顶层设计是企业家对未来形势的正确判断,对机会和战略,治理与架构,资本和模式,供应链和数字化,品牌和营销,产品和客户等整体一盘棋的布局。如果说商战就是没有硝烟的战争,那么顶层设计则是整体战的部署。

2、组织管理

组织保障是数据治理成功的关键。组织建设一般包括组织架构设计、部门职责、人员编制、岗位职责及能力要求、绩效管理等内容。数据治理是一项需要企业通力协作的工作,而有效的组织架构是企业数据治理能够成功的有力保障。为达到数据战略目标,非常有必要建立体系化的组织架构,明确职责分工。

6981f87c939b1ed647997ae595b60bb5.jpeg

图7、某央企数据治理组织架构设置范例


3、制度体系

保障组织架构正常运转和数据治理各项工作的有序实施,需要建立一套涵盖不同管理粒度、不同适用对象,异覆盖数据治理过程的管理制度体系,从“法理”层面保障数据治理工作有据、可行、可控。

1a3293478dc91cff055cbb623575bf4c.jpeg


图8、数据治理制度框架


企业的数据治理制度通常根据企业的IT制度的总体框架和指导原则制定,往往包含数据质量管理、数据标准管理、数据安全管理等制度,以及元数据管理、主数据管理、数据指标管理等办法及若干指导手册。

b84bb3f5133269201b16173cd4026e24.jpeg

图9、数据治理制度框架体系


908871f393425c9651b2bd0b148e31fd.jpeg

图10、数据资产管理规定目录


4、流程管理

制定数据治理的流程框架也是数据治理的重要工作。数据治理流程包括从数据的生产、存储、处理、使用、共享、销毁全生命周期过程中所遵循的活动步骤,以及元数据管理、主数据管理、数据指标管理等流程。

ef306a3bb58450b1e82593edd0c3a6f7.jpeg

图11、数据治理流程框架体系


5、绩效管理

数据治理考核是保障数据治理制度落实的根本,通过系统的方法、原理来评定和测量企业员工在一段时间内数据治理相关的工作行为和工作效果,进一步激发员工的积极性和创造性,提供员工的数据治理责任心和基本素质。

200c4392dd9631c6cd37f421cbe77a9f.jpeg

图12、数据治理绩效体系


6、标准体系

数据标准是实现数据标准化、规范化的前提,是保证数据质量的必要条件。数据标准一般分为元数据标准、主数据标准、数据指标标准、数据分类标准、数据编码标准、数据集成标准等内容。

1326897b31bd8363aa7c522cc41e80b9.jpeg

图13、数据标准化体系


7、质量体系

数据质量管理是对数据的分析、监控、评估和改进的过程。包括规划和实施质量管理技术,以测量、评估和提高数据在组织内的适用性,提高数据对业务和管理的满足度。重点关注数据质量需求、数据质量检查、数据质量分析和数据质量提升的实现能力。 

49e5ee8711a2ed3780662163088ab224.jpeg

图14、数据质量框架体系


数据质量管理贯穿数据生命周期的全过程,除了明确数据质量管理的策略,还要善于使用数据质量管理的手段及工具,覆盖数据质量需求、数据探查、数据诊断、质量评估、质量提升等方面。

8、安全体系

数据安全管理是为了确保数据隐私和机密性得到维护,数据不被破坏。数据安全体系框架通过3个维度构建而成,包括政策法规、技术层面和安全组织人员。数据安全治理体系框架在符合政策法规及标准规范的同时,需要在技术上实现对数据的实时监管,并配合经过规范培训的安全组织人员,构成了数据安全治理整体架构的建设。 

8677cc27e3734d960658a3a5d04ce485.jpeg

图15、数据安全治理体系


数据安全治理能力建设是一个覆盖数据全部生命周期和使用场景的数据安全体系,需要从决策到技术,从制度到工具,从组织架构到安全技术通盘考虑。

 

124c0cf4c6df750815ef039997b16cd4.jpeg

图16、数据数据全部生命周期


9、平台工具

搭建一体化数据平台,满足前台应用准确性、快速性和多样性的数据需求,缩短研发周期、降低技术成本,将数据中心逐步由成本中心向资产中心转变,提升数据价值,实现五个打通:(1)横向打通:破除部门壁垒,横向跨专业间的分析挖掘融通;(2)纵向打通:内部多层级数据打通,形成统一资源目录。上下级数据共享交换;(3)内外打通:消除内外数据的鸿沟,实现内外部数据的关联分析;(4)管理打通:建立企业标准,实现统一管理统计口径;(5)服务打通:数据中台统一对外提供数据服务和应用构建,与业务系统和数据应用充分协同。

 

0b9734f895d5a9b6aaa161dde4bb625c.jpeg

图17、两体系两平台一服务的数据平台总体框架


面向数据全生命周期,提供的一站式数据规划、集成、开发、治理、服务、应用等产品。

 

0502ad04cab929524a5ddf70d96a87bf.jpeg

图18、数据平台能力框架


从数据接入整合能力、数据共享应用能力、数据综合管理能力、基础组件支撑能力四方面,全面建设数据能力,培育能力体系,以多类型大数据量的汇聚为基础,以统一模型为标准,为前端应用提供灵活的统一数据服务。

 

8242c509b13fb9b77b3b69108b2c9e93.jpeg

图19、数据平台四大支撑能力


数据治理需要多种数据治理工具软件的支撑,包括以主数据为核心的套装软件、以数据资产目录为核心的数据资源管理工具、以元数据和数据模型为核心的数据中台,此外还有时序数据、数据交换等。

数据治理管理工具包括数据架构工具、元数据管理工具、数据指标管理工具、主数据管理工具、时序数据管理工具、数据交换与服务工具、质量管理工具和安全管理工具等。

 

645ed3e08d93f830d5ff05886e800827.jpeg

图20、数据治理工具集

 

fdfb751eb36fbc7a0be752f00e5f3550.jpeg

图21、以元数据治理为核心的数据治理工具


主数据服务业务视图包括8个业务域、32个业务子域及相关业务活动,主数据管理工具是主数据全生命周期管理的平台,也是主数据标准、运维体系落地的重要保障。

dc80d27ee247b862a239cf28c1a5705e.jpeg

图22、以主数据治理为核心的数据治理工具


主数据治理平台是企业数据规划、数据标准落地的载体,实现数据治理统一标准、统一规则的支撑。

 

8f70d553634f5444fe76687b3d99c625.jpeg

图23、主数据管理工具-逻辑架构


二、人工智能是大数据治理核心方向

“无治理、不分析”,没有高质量的数据,就不会有可信的AI。数据治理是人工智能基础,为人工智能提供高质量的数据输入。有了人工智能加持,数据治理将变得更加高效和智能。

人工智能技术在数据采集、数据建模、元数据管理、主数据管理、数据标准、数据质量及数据安全等领域有着深入的应用。

 

5e490011d7afd7559536fa69b9995272.jpeg

图24、人工智能技术在数据治理中的应用


三、结束语

数据治理的发展是伴随着不同行业对数据资源资产化、数据确权与合规、数据价值创造与共享、隐私保护的认识、研究和实践的一个演进过程,是一项繁杂、长期的工作,需要工匠精神、锲而不舍。


源:谈数据

免责声明:以上报告均系本平台通过公开、合法渠道获得,报告版权归原撰写/发布机构所有,如涉侵权,请联系删除 ;资料为推荐阅读,仅供参考学习,如对内容存疑,请与原撰写/发布机构联系

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/987478.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

虹科干货 | 码住!虹科工业树莓派应用小tips!

文章来源:虹科工业物联网 点此阅读原文,获取更多干货资料 虹科工业树莓派应用小tips 在应用虹科工业树莓派进行项目开发的过程中,我们会应用到各种功能,部分功能看似不起眼,但是在实际应用开发过程中却非常重要。接…

[C题]2023 年全国大学生数学建模比赛思路、代码更新中.....

💥1 概述 在生鲜商超中,一般蔬菜类商品的保鲜期都比较短,且品相随销售时间的增加而变差,大部分品种如当日未售出,隔日就无法再售。因此,商超通常会根据各商品的历史销售和需求情况每天进行补货。由于商超销…

输送机安装的注意事项

输送机也称输送线,是指在自动化生产过程中起到运输和过渡作用的线体,一般常用的输送机有:滚筒线、皮带线、链条线、链板线等。但无论是哪种输送机,都会涉及到安装的问题,今天我们就从专业的角度来和您分享一下输送机安…

软件供应链安全在金融机构中的最佳实践 | 金融系统安全实战专题交流会圆满成功

9月6日,由广东省粤港澳合作促进会金融专业委员会和粤港澳大湾区金融创新研究院联合举办,开源网安协办的“2023年金融系统安全运营与实战专题交流会”圆满落幕。本次会议紧紧围绕加强安全运营中心建设、应对风险、加强数据安全治理,保障数据安…

字节一面:css选择器有哪些?优先级?哪些属性可以继承?

前言 最近博主在字节面试中遇到这样一个面试题,这个问题也是前端面试的高频问题,作为一名前端开发工程师,css是我们的必备技能,熟悉css选择器以及继承是我们写好css的关键,博主在这给大家细细道来。 🚀 作者…

PHP实现微信小程序状态检测(违规、暂停服务、维护中、正在修复)

实现原理 进入那些状态不正常的小程序会被重定向至一个Url&#xff0c;使用抓包软件抓取这个Url&#xff0c;剔除不必要参数&#xff0c;使用cURl函数请求网页获得HTML内容&#xff0c;根据内容解析出当前APPID的小程序的状态。 代码 <?php// 编码header(Content-type:ap…

Flink--2、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)

星光下的赶路人star的个人主页 你必须赢过&#xff0c;才可以说不在乎输赢 文章目录 1、Flink部署1.1 集群角色1.2 Flink集群搭建1.2.1 集群启动1.2.2 向集群提交作业 1.3 部署模式1.3.1 会话模式&#xff08;Session Mode&#xff09;1.3.2 单作业模式&#xff08;Per-Job Mod…

业绩大变脸!上半年净亏1.1亿元,经纬恒润怎么了?

2023年上半年&#xff0c;中国汽车市场需求逐步恢复&#xff0c;智能电动汽车市场则呈现出了“高歌猛进”的现象&#xff0c;但经纬恒润却面临了业绩大变脸。 经纬恒润&#xff08;688326.SH&#xff09;成立于2003年&#xff0c;基于Mobileye方案顺利进入了ADAS前装量产市场&…

软件设计师(十二)多媒体基础

一、多媒体技术的基本概念 1、音频相关概念 PC处理的音频信号主要是人耳能听得到的音频信号 (audio) &#xff0c;它的频率范围是20Hz ~ 20kHz。 可听声包括&#xff1a;话音 (也称语言)&#xff1a;人的说话声&#xff0c;频率范围通常为300 ~ 3400Hz。 音乐&#xff1a;由乐…

电脑文件误删除如何恢复?这4个常用方法记好了!

“我怎么又误删了重要的文件啊&#xff01;这种情况已经不是第一次出现了&#xff0c;真的很让人烦恼&#xff01;大家在误删了重要的文件之后都是怎么恢复的呀&#xff1f;有什么好用的方法推荐吗&#xff1f;” 在日常使用电脑的过程中&#xff0c;误删文件的事大家可能都会遇…

鸿蒙系列-如何使用DevEco分析app的性能

如何使用DevEco分析app的性能 性能优化、启动优化、内存优化、FPS监测、性能分析&#x1f9d0; 在鸿蒙OpenHarmony开发过程中&#xff0c;开发者开发的代码&#xff08;Stage 模型&#xff09;通常以调用 ArkUI 框架的代码为主&#xff0c;主要优化的代码部分也在其中&#x…

Java“牵手”易贝商品列表数据,关键词搜索易贝商品数据接口,易贝API申请指南

ebay商城是一个网上购物平台&#xff0c;售卖各类商品&#xff0c;包括服装、鞋类、家居用品、美妆产品、电子产品等。要获取ebay商品列表和商品详情页面数据&#xff0c;您可以通过开放平台的接口或者直接访问ebay商城的网页来获取商品详情信息。以下是两种常用方法的介绍&…

2023年9月CSPM-3国标项目管理中级认证报名,来弘博创新

CSPM-3中级项目管理专业人员评价&#xff0c;是中国标准化协会&#xff08;全国项目管理标准化技术委员会秘书处&#xff09;&#xff0c;面向社会开展项目管理专业人员能力的等级证书。旨在构建多层次从业人员培养培训体系&#xff0c;建立健全人才职业能力评价和激励机制的要…

喜报 | 人大金仓荣获2023“金鼎奖”,金融系统解决方案再获认可

近日&#xff0c;由中国人民银行旗下《金融电子化》杂志社评选的2023“金鼎奖”结果正式揭晓。人大金仓“基于金仓关系型数据库供应链金融系统解决方案”&#xff0c;获得了来自中国人民银行以及银行、保险、证券、基金等各类型金融机构专家的一致认可&#xff0c;荣获“优秀网…

Redis的基本操作与应用(附相关面试题...)

一、数据类型与操作步骤 1、概述&#xff1a;Redis是一款基于内存以KV键值对存储的中间件技术&#xff0c;常用做缓存&#xff0c;支持数据持久化。 2、数据类型&#xff1a; 常用5种数据类型&#xff1a;String(字符串)、List(列表)、set&#xff08;集合&#xff09;、ha…

GaussDB数据库SQL系列-数据去重

目录 一、前言 二、数据去重应用场景 三、数据去重案例&#xff08;GaussDB&#xff09; 1、示例场景描述 2、定义重复数据 3、制定去重规则 4、创建测试数据&#xff08;GaussDB&#xff09; 5、编写去重方法&#xff08;GaussDB&#xff09; 6、附&#xff1a;全字段…

【Linux安装java环境】超简单,以jdk8为例

文章目录 前言详细步骤总结 前言 一些小伙伴在到手一台虚拟机后&#xff0c;发现需要配置java环境&#xff0c;看了文章后会发现超级简单&#xff0c;以下内容以安装jdk1.8为例。 详细步骤 查看是否存在java环境java -version若弹出找不到java命令&#xff0c;执行下一步。官…

【2023高教社杯】C题 蔬菜类商品的自动定价与补货决策 问题分析、数学模型及python代码实现

【2023高教社杯】C题 蔬菜类商品的自动定价与补货决策 1 题目 C题蔬菜类商品的自动定价与补货决策 在生鲜商超中&#xff0c;一般蔬菜类商品的保鲜期都比较短&#xff0c;且品相随销售时间的增加而变差&#xff0c; 大部分品种如当日未售出&#xff0c;隔日就无法再售。因此&…

BLE架构与开源协议栈

BLE架构&#xff1a; 简单来说&#xff0c;BLE协议栈可以分成三个部分&#xff0c;主机(host)程序&#xff0c;控制器(controller)程序&#xff0c;主机控制器接口(HCI)。如果再加上底层射频硬件和顶层用户程序&#xff0c;则构成了完整的BLE协议&#xff0c;如下图所示&#…

@Autowired为什么会报错?如何解决?

作者 | 磊哥 来源 | Java中文社群&#xff08;ID&#xff1a;javacn666&#xff09; 转载请联系授权&#xff08;微信ID&#xff1a;GG_Stone&#xff09; Autowired报错信息相信大部分程序员都遇到过&#xff0c;奇怪的是虽然代码报错&#xff0c;但丝毫不影响程序的正常执行&…