【数字化】要点整理-《数据治理体系完整指南》

news2024/10/5 13:05:50
导读:本文整理内容来自一篇关于数据治理体系相对比较完整内容文章,体系化的范围介绍主要包括了介绍元数据、数据标准、数据建模、数据集成、数据质量、数据开发、数据安全、ETL。可以作为数据治理建设参考。

01 数据治理体系


02 元数据

2.1、元数据解决的问题

有什么数据 - 数据是什么 - 来自何处 - 如何流转 - 谁可以访问

其本质也是一种数据,,开展元数据管理工作是开展数据资产管理的基础。

2.2、元数据分类

业务元数据:描述数据系统中业务领域相关概念、关系和规则的数据;包括业务术语、信息分类、指标、统计口径等。(从业务角度描述的)

技术元数据:描述数据系统中技术领域相关的概念、关系和规则的数据;包括数据平台内对象和数据结构的定义、源数据到目的数据的映射、数据转换加工过程的描述等。

管理元数据:描述数据系统中管理领域相关概念、关系、规则的数据;主要包括人员角色、岗位职责、管理流程等信息。

2.3、元数据模型成熟度

1、第一阶段:需要手动管理元数据,即在数据治理流程外需要额外增加的步骤。

2、第二阶段:在数据探查阶段自动生成元数据。

3、第三阶段:自动构建数据流转元数据。

2.4、元数据建设目标和管理手段

2.5元数据管理

元数据管理方法:

元数据管理能力:


03 数据标准

3.1、常见的数据标准包含基础数据标准指标数据标准

主要构成:业务定义+管理信息+技术属性

数据标准包含内容包括:主题&分类+标注属性+标准代码

3.2 、数据标准类型(举例)

不同行业的标准不同,这里仅是举例说明。

如:性别、身份证、金额、手机号码、行业、级别的分级分类的代码等

3.3、数据标准管理体系涉及思路

数据标准来源于业务,服务于业务。

依据已有标准进行建设

基础类数据标准:业务化视角

指标类数据标准:从管理角度出发

数据标准的制定是一个以业务管理为主导、外部要求为依据、企业现状为基础的兼容过程。

3.4、数据标准架构体系

通过统一标准和架构规范,统一指标、统一术语、统一模型、统一信息项,解决数据口径解释不清晰、业务和数据理解不一致等问题,实现数据在架构层面的统一

但并非所有基础类数据都要建立标准,纳入标准的数据项需要满足共享性、重要性和可行性的准入原则。

3.5、管理类数据标准建设原则

定义:分析类数据标准的业务含义和所适用的业务场景保持一致。

口径:分析类数据标准的业务取值范围、计算方法和编码规则等业务规则保持一直。

名称:分析类数据标准中文名称和英文名称均采用统一命名规则,表示相同业务含义的信息项名称应保持一直。

参照:各分析类数据标准项标准化时参考的外部标准(包括国际标准、国家标准和行业标准),内部业务制度和业务规范应保持一致。

来源:每个分析类数据标准都应有权威的来源系统;其他系统使用该信息时应直接取用权威系统结果,以保持一致。

以下为某企业数据标准体系框架示例,分为基础类数据标准和管理类数据标准

3.6、数据标准生命周期管理


04 数据建模

4.1、概念

企业级数据模型建设方法:从全局入手,涉及标准化数据模型,构建统一的数据模型管控体系,丰富和完善数据实体相关属性信息,梳理数据实体之间的逻辑关系,最终形成不同主题域数据模型。

4.2、数据模型分类

4.3、数据模型生命周期

4.4、案例


05 数据集成

5.1、概念

数据集成:主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程,是一个渐进的过程,主要有新的、不同的数据产生,就不断有数据集成的步骤和方案执行。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机的集中,从而为企业数据共享提供基础支撑。

5.2、数据集成整体架构


06 数据生命周期

6.1、阶段划分

按照两个大的阶段来划分:数据治理规划阶段+数据生命周期管理阶段

数据治理规划阶段

  • 业务规划定义阶段:业务规划、业务标准设计

  • 应用设计实现阶段:数据模型设计、应用标准设计、应用设计实现、数据录入

数据生命周期管理阶段

  • 数据创建:利用数据模型保证数据完整、执行数据标准保证数据准确、加入数据质量检查创建准确、保证数据在合理的系统生成;

  • 数据使用:利用元数据监控数据使用、利用数据标准保证数据准确、利用数据质量检查加工准确、确保数据在合理的系统使用、控制数据的派生;

  • 数据归档:利用评估手段保证归档时机、分数据类型规档数据;

  • 数据销毁:利用评估手段保证数据销毁时机,分数据类型销毁数据。

要求

  • 满足对历史数据查询相关政策和管理制度的要求

  • 满足业务操作和管理分析的需要

  • 满足审计管理要求

  • 减少数据冗余,提高数据一致性

  • 存储、硬件、运维等方面基础设施投入

  • 提升应用系统性能,提高响应速度

6.2、管理要求和手段

6.3、管理规范和管理办法


07 数据质量

7.1、数据质量管理目标

  1. 根据数据消费者的需求,开发一种满足数据质量要求的管理方法

  1. 定义数据质量控制的标准和规范,并作文整个数据生命周期的一部分

  1. 定义和事实测量、监控和报告数据质量水平的过程

  1. 根据数据消费者要求,通过改变流程和系统,以及参与可显著改善数据质量的活动,识别和倡导提高数据质量的机会

7.2、生命周期

  • 计划阶段:数据质量团队评估已知的问题范围、影响和优先级,并评估解决这些问题的备选方案。

  • 执行计划:数据质量团队负责努力解决引起问题的根本原因,并做出对持续监控数据的计划(技术问题、流程问题)。

  • 检查阶段:这一阶段包括积极监控按要求评测的数据质量。

  • 处理阶段:处理和解决新出现的数据质量问题的活动。

7.3、数据质量维度

7.4、数据质量常用工具


08 数据开发

围绕数据价值通道(数据资产 -> 数据服务 -> 业务应用)来设计数据开发的全流程管理,推动数据价值的释放。

8.1、数据资产

数据资产的应用实现方式,打通基础数据链条,实现联通协同,提升数据价值

数据资产生命周期:注册、变更、监控、下线

8.2、数据服务

数据服务技术架构:


09 数据安全

数据安全体系包含:数据安全技术体系+安全管理体系+安全运营体系


10 ETL

10.1、含义

10.2、ETL模式

10.2.1触发器模式:

10.2.2增量字段模式:

10.2.3全量同步模式:

10.2.4日志对比模式:

10.2.5不同模式的对比:

10.3、离线和实时

10.3、离线和实时

实时数据:

离线数据:

使用场景:

(END)

注,内容要点整理自:数据治理体系完整指南(全)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/193264.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

先天性心脏病的6大症状,家长要重视治疗!

先天性心脏病是一种严重的心血管疾病,与遗传和环境有密切的关系,而且先天性心脏病越早治疗效果越好,因此要了解先天性心脏病的相关症状,能够更早的确诊病情,并提高患者的治愈几率。 天天性心脏病有哪些症状&#xff1f…

【链表面试题考察】

以下题目均为IO型。1.给你一个链表的头节点 head 和一个整数 val ,请你删除链表中所有满足 Node.val val 的节点,并返回 新的头节点 。题目示例如上:解题思路:双指针问题,给定指针prev和cur,从头结点开始往…

Unity SKFramework Documentation

文章目录Audio 音频背景音乐音效音频库Audio ListenerActions 事件Action 事件类型Action Chain 事件链Sequence 序列事件链Concurrent 并发事件链Timeline 时间轴事件链FSM 有限状态机State 状态State Machine 状态机State Builder 状态构建器ObjectPool 对象池IPoolable 接口…

2023 年 1 月的5篇深度学习论文推荐

本文整理了 2023 年 1 月5 篇著名的 AI 论文,涵盖了计算机视觉、自然语言处理等方面的新研究。 InstructPix2Pix: Learning to Follow Image Editing Instructions https://arxiv.org/abs/2211.09800v2 伯克利分校的研究人员开发了一种使用人工指令编辑图像的新方…

小程序项目学习--**第三章:WXSS-WXML-WXS语法**事件处理-组件化开发

第三章&#xff1a;WXSS-WXML-WXS语法事件处理-组件化开发 01_(掌握)WXML语法-基本规则和mustache语法 Page({data: {message: "Hello World",firstname: "kobe",lastname: "bryant",date: new Date().toLocaleDateString(),}, }) <!-- 1.Mu…

【HBase高级】5. HBase数据结构(上)跳表、二叉搜索树、红黑树、B、B+树

4. HBase事务 HBase 支持特定场景下的 ACID&#xff0c;即当对同一行进行 Put 操作时保证完全的 ACID。可以简单理解为针对一行的操作&#xff0c;是有事务性保障的。HBase也没有混合读写事务。也就是说&#xff0c;我们无法将读操作、写操作放入到一个事务中。 5. HBase数据…

CMMI高效落地 4大关键点要注意

CMM对企业降本增效、增强竞争力方面&#xff0c;优势明显。那么如何顺利进行CMMI认证&#xff1f;我们在CMMI认证时&#xff0c;需要注意哪些方面&#xff1f; 1、公司高层的支持 一个公司过程改进 工作的顺利施行&#xff0c;首先需要公司高层的支持。公司的商业目标、公司高层…

45_API接口漏洞

API接口漏洞 一、概念 api > application interface 应用接口 向特定的接口发送一个请求包 返回一个类似于json格式的字符串 二、REST型web service 可以从网上去搜索下api接口去理解,下面有个我找到的网址,给出api接口的分类 https://blog.csdn.net/t79036912/article…

【顺序表和链表的对比】

前言&#xff1a; 我们已经学习过了顺序表和链表的一些知识&#xff0c;在实际运用中我们不能笼统的说哪种存储结构更好&#xff0c;由于它们各有优缺点&#xff0c;选择哪种存储结构&#xff0c;则应该根据具体问题作出具体的分析&#xff0c;通常从空间性能和时间性能上作比较…

Day14【元宇宙的实践构想03】—— 元宇宙的资产观(NFT、数字资产、虚拟地产、与现实世界资产关系)

&#x1f483;&#x1f3fc; 本人简介&#xff1a;男 &#x1f476;&#x1f3fc; 年龄&#xff1a;18 ✍今日内容&#xff1a;《元宇宙的实践构想》03——元宇宙的资产观 ❗❗❗从1.31日开始&#xff0c;阿亮每天会查阅一些元宇宙方面的小知识&#xff0c;和大家一起分享。一是…

cobaltstrike的shellcode免杀

基础概念 shellcode是一段用于利用软件漏洞而执行的代码&#xff0c;也可以认为是一段填充数据&#xff0c;shellcode为16进制的机器码&#xff0c;因为经常让攻击者获得shell而得名。shellcode常常使用机器语言编写。 可在暂存器eip溢出后&#xff0c;塞入一段可让CPU执行的s…

vue入门到精通(七)

6、依赖注入 祖先组件向后代组件传值 6.1 provide() 提供一个值&#xff0c;可以被后代组件注入。 provide() 接受两个参数&#xff1a;第一个参数是要注入的 key&#xff0c;可以是一个字符串或者一个 symbol&#xff0c;第二个参数是要注入的值。 与注册生命周期钩子的 AP…

百趣代谢组学文献分享埃博拉病毒发病机制及组合生物标志物的发现

百趣代谢组学文献分享&#xff0c;今天我们分享的文献就是通过多组学技术研究埃博拉病毒发病机制及组合生物标志物的发现。该文献的研究思路也可以给我们开展新型冠状病毒肺炎相关研究提供借鉴。 代谢组学文献分享&#xff0c;2013-2016年西非埃博拉病毒病&#xff08;EVD&…

(面经三,技术面)——时间:2022-11-11 地点:线上

面试经历&#xff08;三&#xff09;——时间&#xff1a;2022-11-11 地点&#xff1a;线上 1.什么是抽象类 有抽象方法的类&#xff0c;用来表征对问题领域进行分析、设计中得出的抽象概念。 2.抽象类和接口的区别 继承关系&#xff1a;类只能单继承。接口可以实现多个接口 构…

智慧物业管理系统的设计与实现

项目描述 临近学期结束&#xff0c;还是毕业设计&#xff0c;你还在做java程序网络编程&#xff0c;期末作业&#xff0c;老师的作业要求觉得大了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等。这里根据疫情当下&#xff0c;你想解决的问…

【大数据】第二章:搭建Hadoop集群(送尚硅谷大数据笔记)

尚硅谷Hadoop3.x官方文档大全免费下载 搭建集群没什么好讲的&#xff0c;跟着视频和笔记出不了什么问题。 唯一遇到的问题就是安装好VmWare后打不开&#xff0c;发现是老师给的VmWare版本不适配本机的WIN11。 解决办法就是下载最新版本的VmWare。新版已经修复了与WIN11的兼容性…

计算机网络基础(三)

前言&#xff1a; 在计算机网络基础(二)中&#xff0c;我们着重学习了应用层&#xff0c;传输层的知识。在 本文&#xff0c;就要介绍网络层&#xff0c;数据链路层&#xff0c;这两块内容细节也很多。这是计算机网络基础篇的最后一文&#xff0c;系统的学习后&#xff0c;就可…

基于php、Thinkphp5的共享电动车管理系统

摘 要当前共享单车在社会上广泛使用,但单车骑行的短距离仍旧不能完全满足广大用户的需求。共享电动车管理系统可以为用户提供账户信息、押金信息、充值信息、租车信息等功能,拥有较好的用户体验.能实时动态显示车辆位置提供更加快捷方便的租车方式,解决了常见共享电动车管理较为…

英雄互娱|提升 300% !一次性能优化实战记录

案例背景 英雄互娱是国内知名游戏研发商和发行商&#xff0c;经常遇到热门线上游戏&#xff0c;在某瞬间出现大量登录请求&#xff0c;需要临时扩容资源的场景。为了让服务更好的应对突增并发请求压力&#xff0c;客户尝试通过把应用服务容器化部署&#xff0c;能通过 HPA&…

Android 屏幕刷新机制 VSync+Choreographer

1.显示系统基础知识 一个典型的显示系统一般包括CPU、GPU、Display三部分,其中CPU负责计算帧数据,并把计算好的数据交给GPU,GPU会对图形数据进行渲染,渲染好后放到图像缓冲区buffet里存起来,然后Display(屏幕或显示器)负责把buffer里的数据呈现到屏幕上。如下图: 这里…