4000字,详解数据管理之简介篇

news2024/11/19 11:24:30

在这里插入图片描述

DAMA-DMBOK 2.0既 DAMA 数据管理知识体系指南共分为17章,是从事数据治理人员的参考宝典。也CDMP及CDGA、CDGP认证的考试用书。

我在这里将17个章节根据个人理解分为数据管理简介、数据管理框架、数据处理伦理、数据管理组件、数据管理组织、大数据与数据科学和数据管理成熟度这几个部分,整体架构与原书差不多,主要是将如元数据管理、数据质量、数据架构等属于DAMA车轮图中的组件模块归类为数据管理组件。

第一部分:数据管理简介

首先我们来看第一章数据管理内容与我的个人分类之间关系

在这里插入图片描述

个人觉得框架是很重要的部分,所以将框架拆出来单独记录。

1、基本概念(数据、信息和数据资产)
在这里插入图片描述

关于数据,大多数人都知道它是具有反映客户事实的作用,在信息技术中,数据可以理解为以数字形式存储(电子化)。

在当前的大数据时代,数据的容量及增长速度对数据的应用提出挑战,所以我们需要可靠且可扩展的数据管理实践来满足数据的应用。

另外,从国内的现状来看,数据在同一组织也常有概念不统一的情况,且有不少重要数据的相关元数据定义不仅仅是不够规范,而且有严重缺失,以致于组织中的数据处于不清楚、不一致、找不到等严重影响组织级数据应用的情况。所以我们需要在组织中对数据架构、建模、治理、管理制度以及元数据和数据质量进行管理。形成组织中的统一数据标准,实现组织的数据资产价值;在行业中形成行业级数据标准,促进数字社会的发展。
在这里插入图片描述

数据、信息、知识和智慧在著名的“金字塔模型”上体现了这几者的关系,数据被称为“信息的原材料”,而信息则被称为“在上下文语境中的数据”。

我们需要认识到要为不同的目的准备数据和信息,所以数据管理将有一个核心原则:数据和信息都需要被管理;如果我们再将两者的使用和客户的需求结合在一起进行管理,则两者应具有更高的质量。

虽然金字塔模型形象地体现了数据和信息之间的上下级关系,但是实际上数据和信息在概念是相互交织和相互依赖的,数据是信息的一种形式,信息也是数据的一种形式。

我们需要在组织内部在数据和信息之间根据不同场景进行区分,这样有助于清晰地沟通不同利益相关方对不同用途的需求和期望。如:

“这是上季度的销售报告”(信息)。它基于数据仓库中的数据(数据)。下一季度,这些结果(数据)将用于生成季度绩效指标(信息)。
在这里插入图片描述
现在大家都在谈“数据资产”。我们首先要明确,数据就是一种组织资产。但是另外一点需要明确的是不是组织中的所有数据都可以称之为数据资产,因为组织的部分数据由于不具备能作为数据资产的特征之一——“有价值”的属性,此类数据我们在当时当刻就不能认同为数据资产(也许在将来会发掘出相关价值)。

数据资产管理的作用有:

1)组织依靠数据资产做出更高效的决定,并拥有更高效的运营。

2)企业运用数据去理解他们的客户,创造出新的产品和服务,并通过削减成本和控制风险的手段来提高运营效率。

3)政府代理机构、教育机构以及非营利组织也需要高质量的数据来指导他们的运营、战术和战略活动。

我们需要强调业务部门在数据管理中的作用:数字化转型已经成为共识。业务部门必须与技术数据专业人员共同创建信息解决方案,并与相应的业务团队一起工作。必须计划如何获取并管理可用来支持业务战略的数据。

2、数据管理的业务驱动及目的

关于数据管理的业务驱动及目的,在书中没有特别细致地描述。而是从组织的高度来描述其中重要的部分:

在这里插入图片描述

业务驱动:使用组织能够从其数据资产中获取价值(价值取向)、信息和知识是竞争优势的关键(商业竞争优势)。

数据管理的目的也是从组织层面描述了6点内容:

理解并支撑企业及其利益相关方(包括客户、员工和业务合作伙伴等)的信息需求得到满足。
获取、存储、保护数据和确保数据资产的完整性。
确保数据和信息的质量。
确保利益相关方的数据隐私和保密性。
防止数据和信息未经授权或被不当访问、操作及使用。
确保数据能有效地服务于企业增值的目标。

3、数据管理原则

同其他管理流程一样,数据管理也必须平衡战略和运营需求。这种平衡最好是遵循一套原则,根据数据管理的特征来指导数据管理实践。

数据管理原则个人认为需要反复理解的内容,它指导我们在进行组织的数据管理活动所需要考虑并遵从的原则。如其中提到了数据管理需求需要推动信息技术决策,但是管理数据需要确保技术是服务于战略数据,而不是技术来驱动组织的战略数据。这一点个人非常认同,个人认为这也许现在不少企业在从事数据管理中的认知误区,是导致整个数据治理活动推动困难的原因之一。
在这里插入图片描述

1)数据是有独特属性的资产

对比金融和实物资产,其中最明显的一个特点是数据资产在使用过程中不会产生消耗。

2)数据的价值可以用经济术语来表示

将数据称为资产意味着它有价值。想要对其数据做出更好决策的组织,应该开发一致的方法来量化该价值。他们还应该衡量低质量数据的成本和高质量数据的好处。

3)管理数据意味着对数据的质量管理

确保数据符合应用的要求是数据管理的首要目标。

4)管理数据需要元数据

管理任何资产都需要首先拥有该项资产的数据(员工人数、账户号码等)。用于管理和如何使用数据的数据都称为元数据。元数据源于与数据创建、处理和使用相关的一系列流程,包括架构、建模、管理、治理、数据质量管理、系统开发、IT和业务运营以及分析。

5)数据管理需要规划

即便是小型组织,也可能有复杂的技术和业务流程蓝图。数据需要做一些协调工作来保持最终结果的一致,需要从架构和流程的角度进行规划。

6)数据管理须驱动信息技术决策

数据和数据管理与信息技术和信息技术管理紧密结合。管理数据需要一种方法,确保技术服务于而不是驱动组织的战略数据。

7)数据管理是跨职能的工作

数据管理需要一系列的技能和专业知识,因此单个团队无法管理组织的所有数据。数据管理需要技术能力、非技术技能以及协作能力。

8)数据管理需要企业级视角

虽然数据管理存在很多专用的应用程序,但它必须能够有效地被应用于整个企业。这就是为什么数据管理和数据治理是交织在一起的原因之一。

9)数据管理需要多角度思考

数据是流动的,数据管理必须不断发展演进,以跟上数据创建的方式、应用的方式和消费者的变化。

10)数据管理需要全生命周期的管理,不同类型数据有不同的生命周期特征

数据是有生命周期的,因此数据管理需要管理它的生命周期。数据管理实践活动需要考虑数据的整个生命周期。不同类型数据有不同的生命周期特征,因此它们有不同的管理需求。数据管理实践需要基于这些差异,保持足够的灵活性,以满足不同类型数据的生命周期需求。

11)数据管理需要纳入与数据相关的风险

数据除了是一种资产外,还代表着组织的风险。数据可能丢失、被盗或误用。数据相关风险必须作为数据生命周期的一部分进行管理。

12)有效的数据管理需要领导层承担责任

数据管理涉及一些复杂的过程,需要协调、协作和承诺。为了达到目标,不仅需要管理技巧,还需要来自领导层的愿景和使命。

4、数据管理的挑战

数据管理的挑战,在书中提到13项挑战,从事数据治理工作一段时间后,再回过头来看这方面的内容,深有感触。这其中给我们从事数据治理工作很多提醒以及解决的方案。可能从认证考试角度出发,我们也许有些印象就可以差不多通过,但是如果有志从事数据治理或数据管理工作的同行者,个人建议可以反复地理解这13项挑战的内容。

在这里插入图片描述
在这里插入图片描述

挑战1、挑战2:如何将数据按资产进行管理并评估数据资产的价值

数据不同其他组织中的资产:

• 实物资产是看得见、摸得着、可以移动的,在同一时刻只能被放置在一个地方。

• 数据的价值经常随着时间的推移而变化,数据是持久的、不会磨损的。数据可以很容易被复制和传送,数据一旦被丢失或销毁,就不容易重新产生了。数据是动态的且可以被用于多种目的。数据可以同时被许多人使用。数据被多次使用并产生了更多的数据。

• 数据管理需要定义数据所有权、列出组织拥有的数据量、防止数据滥用、管理与数据冗余相关的风险以及定义和实施数据质量标准。

• 数据需要设定其资产价值才能更好地衡量数据是如何促进组织成功的。

评估数据资产的价值:

• 价值(Value)是一件事物的成本和从中获得利益的差额

• 对于数据而言,无论是数据的成本还是利润都没有统一标准,这些计算会变得错综复杂

• 评估数据价值需要首先计算在组织内部持续付出的一般性成本和各类收益。

• 评估数据资产面临的主要挑战是,数据的价值是上下文相关的(对一个组织有价值的东西可能对另一个组织没有价值),而且往往是暂时的(昨天有价值的东西今天可能没有价值)。也就是说,在一个组织中,某些类型的数据可能会随着时间的推移而具有一致的价值。例如,获取可靠的客户信息。随着越来越多与客户活动相关的数据得以积累,客户信息随着时间的推移变得更有价值。

• 在数据管理方面,将财务价值与数据建立关联的方法至关重要,因为组织需要从财务角度了解资产,以便做出一致的决策。
在这里插入图片描述

挑战3:如何确保数据质量
在这里插入图片描述

挑战4:如何制定数据优化计划

挑战5:元数据管理是全面改进数据管理的起点
在这里插入图片描述

挑战6:数据管理是跨职能的工作

挑战7:需要建立企业视角的数据管理

挑战8:需要多角度思考的数据管理

挑战9:数据管理必须规划数据生命周期

在这里插入图片描述

挑战10:不同类型的数据具有不同的数据生命周期

挑战11:数据不仅有价值,但同时也会有风险

挑战12:数据管理需要技术和业务技能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/830872.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

阿里云容器服务助力极氪荣获 FinOps 先锋实践者

作者:海迩 可信云评估是中国信息通信研究院下属的云计算服务和软件的专业评估体系,自 2013 年起历经十年发展,可信云服务评估体系已日臻成熟,成为政府支撑、行业规范、用户选型的重要参考。 2022 年 5 月国务院国资委制定印发《…

FTP可能是免费且易于使用,但这就是问题所在

当团队里的某个人发现他们需要马上发送的文件太大,无法通过电子邮件发送时,就会陷入困境。另一个同事开始用电子邮件发送账号或密码,然后意识到,也许电子邮件不够安全,FTP替代,托管文件传输。 FTP可能是免费…

线扫激光算法原理

一:线扫激光算法原理 激光器发出的激光束经准直聚焦后垂直入射到物体表面上,表面的散射光由接收透镜成像于探测器的阵列上。光敏面于接收透镜的光轴垂直。如图: 当被测物体表面移动x,反应到光敏面上像点位移为x’。a为接收透镜到物体的距离(物距),b为接收后主面到成像…

HCIE-Security 安全策略技术——流量处理

一、防火墙安全策略原理及配置 1.包过滤技术 对需要转发的数据包,先获取包头信息,然后和设定的规则进行比较,根据比较结果对数据包进行转发和丢弃 2.包过滤技术进阶——安全策略 包过滤:五元组,ACL 安全策略&#…

主动带宽控制工具

停机和带宽过度使用是任何组织都无法避免的两个问题。随着企业采用 BYOD 文化,通过网络的流量负载可能很重,导致网络拥塞并使网络容易受到网络攻击。为了解决这个问题,企业需要全面的监控策略来保护网络,当看似大量的流量进入网络…

通过MySQL删除Hive元数据信息

之前遇到过一个问题,在进行Hive的元数据采集时,因为Hive表的文件已经被删除了,当时是无法删除表,导致元数据采集也发生了问题,所以希望通过删除Hive表的元数据解决上述问题。 之前安装时,经过特定的配置后…

Qt应用开发(基础篇)——数值微调输入框QAbstractSpinBox、QSpinBox、QDoubleSpinBox

目录 一、前言 二、QAbstractSpinBox类 1、accelerated 2、acceptableInput 3、alignment 4、buttonSymbols 5、correctionMode 6、frame 7、keyboardTracking 8、readOnly 9、showGroupSeparator 10、specialValueText 11、text 12、wrapping 13、信号 二、Q…

zabbix监控mysql容器主从同步状态并告警钉钉/企业微信

前言:被监控的主机已经安装和配置mysql主从同步,和zabbix-agent插件。 mysql创建主从同步:http://t.csdn.cn/P4MYq centos安装zabbix-agent2:http://t.csdn.cn/fx74i mysql主从同步,主要监控这2个参数指标&#xf…

java -jar指定外部配置文件

场景 spingboot项目部署jar时,需要时常修改配置,为了方便,将配置文件放到jar包外 操作步骤 在jar包同级目录下创建config文件夹(位置没有强制要求,为了方便而已) 在jar包同级目录下创建start.bat文件,并编辑内容 echo off :: 命令窗口标题 title yudibei_performance_tes…

嘉楠勘智k230开发板上手记录(一)

一、前言 因为是小白,对于硬件接触不多,有什么错误欢迎指出。 环境:win11wsl2的ubuntu22.04 官方github kendryte/k230_docs: Kendryte K230 SDK Docs (github.com) 参考的文档 :k230_docs/zh/01_software/board/K230_SDK_使用说明.md at…

图像 检测 - YOLOv3: An Incremental Improvement (arXiv 2018)

YOLOv3: An Incremental Improvement - 增量改进(arXiv 2018) 摘要1. 引言2. 处理2.1 边界框预测2.2 类别预测2.3 跨规模预测2.4 特征提取器2.5 训练 3. 我们的做法4. 我们尝试过但没有成功的事情5. 这一切意味着什么References 声明:此翻译仅…

数据库系列之(一)SQL基本用法总结

文章目录 前言一、数据库是什么?二、数据库的作用是什么?三、数据库的种类以及常用的数据库四、SQL常用方法总结1.基本sql语句2.对数据进行限定和排序3.处理单行函数4.多表查询5.分组函数6.非关联查询与关联查询7.高级查询8.更多用法 总结 前言 当今信息…

测试岗?从功能测试进阶自动化测试开发,测试之路不迷茫...

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 测试新人在想什么…

visual studio 生成dll文件以及修改输出dll文件名称操作

目录 visual studio 生成dll文件以及修改dll文件名称一、准备测试代码二、设置导出dll属性三、生成dll文件 .lib .dll .pdb 的简单介绍dll文件使用方式lib文件使用方式1、动态链接 (原理)2、静态链接: visual studio 生成dll文件以及修改dll文…

【雕爷学编程】 MicroPython动手做(35)——体验小游戏

知识点:什么是掌控板? 掌控板是一块普及STEAM创客教育、人工智能教育、机器人编程教育的开源智能硬件。它集成ESP-32高性能双核芯片,支持WiFi和蓝牙双模通信,可作为物联网节点,实现物联网应用。同时掌控板上集成了OLED…

《Kali渗透基础》12. 无线渗透(二)

kali渗透 1:无线协议栈1.1:ifconfig1.2:iwconfig1.3:iw1.4:iwlist 2:无线网卡配置2.1:查看无线网卡2.2:查看信道频率2.3:扫描附近 AP2.4:侦听接口添加与删除 …

物联网|按键实验---学习I/O的输入及中断的编程|读取I/O的输入信号|中断的编程方法|轮询实现按键捕获实验-学习笔记(13)

文章目录 实验目的了解擒键的工作原理及电原理图 STM32F407中如何读取I/O的输入信号STM32F407对中断的编程方法通过轮询实现按键捕获实验如何利用已有内工程创建新工程通过轮询实现按键捕获代码实现及分析1 代码的流程分析2 代码的实现 Tips:下载错误的解决 实验目的 了解擒键…

Drools用户手册翻译——第四章 Drools规则引擎(十)复杂事件处理(CEP)

甩锅声明:本人英语一般,翻译只是为了做个笔记,所以有翻译错误的地方,错就错了,如果你想给我纠正,就给我留言,我会改过来,如果懒得理我,就直接划过即可。 目录 ​编辑 …

Java课题笔记~ Mybatis注解开发

使用注解开发,可以减少Mapper映射文件的编写。 一、mybatis常用注解 Insert:实现新增 Update:实现更新 Delete:实现删除 Select:实现查询 Result:实现结果集封装 Results:可以与Result 一…

23款奔驰GLB200升级23P智能驾驶辅助系统,提升您的行车安全性

为什么要升级23P驾驶辅助系统呢?23P驾驶辅助系统功能有什么作用呢? 首先23P驾驶辅助系统功能有9个,相互结合让行车更安全,长途开车更轻松。提升驾驶的安全性。 所以选择装这套23P驾驶辅助系统的用户也比较多,现在道路…