从数据管理到数据资产管理

news2024/12/24 10:04:46

数据已经与土地、劳动力、资本、技术并称为五种生产要素,数据的价值是毋庸置疑的。数据甚至成为了国家的基础性战略资源,数字经济也正在成为经济增长的强大创新动力。那么——

数据到底指的是什么?

数据管理又是怎么回事?

数据如何成为了数据资产?

数据资产又是如何进行估值的呢?

我们如何实现数据资产管理呢?

1.关于数据

长期以来,对数据的定义强调了它在反映客观事实方面的作用。在信息技术中,数据也被理解为以数字形式存储的信息。

大多数人认为数据代表事实,数据是这个世界中与某个事实结合在一起的一种真实表达。但“事实”并不总是简单或直接的。数据是一种表示方法,它代表的是除自身以外的事物。数据既是对其所代表对象的解释,也是必须解释的对象。这是人们需要语境或上下文使数据有意义的另一种说法。语境可被视为数据的表示系统,该系统包括了一个公共词汇表和一系列组件之间的关系,如果知道这样一个系统的约定,就可解释其中的数据。这些数据通常记录为一种特殊的数据类型——元数据。

1.1 元数据

元数据最常见的定义是“关于数据的数据”。它描述了数据本身(如数据库、数据元素、数据模型),数据表示的概念(如业务流程、应用系统、软件代码、技术基础设施), 数据与概念之间的联系。

元数据可以帮助组织理解其自身的数据、系统和流程,同时帮助用户评估数据质量,对数据库与其他应用程序的管理来说是不可或缺的。它有助于处理、维护、集成、保护和治理其他数据。

785db7566b0da4e1edf6c397cf327a62.jpeg

元数据对于数据质量至关重要。数据的质量取决于它如何满足数据消费者的需求。元数据定义数据所代表的内容,拥有一个强大的数据定义流程,有助于组织正式确定和记录用于衡量数据质量的标准和要求。数据质量是为了满足预期,而元数据是阐明期望的主要手段。

1.2 主数据

主数据是以与业务活动相关的通用和抽象概念形式来提供业务活动语境的数据,包括了业务交易中涉及的内部和外部对象的详细信息,尤其是定义和标识符,如客户、产品、雇员、供应商和受控域(代码值)等等。

07446af8ffd79ce66ae4c16af112239b.jpeg

主数据需要为概念实体(如产品、地点、账户、个人或组织)的每个实例识别并开发可信的版本,并维护该版本的时效性。成功的参考数据或主数据管理规划包含了完整的数据管理职能(数据治理、数据质量、元数据管理、数据整合等)。

1.3 数据和信息

关于数据和信息的描述早已汗牛充栋。数据被称为“信息的原材料”,而信息则被称为“在上下文语境中的数据”。

3422f3ab6db153b15fd7c4840c010c47.jpeg

企业内部在数据和信息之间画一条线,可能有助于清晰地沟通 同利益相关方对不同用途的需求和期望,例如“这是上季度的销售报告” (信息),它基于数据仓库中的数据(数据)。认识到要为不同的目的准备数据和信息,将使数据管理形成一个核心原则:数据和信息都需要被管理;如果再将两者的使用和客户的需求结合在一起进行管理,则两者应具有更高的质量。

2. 数据管理

数据管理(Data Management)是为了交付、控制、保护并提升数 据和信息资产的价值,在其整个生命周期中制订计划、制度、规程和实践活动,并执行和监督的过程。

409aaab0dd72e66b28db2ad8ab707e50.jpeg

管理数据意味着对数据的质量进行管理,需要元数据和主数据的规划,进而驱动信息技术的决策。数据管理是跨职能的工作,需要企业级视角等多角度进行思考。数据管理需要全生命周期的管理,不同类型数据有不同的生命周期特征,需要纳入与数据相关的风险。

2.1 数据战略

数据战略应该包括使用信息以获得竞争优势和支持企业目标的业务计划。数据战略必须来自对业务战略固有数据需求的理解:组织需要什么数据,如何获取数据,如何管理数据并确保其可靠性以及如何利用数据。

通常,数据战略需要一个支持性的数据管理战略,这是一个维护和改进数据质量、数据完整性、访问和安全性的规划,同时降低已知和隐含的风险。该战略还必须解决与数据管理相关的已知挑战。

08f0dfba1b46d981294e7f31d530a32c.jpeg

战略一致性模型抽象了各种数据管理方法的基本驱动因素,模型的中心是数据和信息之间的关系。信息通常与业务战略和数据的操作使用相关。数据与信息技术和流程相关联,这些技术和过程支持可访问数据的物理系统。围绕这一概念的是战略选择的4个基本领域:业务战略、IT战略、组织和流程以及信息系统。

2.2 数据治理

数据治理包括定义策略、标准和企业架构,还包括问题管理和升级保护,以及服务与管理责任。为更好地管理风险,多数组织采用了典型的数据治理形式,以便能够听取所有利益相关方的意见。

9792b00403617656e0c781651c892f56.jpeg

数据治理的目的是为了最大化地释放数据价值,使数据能更好地被组织所利用和变现,是实现数据资源到资产化,提升数据价值的重要过程。

2.3 数据架构

数据架构是数据管理的基础。由于大多数组织拥有的数据超出了个人可以理解的范围,因此有必要在不同抽象层级上描述组织的数据,以便更好地了解数据,帮助管理层做出决策。

数据架构的构件包括了当前状态的描述、数据需求的定义、数据整合的指引以及数据管控策略中要求的数据管理规范。组织的数据架构是指不同抽象层级主要设计文档的集合,其中主要包括数据的收 集、存储、规划、使用和删除等标准。这是按照数据的生命周期来对数据架构中的内容进行定义和范围界定,同时也可以按照数据在组织系统中所存储的容器和路径来进行定义和确定范围。

3. 数据资产

资产是一种经济资源,能被拥有或控制、持有或产生价值,资产可以转化为货币。而“数据资产”一词,于1974 年首次由美国学者理查德·彼得斯(Richard Peterson)提出,结合信息资源和数据资源的概念逐渐演变而来。2021 年在GB/T 40685-2021 国家标准中将数据资产定义为:数据资产是合法拥有或控制的,能进行计量的,为组织带来经济和社会价值的数据资源。

一般地,数据资产(Data Asset)是指由组织合法拥有或控制的数据,以电子或其他方式记录,例如文本、图像、语音、视频、网页、数据库、传感信号等结构化或非结构化数据,可进行计量或交易,能直接或间接带来经济效益和社会效益。

数据治理与运营是数据资产形成的重要手段,是数据可变现的必然过程。多数组织由于缺乏数据治理能力,导致数据质量普遍不高、数据接口不统一且无法融合,无法形成有价值的数据资源, 直接影响了数据资产的价值最大化。

数据资源是可以被控制并具有价值的数据集。满足了数据可变现、可控制后,基于资产的经济属性,数据资源要想转化为资产,还需满足可以用货币的方式衡量数据资产价值的条件,即数据资产可被计量。

数据资源化通过将原始数据转变数据资源,使数据具备一定的潜在价值,是数据资产化的必要前提。数据资产化是通过将数据资源转变为数据资产,使数据资源的潜在价值得以充分释放。

4. 数据资产估值

尽管数据的价值经常随着时间的推移而变化,但它是持久且不会磨损的。数据很容易被复制和传输,但它一旦被丢失或销毁,就不容易重新产生了。数据价值需要首先计算在组织内部持续付出的一般性成本和各类收益。数据的价值是上下文相关的 ,对一个组织有价值的东西可能对另一个组织没有价值,而且往往是暂时的,昨天有价值的东西今天可能没有价值。

e07fb2d427e0336306afbb238750742f.jpeg

数据资产估值(Data Asset Valuation)是一个理解和计算数据对组织的经济价值的过程。因为数据、信息甚至商务智能都是抽象概念, 人们很难将它们与经济影响联系起来。理解数据价值的关键是理解如何使用它以及它的使用带来的价值。

数据资产价值的评估,不仅是财务测算的过程,数据质量的技术评价也具有特殊的重要性。一般而言,数据资产价值的常用评估方法包括综合成本法、收益法和市场法三种基本方法及其衍生方法。考虑数据自身特性,一般会构建包含内在价值、成本价值、经济价值、市场价值四个维度的数据价值评估体系。

4.1 内在价值

内在价值是指数据本身所蕴含的潜在价值,通过数据规模、数据质量等指标进行衡量。评估数据资产内在价值是评估数据资产能力的基础,对于数据资产其他维度价值评估具有指导作用。

核心计算公式:内在价值 =( 数据质量评分 + 服务质量评分 + 使用频度评分 )/3* 数据规模。

数据质量评分是从数据的完整性、准确性、规范性等质量维度统计数据,服务质量评分是从 业务角度统计数据覆盖度和使用友好性,使用频度评分是统计数据资产的使用频度情况,数据规模是统计企业累计数据资产的总量。

4.2 成本价值

数据资产的成本价值指数据获取、加工、维护和管理所需的财务开销。数据资产的成本价值包括获取成本、 加工成本、运维成本、管理成本、风险成本等。评估数据资产成本价值可用于优化数据成本管理方案,有效控制数据成本。

核心计算公式:成本价值 = 获取成本 + 加工成本 + 运维成本 + 管理成本 + 风险成本

获取成本是指数据采集、传输、购买的投入成本;加工成本是指数据清洗、校验、整合等环节的投入成本;运维成本是指数据存储、备份、迁移、数据维护与 IT 建设的投入成本;管理成本是指围绕数据管理的投入成本;风险成本是指因数据原因导致数据泄露或外部监管处罚所带来的风险损失。

数据资产的成本价值评估以数据项目为单元进行核算,数据资产成本价值评估各项指标可能与传统项目成本或 IT 成本有所重叠,因此,可参考数据资产管理的标准化流程,进一步界定成本价值评估各类指标的数据资产贡献比例,提升成本价值评估的准确性。

4.3 经济价值

数据资产经济价值指对数据资产的运用所产生的直接或间接的经济收益。此方法通过货币化方式计量数据 资产为企业做出的贡献。

核心计算公式:经济价值 = 业务总效益 * 数据资产贡献比例 

业务总收益是指提升营业收入和降低经营成本。由于“数据资产贡献比例”的计算存在一定难度,可考虑利用业务流和价值流对业务总效益进行拆解,并对应数据流,进一步界定该业务价值环节的数据资产贡献比例。

4.4 市场价值

市场价值是指在公开市场上售卖数据产品所产生的经济收益,由市场供给决定数据资产价值。随着数据产品需求的增加以及数据交易市场规则的建立,该方法可行性与准确性逐步提升。

核心计算公式:市场价值 = 数据产品在对外流通中产生的总收益

由于数据资产具有传统资产所不具备的其它特征,因此,其价值的评估和计量并不完全遵从既有的会计、经济相关准则与标准,仍需要结合实践经验进行不断的探索和创新。

5. 数据资产的价值实现

数据资产的价值实现对企业内部而言是业务数据化,对企业外部而言是数据业务化。

5.1 业务数据化

“业务数据化”主要是指企业将组织、生产、运营过程中产生的数据进行收集整理分析,使业务数据知识化,不断提升数据的价值质量,拓宽数据应用场 景,深挖数据价值,让数据价值化为知识为业务赋能,驱动业务的自我成长、 自我迭代并应用于服务自身经营决策、业务流程,从而实现企业的业务增值。实现数据资产价值的主要路径包括:

(1)数据自营 

(2)数据检索

(3)精准营销 

(4)数据风控

5.2 数据业务化

数据业务化是通过深度挖掘数据价值,并通过运营管理将这些数据形成可 对外实现经济价值的产品或服务。企业对外实现数据资产价值的主要路径包括 但不限于:

(1)数据源应用 

(2)数据咨询服务 

(3)数据流通交易

主要的数据交易标的类型为: 

(a)数据产品 

(b)数据服务 

(c)算力资源 

(d)算法服务 

(e)数据分析报告。

主要的数据产品交付形态为: 

(a)数据包 

(b)应用程序编程接口 

(c)数据分析报告

(d)API 接口。 

从全球视野来看,数据交易中心和交易所也是一类常态化组织形式。

5.3 数据资产价值实现的重要保障——隐私计算

隐私计算是目前促进数据资产实现价值的重要技术之一,其对于数据资产的价值实现提供了强大的安全流通保障,组织对外数据业务化,很多场景需要依赖隐私计算得以实现。实际上,隐私计算可以让组织间的数据 资产提供至第三方使用或采购使用后,其资产状态不因使用而遭受形态变化或价值减损。

关于隐私计算的内容,可以参考本人的系列文字:

  • 隐私计算与区块链的融合思考

  • 隐私计算中可信执行环境的一知半解

  • 隐私计算之全同态加密

  • 隐私计算中的联邦学习

  • 从隐私到隐私计算

6. 数据资产管理

数据资产管理(Data Asset Management)是指对数据资产进行规划、控制和供给的一组活动职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理须充分融合政策、管理、业务、技术和服务,确保数据资产保值增值。

7a9f25ee76940bff566b96bd1381dde9.jpeg

数据资产管理面临一系列的问题和挑战,涉及数据资产管理的理念、效率、技术、安全等方面,阻碍了组织数据资产能力的持续提升。数据资产管理实践的一般流程如下:

688883b6b3eb4cccd8bf08df417f202b.jpeg

数据资产管理第一阶段是统筹规划,包括评估管理能力、发布数据战略、建立组织责任体系三个步骤,为后续数据资产管理和运营锚定方向并奠定基础。

数据资产管理实施第二阶段的工作目标主要是通过建立数据资产管理的规则体系,依托数据资产管理平台工具,以数据生命周期为主线,全面开展数据资产管理各项活动,以推动第一阶段成果落地,主要包括建立规范体系、搭建管理平台、全流程管理、创新数据应用四个步骤。

427163828aa80e3a0bbedfb35e5fc18b.jpeg

第二阶段基本完成了由原始数据到数据资源的转变,第三阶段稽核检查关注于如何评价数据资源化成果并改进管理方法,该阶段的主要目标是根据既定标准规范,适应业务和数据的变化,通过对数据资源化过程与成果开展常态化检查,优化数据资产管理模式与方法。

经历了前三个阶段,组织一般就具备向数据资产转变的基础。数据资产管理的第四个阶段是资产运营阶段,该阶段的主要目标是通过构建数据价值评估体系与运营策略,促进数据内外部流通,建立管理方与使用方的反馈与激励机制,推动数据资产价值释放。

7. 小结

从信息时代到数字时代,数据由记录业务逐渐转变为智能决策,成为了组织持续发展的核心引擎。从数据采集到数据管理,再数据资产的形成,数据资产管理将朝着统一化、专业化、敏捷化的方向发展,提高数据资产管理效率,主动赋能业务,推动数据资产安全有序流通,持续运营数据资产,充分发挥数据资产的社会与经济价值。

【参考资料与关联阅读】

  • 《DAMA数据管理知识体系指南(原书第2版)》,DAMA国际,机械工业出版社,2020

  • 《数据资产价值实现研究报告》,杭州国际数字交易联盟,2023

  • 《 数据资产管理实践白皮书(6.0 版)》, CCSA TC601 大数据技术标准推进委员会,2023

  • 数据架构中的数据问题

  • 数据摘要的常见方法

  • 清单管理?面向机器学习中的数据集

  • Crash?! ——软件崩溃后的数据一致性

  • 面向AI 的数据生态系统

  • web系统中的结构化数据标记

  • 基于CRDT的数据最终一致性

  • 数据存储的趣事

  • 华为数据之道:数据分类管理框架和经验

  • 知新温故,从知识图谱到图数据库

  • 面向数据架构的云演变

  • 老曹眼中的面向数据架构

  • tataUFO 大数据应用实践

  • NoSQL 之于大数据

  • 架构大数据应用

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/450573.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Django项目之经济预测平台,应用LSTM、GBDT等算法

一、平台功能与技术点 1.技术点:Python3.9、Django4.1.7, tensorflow2.11.0,keras2.11.0,numpy1.24.2、bootstrap、ajax、MySQL等等 2.功能:正常前后端,前台主要完成经济预测功能(特征和标签都…

✨✨✨ ❃ ♕ ꕥXpath解析html获取表情符号,丰富你的文章 ꧁ ꧂꧁ ꧂

✨✨✨ ❃ ♕ ꕥXpath解析html获取表情符号,丰富你的文章 ꧁ ꧂꧁ ꧂ 1. 推荐几个好玩的表情符号网站2. xpath解析html获取表情3. xpath解析html源码3.1 parse_li.py3.2 symbol2.html 参考 1. 推荐几个好玩的表情符号网站 💕 🧚 &#x1f6b…

SPDK软件栈基础概念

SPDK SPDK软件架构SSD和SPDK中controller和nsSPDK RPC (一)driverSPDK virtio-PCIe 和 vhost-user (二)Storage Services(存储设备)对象存储SPDK BlobStore&BlobFS SPDK 块设备驱动块设备驱动层的其他模块 (三&…

KMP字符串匹配算法详解

目录 简单的暴力匹配算法KMP算法next数组next数组的优化 简单的暴力匹配算法 对于字符串的匹配通常是给出一个主串str和一个模式串sub,然后在主串pos位置开始匹配,如果能在str中找到sub那么就返回sub在str中首次出现的首个字符的下标,否则返…

地球系统模式(CESM)

目前通用地球系统模式(Community Earth System Model,CESM)在研究地球的过去、现在和未来的气候状况中具有越来越普遍的应用。CESM由美国NCAR于2010年07月推出以来,一直受到气候学界的密切关注。近年升级的CESM2.0在大气、陆地、海…

【论文笔记】VideoGPT: Video Generation using VQ-VAE and Transformers

论文标题:VideoGPT: Video Generation using VQ-VAE and Transformers 论文代码:https://wilson1yan. github.io/videogpt/index.html. 论文链接:https://arxiv.org/abs/2104.10157 发表时间: 2021年9月 Abstract 作者提出了…

git 常用命令及遇到问题

自己没事,把git常用命令做个记录总结。方便自己和初学者查看,本文针对初学者,如果你已经是工作多年高手,请跳过。 git的几个区认识,分别为工作区,缓存区,版本库。 工作区:包含.git…

靶机精讲:BNE0x03Simple

主机发现 nmap扫描 端口扫描 服务扫描 脚本扫描 第二十页路径有目录 web渗透 搜索该版本漏洞 CuteCMS漏洞利用 下载下来 查看文件,发现是远程文件上传漏洞 按步骤进行注册 点进去 构造利用文件,反弹shell 最后语法错误应为0>1 尝试上传 根据漏洞扫…

实验04:图像压缩(DP算法)

1.实验目的: 掌握动态规划算法的基本思想以及用它解决问题的一般技巧。运用所熟悉的编程工具,运用动态规划的思想来求解图像压缩问题。 2.实验内容: 给定一幅图像,求解最佳压缩,使得压缩后的文件最小。 3.实验要求…

容易忽视的细节:Log4j 配置导致的零点接口严重超时

作者:vivo 互联网服务器团队- Jiang Ye 本文详细的记录了一次0点接口严重超时的问题排查经历。本文以作者自身视角极具代入感的描绘了从问题定位到具体的问题排查过程,并通过根因分析并最终解决问题。整个过程需要清晰的问题排查思路和丰富的问题处理经验…

大话数据结构-查找

1 查找概论 查找表(Search Table)是由同一类型的数据元素(或记录)构成的集合,如下所示:   关键字(Key)是数据元素中某个数据项的值,又称为键值,用它可以标…

LiteFlow规则引擎的入门

文章目录 1、LiteFlow简介2、解决的痛点3、快速开始3.1 引入依赖3.2 配置规则文件的位置3.3 定义组件3.4 指定规则3.5 编写客户端3.6 运行以及说明3.7 其他的组件 4、对于快速开始的思考5、LiteFlow的脚本组件5.1 脚本的定义5.2 脚本的使用5.3 关于脚本使用的思考 6、规则引擎的…

开源Qt Ribbon控件——SARibbon的布局思路及介绍

开源Qt Ribbon控件——SARibbon的布局思路及介绍 SARibbon的布局SARibbon名词定义Office布局模式——SARibbonBar::OfficeStyleWPS布局模式——SARibbonBar::WpsLiteStylepannel的布局行数3行模式2行模式 原文链接:https://blog.csdn.net/czyt1988/article/details/…

scala之基础面向对象

scala 既是面向对象 也是函数式编程 从Java 发展而来,依赖JVM环境 一、 scala 在linux中运行 scala 模式中直接编写运行 scala文件,load执行 scala编译程序 编译 运行 scala java 二、scala 数据类型 基础数据类型 val 不可变变量 函数式编程 …

Excel使用频率超高的20个函数,90%你没用过

上班必学必会的Excel函数,不仅是使用频率最大的,还是告别加班的利器。你会的函数越多,解决问题的思路越广,不再束手束脚。态度决定高度,细节决定成败。要想比别人更优秀,只有在每一件小事上比功夫。 组合、…

json-c交叉编译及库移植

编译后的文件 json-c交叉编译及库移植资源-CSDN文库 json-c开源库是一个用c实现的解析json字段的库,嵌入式领域比较实用的库。 由于应用程序需要,需要找移植这个json-c库,所以这里对该库的移植做个简单说明 json-c开源库是一个用c实现的解…

python基于机器学习模型开发实践kaggle旧金山犯罪案件分类预测模型

旧金山犯罪案件分类本质是一个文本的多分类任务,kaggle官网地址在这里,如下所示: 本文主要是以kaggle比赛数据集为基准,开发实践文本多分类任务。 比赛背景 从 1934 年到 1963 年,旧金山因高犯罪率而臭名昭著。时至今…

opengl绘制三角形

1.绘制两个三角形 GLfloat vertices1[] { 0.5f, 0.5f, 0.0f, 0.5f, -0.5f, 0.0f, -0.5f, 0.5f, 0.0f } GLfloat vertices2[] { 0.5f, -0.5f, 0.0f, -0.5f, 0.5f, 0.0f, -0.5f, -0.5f, 0.0f } 也可以用索引的方式: GLfloat vertices[] { 0.5f, 0.5f, 0…

并发编程常见问题复盘

并发编程常见问题复盘 大家好,我是易安! 并发编程在计算机科学领域占有举足轻重的地位,它使得程序能够在多个处理器核心上同时执行,从而显著提升程序的性能。然而,并发编程也伴随着许多挑战和问题。这些年来&#xff0…

eacharjs饼状图带百分比

var myChart1 echarts.init(document.getElementById(main1)); myChart1.setOption({title:{text:近30天异常停机的类型TOP5,x:center,y:10px,// textStyle:{// fontSize:12// }},tooltip: {trigger: item//提示 鼠标移动上去},// legend: { // 上面的提示// top: 25%…