主数据和元数据、数据标准、数据质量有什么关系

news2024/11/27 12:47:26

企业数据治理涉及的工作很广,包括数据标准、数据质量、数据安全、数据共享机制、元数据管理、主数据管理等。主数据作为企业的黄金数据,对于企业信息化管理具有重要意义。本文将对主数据的概念及主数据与数据治理体系中的几个核心部分的关系和大家做一个探讨。

1、什么是主数据

主数据就是企业中多个信息系统共享和使用的数据。例如:ERP系统中有“客户主数据”,“项目主数据”和“供应商主数据”。主数据通常是公司的关键资产之一。

为了更全面地回答“什么是主数据?”,我们先看一下在企业中常见的6种数据类型

  • 非结构化数据:可在电子邮件、白皮书、杂志文章、企业内部网站门户、产品规格设计文件、营销资料和PDF文件中找到的数据。

  • 交易数据:具有历史意义或其他系统需要分析的业务事件。通常与系统交易有关的数据,例如销售、交货、发票、故障单、索赔等。交易数据是使用主数据实体的单位级别的交易。与主数据不同,事务本质上是特定的时间和瞬时数据。

  • 元数据:关于其他数据的数据。它可以存储在正式的存储库中或以各种其他形式存在,例如XML文档、报告定义、数据库中的列描述、日志文件、连接和配置文件。

  • 层级数据:存储其他数据之间关系的数据。它可以作为财务系统的一部分存储,也可以作为对现实世界关系的描述单独存储,例如组织结构或产品BOM。层级数据有时被视为超级主数据域,因为它对于理解和发现主数据之间的关系至关重要。

  • 参考数据:一种特殊类型的主数据,用于对其他数据进行分类或用于将数据与企业范围以外的信息相关联。可以在主数据或交易数据对象之间共享参考数据,例如国家/地区、货币、时区、付款条件等。

  • 主数据:企业内部的核心数据,描述开展业务所围绕的对象。它通常不经常更改,并且可以包含经营业务所需的参考数据。主数据本质上不是事务性的,但它确实描述了事务。常见的主数据类型有:供应商主数据、客户主数据、物料主数据、价格主数据、科目主数据、组织主数据、人员主数据等。根据企业业务类型不同,还会有产品主数据、项目主数据等细分。

图:主数据与企业数据关系

2、主数据与元数据的关系

元数据(meta-data)是描述企业数据的相关数据,指在IT系统建设过程中所产生的有关数据定义、目标定义、转换规则等相关的关键数据,包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述。

元数据可以说是企业的数据地图,它直接反映了企业中有什么样的数据,数据是如何存放的,例如,数据结构是什么样子,数据与业务之间的关系是怎么样,数据与数据之间的关系是怎么样,数据有什么样的安全需求,数据有什么样的存储需求。

比如上图中地市表的数据模型,地市表这个实体的数据模型如何进行定义正是元数据所关心的范畴。而在数据模型设计的“城市表”中填写了相应的城市数据,例如,北京、上海、广州、南宁等等。这些在城市表中填充的数据,正是组织中国地理协会的主数据,因为这些数据是中国地理协会这个组织的关键业务实体,它为组织的业务开展提供关联环境,而且它可能在企业业务开展过程中被反复引用。针对这些核心关键数据,组织和企业无论从数据的质量、一致性、可用性、管理规范等方面都应该有着最严格的数据要求。

主数据跟元数据的关系,举个例子的话就是一本书,主数据就是书里边的正文,实际有用的数据,元数据就是书的目录,是索引,方便你找到主数据的。

3、主数据与数据标准的关系

没有规矩不成方圆,数据标准是数据治理或整体数据化建设的核心。在主数据管理体系中,主数据模型、主数据管理规范、主数据共享技术规范都可以看作数据标准。我们希望将所有数据生产线路上的规范都统一纳入数据标准管理体系。

同时,数据生产过程中的每个环节都需要数据标准的支撑。

数据按照数据层级划分,如下表所示。

数据按照数据生产过程划分,如下表所示。

4、主数据与数据质量的关系

很多失败的数据应用,第一理由都归集为数据质量问题导致最后的交付结果数据不准确,以致业务部门最终无法采纳。那么,什么样的问题才算作数据质量问题呢?当数据中很多字段存在大量的空数据时,这是由于数据质量存在问题,还是由于数据模型设计得不合理?

主数据管理最核心的价值在于提升基础数据的整体数据质量,保证数据的及时性和准确性。

5、主数据与数据安全的关系

主数据是企业的黄金数据,其数据价值不言而喻,所以如何保证主数据的使用安全是我们必须关注的内容。主数据应当完整纳入数据安全管理体系,从数据存储安排、防止窃取和泄露等诸多方面予以全方位的保障。

6、主数据与数据仓库的关系

主数据管理系统与数据仓库系统是相辅相成的两个系统,但二者绝不是重复的,也不是互斥的。它们有很多共同之处:

首先二者对企业都具有相同的价值,可以减少数据冗余和不一致性、提升对数据的洞察力,二者都是跨部门的集中式系统;

其次二者都依赖很多相同的技术手段,都会涉及到 ETL 技术、都需要元数据管理、都强调数据质量;

第三就是二者建设手段类似,都需要数据治理的规范作为指导、都需要不同系统、不同部门的协作、需要统一的安全策略。

但是,主数据管理系统和数据仓库 / 决策支持系统二者之间也存在很多不同:

  • 处理类型不同:主数据管理 (MDM) 系统是偏交易型的系统,它为各个业务系统提供联机交易服务,系统的服务对象是呼叫中心、B2C、CRM 等业务系统;而数据仓库是属于分析型的系统,面向的是分析型的应用,是在大量历史交易数据的基础上进行多维分析,系统的使用对象是各层领导和业务分析、市场销售预测人员等;

  • 实时性不同:与传统的数据仓库方案的批量 ETL 方式不同,主数据管理系统在数据初始加载阶段要使用 ETL,但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步;

  • 数据量不同:数据仓库存储的是大量的历史数据和各个维度的汇总数据,可能会是海量的,而 MDM 存储的仅仅是客户和产品等信息。

虽然主数据管理系统和数据仓库系统异同共存,但是二者却有着紧密的联系,并且可以互为促进、互为补充。举例而言,数据仓库系统的分析结果可以作为衍生数据输入到 MDM 系统,从而使 MDM 系统能够更好地为操作型 CRM 系统服务。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/143143.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

oracle 查询到的结果在快捷地写入到excel过程中标题部分正确的处理方式

点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤羌笛何须怨杨柳,春风不度玉门关。大家好,我是皮皮。一、前言前几天在Python最强王者交流群【粉丝】问了一个pandas数据处理的问题&…

一篇文章让你掌握HTML(上)

目录 前言 1. 基础认知 1.1 HTML概念 1.2 Web标准 2. HTML骨架结构 3. 开发工具的基本使用 4. 语法规范 4.1 HTML的注释 4.2 HTML标签的结构 4.3 HTML标签的关系 5. 排版标签 5.1 标题标签 5.2 段落标签 5.3 换行标签 5.4 水平线标签 6. 文本格式化标签…

清华教授极力推荐的三本入门学习Python书籍

目录 Python入门书(适合初学者) Python进阶书(适合有基础的) Python数据科学(适合初学者) Python入门书(适合初学者) 这应该是世界上最畅销的Python编程书,没有之一。…

实战|记一次2022某地HVV中的木马逆向分析

声明:本文仅限于技术讨论与分享,严禁用于非法途径。若读者因此作出任何危害网络安全行为后果自负,与本号及原作者无关。前言事情是这样的,国庆前期某地HVV,所以接到了客户通知他们收到了钓鱼邮件想要溯源直接下载文件逆…

电子模块|光照强度传感器模块 GY-302及其驱动(arduino、STC51、STM32)

电子模块|光照强度传感器模块 GY-302及其驱动(arduino、STC51、STM32)实物照片模块简介模块特点原理图驱动程序arduinoSTC51STM32实物照片 模块简介 BH1750是一种用于两线式串行总线接口的数字型光强度传感器集成电路。这种集成电路可以根据收集的光线强…

【Linux】文件操作、文件描述符和重定向

​🌠 作者:阿亮joy. 🎆专栏:《学会Linux》 🎇 座右铭:每个优秀的人都有一段沉默的时光,那段时光是付出了很多努力却得不到结果的日子,我们把它叫做扎根 目录👉重新谈论文…

【数据结构】5.1 树和二叉树的定义

前言 数形结构的关系是 1 对 n 的,树的每个元素后面都可以有多个后继,但是只能有 1 个前趋。 树形结构(非线性结构) 结点之间有分支具有层次关系 5.1.1 数的定义 树(Tree)是 n (n > 0&…

java中javaSE与javaEE的区别

javaSE是什么? 怎么说吧,可以理解为javaSE是java的基石,如果将java程序想象成一座高楼大厦,那么javaSE就是地基。 官方的解释: Java SE(Java Platform,Standard Edition) Java SE 以…

实验室设计基本原则SICOLAB

实验室设计基本原则SICOLAB实验室设计、实验室建设施工SICOLAB实验室布局必须符合实验流程的规律,从样品接收、样品暂存、试剂和耗材储存、前处理和准备、样品分析测试、清洗到废物回收和处理,都必须有一个清晰的流程。要区分人流和物流,以及…

SQL DELETE 语句

DELETE 语句用于删除表中的记录。 SQL DELETE 语句 DELETE 语句用于删除表中的行。 SQL DELETE 语法 DELETE FROM table_name WHERE condition; 参数说明: table_name:要删除的表名称。condition:删除条件,用于指定哪些数据要…

小程序开发经验分享(4)-框架的选择

3个小程序开发框架 小程序开发公认的3个小程序开发框架: 原生、wepy、mpvue。3者个有利弊: 原生框架:微信的亲儿子,可直接在微信开发者工具中开发,方便调试,结构直接对应微信文档,框架无缝升级,最快支持最新版本的开发基础库。缺点是原生开发提供的开发方式比较朴素,…

2023年网络安全比赛--网络安全事件响应中职组(超详细)

一、竞赛时间 180分钟 共计3小时 二、竞赛阶段 竞赛阶段 任务阶段 竞赛任务 竞赛时间 分值 1.黑客通过网络攻入本地服务器,通过特殊手段在系统中建立了多个异常进程,找出启动异常进程的脚本,并将其绝对路径作为Flag值提交; 2.黑客通过网络攻入本地服务器,通过特殊手段在系统…

2022年12月国产数据库大事记-墨天轮

本文为墨天轮技术社区整理的2022年12月国产数据库大事件和重要产品发布消息。 目录 12月国产数据库大事记(时间线)产品/版本发布兼容认证排行榜新增数据库厂商活动相关资料 12月国产数据库大事记(时间线) 12月2日,…

linux环境tomcat发布系统

目录 1、上传需要发布的war 包 2、查看当前java线程 3、杀死需要启动的服务的java线程 3、修改上传的war包名称,删除原来的代码包 4、重新启动程序 5、查看启动日志 1、上传需要发布的war 包 通过XFTP上传war 包到 服务器 tomcat -->webapps 目录下。 注…

测试开发 | 相比 Selenium,Web 自动化测试框架 Playwright 有哪些强大的优势?

Playwright 是由微软的研发团队所开发的一款 Web 自动化测试框架,这个框架具有多平台、跨语言的特点。除了基本的自动化测试能力之外,同时它还具备非常强大的录制功能、追踪功能。以下是 Playwright 与 Selenium 的对比。 由此可见,Playwrigh…

Nginx编译安装vts监控模块

目录 1、环境准备 2、编译安装Nginx源码 2.1、安装依赖 2.2、编译安装Nginx 2.3验证Nginx安装 3、Nginx添加配置 3.11、Http模块下面添加 3.1.2、添加status访问页面 4、启动Nginx 4.3、访问前端页面 1、环境准备 参考Github vts模块参考Github nginx-1.20.2.tar.…

《Kotlin核心编程》笔记:val 和 var 字符串

Kotin重要特性:类型推导:定义变量不再需要显示声明类型,由编译器自动推导出变量的类型 如 val a "hello” val b 5 val c 10L表达式函数: fun sum(x: Int, y: Int) x y // 省略了{},Kotlin支持这种用单行表达式与等号…

Git——git分支操作

1 什么是分支 在版本控制过程中,同时推进多个任务,为每个任务,我们就可以创建每个任务的单独 分支。使用分支意味着程序员可以把自己的工作从开发主线上分离开来,开发自己分支的时 候,不会影响主线分支的运行。对于初…

ArcGIS基础实验操作100例--实验52导出点要素的坐标值

本实验专栏参考自汤国安教授《地理信息系统基础实验操作100例》一书 实验平台:ArcGIS 10.6 实验数据:请访问实验1(传送门) 高级编辑篇--实验52 导出点要素的坐标值 目录 一、实验背景 二、实验数据 三、实验步骤 (…

flutter:如何实现局部导航管理?

引言 今天,小编给大家分享如何在 flutter 中实现 ‘局部导航’。开始之前我们先来统一一下关于 局部导航 的概念。 局部导航是什么? 我们在 flutter 中使用 navigator 来管理 app 的页面堆栈,主要包括 push、pop 这两种操作。而当我们UI设…