数据治理-数据建模和设计

news2024/10/11 20:22:51

是什么?

        数据建模是发现、分析和确定数据需求的过程,用一种称为数据模型的精确形式表示和传递这些数据需求。数据建模是数据管理的一个重要组成部分。建模过程中要求组织发现并记录数据组合的方式。

        数据可以采用多种不同的模式来表示,其中最常见的6种模式分别是:关系模式、多维模式、面向模式、事实模式、时间序列模式和NOSQL模式。按照描述详细程度的不同,每种模式又可以分为3层模型:概念模型、逻辑模型和物理模型。每一种模型都包含一系列组件,如实体、关系、事实、键和属性。一旦建立了模型,就需要对其进行质量审查;一旦得到批准,后续就需要对其进行维护。

        数据模型包含数据使用者所必需的元数据。在数据建模过程中发现的大部分元数据对于其他数据管理功能是必不可少的。

为什么?

        业务驱动因素

  1. 提供有关数据的通用词汇表;
  2. 获取、记录组织内数据和系统的详细信息;
  3. 在项目中作为主要的交流沟通工具;
  4. 提供了应用定制、整合,甚至替换的起点;

目标和原则

        数据建模的目标是确认和记录不同视角对数据需求的理解,从而使应用程序与当前和未来的业务需求更加紧密的结合在一起,并为成功地完成广泛的数据应用和管理活动奠定基础。数据模型是元数据的一种重要形式。

        确认和记录不同视角的理解有助于:

  1. 格式化。数据模型是对数据结构和数据关系的简洁定义,能够评估当前或者理想情况下业务规则对数据的影响情况。格式化的定义赋予数据规范的结构,减少在访问和保存数据时发生异常的概率,通过展现数据中的结构和关系,数据模型使数据更容易被使用。
  2. 范围定义。数据模型可以帮助解释数据上下文的边界,以及购买的应用程序包、项目、方案或实施的现有系统;
  3. 知识保留记录,数据模型通过以书面的形式获取知识来保存系统或项目的企业信息,它能给未来项目提供原始记录,数据模型有助于更好地理解一个组织、一个业务方向、一个已存在的应用,也有助于理解修改现有数据结构所带来的影响。

基本概念

        数据建模和数据模型

        数据建模最常用在系统开发与系统维护的工作环境中,也称为系统开发生命周期(SDLC)。数据建模可以用于更广泛的领域,其直接的结果不是在数据库,而是对组织数据的理解。

        模型是现实中事物的一种表征或者想要创造事物的一种模式。一个模型可以包含一个或多个图表。模型图可以使人们通过标准化的符号快速领会其内容。地图、组织架构图和建筑蓝图都是日常模型的例子。

        数据模型描述了组织已经理解或者未来需要的数据,数据模型包括一组带有文本标签的复活,这些符号视图以可视化方式展示数据需求并将其传递给数据建模人员,以获得一组特别的数据。这些数据大小不一,小到仅可以用于一个项目,大到可以用于整个组织。模型是一种文档形式,用于记录数据需求和建模过程产生的数据定义。数据模型是用来将数据需求从业务传递到IT,以及在IT内部从分析师、建模师和架构师到数据库设计人员和开发人员的主要媒介。

        建模的数据类型

        在任何既定组织中适合建模的数据类型反映了组织或项目需要数据模型的优先级,可以对下列四种类型的数据进行建模;

        类别信息

        用于对事物进行分类和分配事物类型的数据。例如,按市场类别或业务部门分类的客户,按颜色、型号、大小等分类的产品。

        资源信息

        实施操作流程所需资源的基本数据,例如:产品、客户、供应商、设施、组织和账户等。在IT专业人员定义中,资源实体有时被称为参考数据;

        业务事件数据        

        在操作过程中创建的数据,例如客户订单,供应商发票,现金提取和业务会议等,在IT专业人员定义中,事件实体有时被称为交易性业务数据;

        详细交易信息

        详细的交易信息通常通过销售系统(商店或在线应用)生成,它还可以通过社交媒体系统,其他互联网交互和机器上的传感器产生,这些传感器可以是船只和车辆的部件、工业组件或个人设备,这种类型的详细信息可以被聚合,用于派生其他数据,并用于以分析趋势,类似于业务事件信息的使用方式,这种类型的数据通常成为大数据。

        这四类都数据“静态数据”。部分“动态数据”也可以建模。例如,系统的方案,包括用于消息传递和基于事件的系统的协议和方案等。

数据模型组件

        大多数数据模型都包含基本相同的组件:实体、关系、属性和域;

数据建模的方法

        常见的6种数据建模方法是关系建模、维度建模、面向对象建模、基于事实建模、基于时间建模和非关系型建模。

建模方法表示法
关系

信息工程

信息建模集成定义

巴克符号

陈氏符号

维度维度
面向对象统一建模语言(UML)
基于事实

对象角色建模

完全面向交流的信息建模

基于时间

数据拱顶模型

锚建模

非关系型

文档

键值

        在关系建模方法中,三层模型仅适用于关系型数据库,而概念模型和逻辑模型可适用于其他数据库。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/993194.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【广州华锐互动】电厂三维数字孪生大屏的功能和优势

在工业互联网的背景下,电厂三维数字孪生大屏系统正在逐渐成为电力行业的重要技术。通过创建电厂的虚拟模型,这个数字孪生系统可以实现对实际电厂的实时监控,预测维护需求,优化运营效率,甚至在某些情况下,能…

CrossEntropyLoss() 和 nn.BCEWithLogitsLoss() 举例说明区别

CrossEntropyLoss() 通常用于多分类任务,它接受一个包含类别标签的张量作为目标值,并且假设每个样本只属于一个类别。在多分类任务中,模型的最后一层输出是一个概率分布,表示每个类别的概率。CrossEntropyLoss() 计算模型输出与目…

微信“刷掌支付”上线,扫手就可以付款!你知道怎么开通了吗?

不用扫码!不用刷卡!隔空感应! 刷掌就能支付 没错! 新科技来咯~ 刷 掌 早在今年5月,微信刷掌支付正式面世,目前已应用于交通、健身、校园、零售、餐饮、办公、共享充电等多个场景,如北京地铁…

vue3+ts项目打包后的本地访问

注意:打包之后不可直接点击html访问,需要给项目安装本地服务! 1、安装servenpm i -g serve 2、打包项目npm run build 生成dist文件夹 3、本地访问serve dist 运行service dist之后的控制台 可复制下方的地址运行打包后的项目,运行…

Spring系列文章:Spring中的设计模式

一、简单⼯⼚模式 BeanFactory的getBean()⽅法,通过唯⼀标识来获取Bean对象。是典型的简单⼯⼚模式(静态⼯⼚模 式); 二、⼯⼚⽅法模式 FactoryBean是典型的⼯⼚⽅法模式。在配置⽂件中通过factory-method属性来指定⼯⼚⽅法&a…

英语单词(二)

1.int:整形 2.char:字符型 3.scanner:接受输入,扫描器 4.integer:整数,整形 5.type:类型 6.string:字符串类型 7.double:双精度浮点型

OpenRoads地形模型添加(增补)地形点

创建三维点,将创建的点对象添加到现有地形模型。 在ORD建模工作流: 地形、分析、点、分析点,在需要添加点的位置读出地模的高程(图1); 图1 几何、平面、点添加高程点,特征设为地形随机点、高…

双线性插值以及计算

参考视频:图像处理-双线性插值_哔哩哔哩_bilibili 双线性插值 双线性插值是一种常用的图像处理和计算机图形学技术,用于在离散像素网格上平滑地估算介于两个相邻像素之间的数值。这种插值方法通常用于图像放大、旋转和变换等操作,以改善图像…

操作系统 第二章 进程管理:进程与线程、处理机调度

目录 1.进程与线程 1.1进程的概念、组成、特征 1.1.1概念 1.1.2组成 进程控制块(PCB) 程序段 数据段 1.1.3特征 1.2进程的状态与转换 1.2.1进程的五种状态 1.2.2进程的状态转换 1.3进程控制 1.3.1如何实现原语的“原子性” 1.3.2进程的创建…

intellij debug模式提示 : Method breakpoints may dramatically slow down debugging

最近在搞一个搭建一个项目 , 项目搭建完之后发现启动不了 , 一直都是正在加载中 并且提示Method breakpoints may dramatically slow down debugging,百度之后才知道是打了方法断点的原因 , 之前不小心打了一个断点 解决办法 : 点击如下图所示的按钮 然后把有断点…

15:00面试,15:06就出来了,问的问题有点变态。。。

从小厂出来,没想到在另一家公司又寄了。 到这家公司开始上班,加班是每天必不可少的,看在钱给的比较多的份上,就不太计较了。没想到8月一纸通知,所有人不准加班,加班费不仅没有了,薪资还要降40%,…

matlab之cell数组的详细用法

一、cell数组是什么? 在MATLAB中,Cell数组是一种特殊的数据结构,它可以存储不同类型的数据,包括数字、字符串、数组、结构体等。Cell数组是一种灵活的数据容器,可以方便地存储和处理不同类型的数据。 二、怎么使用ce…

算法通关村第十八关:白银挑战-回溯热门问题

白银挑战-回溯热门问题 回溯主要解决一些暴力枚举也搞不定的问题zh,例如组合、分割、子集、排列、棋盘等。 1. 组合总和问题 LeetCode39 https://leetcode.cn/problems/combination-sum/ 思路分析 如果不考虑重复,跟题目 LeetCode 113 类似 考虑重复…

Autowired members must be defined in valid Spring bean (@Component|@Service|…)

报错如下: 自动注入对象必须定义在有效的spring bean内,也就是说只有本身作为bean的类才能注入其他对象。 修正方法:在BookTest上加上Component注解

基于STM32F103 实现按键状态机

文章目录 开发板开发环境前言按键消抖按键硬件原理图软件延时实现思路 实验目的代码按键状态按键信息按键相关定义按键底层配置及状态获取 总结 开发板 正点原子STM32F103ZET6战舰 开发环境 stm32cubeMX Clion 前言 在单片机使用按键时,为了消除按键的抖动&…

【随想】每日两题Day.3(实则一题)

题目:59.螺旋矩阵|| 给你一个正整数 n ,生成一个包含 1 到 n2 所有元素,且元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。 示例 1: 输入:n 3 输出:[[1,2,3],[8,9,4],[7,6,5]]示例 2: …

Python进阶方法-Decorator装饰器

前言 在Python中,decorator(装饰器)是一种特殊的函数,主要用于修改或增强其他函数的功能。它可以在不修改原函数代码的情况下,通过在原函数的定义之前使用语法糖来对其进行修饰。 Decorator装饰器的作用 Decorator的…

端口信息收集

一、服务端口介绍 在渗透测试中对服务端口的收集非常重要,通过扫描服务开放的端口可判断对应开启的服务,通过所提供的这些服务的已知漏洞就可进行攻击。知名端口(0-1023)固定分配给某些服务的,动态端口(10…

(高频面试1)Redis缓存穿透、缓存击穿、缓存雪崩

目录 一:缓存数据 1.1 应用场景 1.2:缓存数据出现的问题 1.2.1 缓存穿透 1.2.2 解决办法 1.2.3 缓存击穿 1.2.4 解决办法 1.2.5 缓存雪崩 1.2.6 解决办法 一:缓存数据 1.1 应用场景 数据库查询结果缓存是一种常见的缓存应用场景&a…