数据治理003-数据域

news2024/11/23 8:25:37

数据仓库是面向主题(数据综合、归类并进行分析利用的抽象)的应用。

数据仓库模型设计除横向的分层外,通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合,通常是根据业务类别、数据来源、数据用途等多个维度,对企业的业务数据进行的区域划分,将同类型数据存放在一起,便于快速查找需要的内容。
不同使用目的数据,分类标准不同。例如,电商行业通常分为交易域、会员域、商品域等。

什么是数据域?

数据域是对数据的领域划分,这种划分使得数据域在一个大的上下文中形成一个较为明显的边界。这种划分的依据或者角度是不同的,比如可以从业务的角度,也可以从数据治理的角度等。但这些角度本质可能是互通的,因为最终的结果和目的可能是相同的。

另外我们常听到的关于数据域就是领域建模、领域驱动设计。其理论是一样的,只是上下文粒度、边界发生了改变。

下面从企业的业务和数据管理的角度对企业的数据域进行划分:

客户
产品
销售

以上的数据域之间存在关联关系,事实上也反映一定的流程。

下面我们从金融行业的角度对数据域进行划分:

主体
品种
交易

在数据域的基础上,我们通常会划分子域。这些子域一般由某一个特定的业务流程或环节所定义,也有可能是两个数据域之间的关系所定义。当然有些子域会上升到域的层级进行管理,如订单、合同。当然不同行业、不同企业对数据域和子域的划分是不同的。

为什么要划分数据域?

系统设计:每个行业、企业都会有数据域的划分,有一些行业已经成为规范,用于指导行业的系统建设。
数据管理和治理:帮助企业进行数据管理和治理,形成企业自身的数据资产,如主数据、主题域的划分。
数据架构:有一些规模较大的企业也形成了自己的数据域划分,这有利于企业内部的系统设计和架构(数据中台、数仓等)。
模型设计:领域建模。
数据解耦:系统的设计不仅要从功能上解耦,也要从数据上解耦。
微服务架构:对于微服务得架构,我们更多的是从业务或应用上进行划分,数据上的解耦也为我们对微服务得设计提供了一种思路或验证。

数据域划分原则:全局性、可理解性和数量适中。

作者:PM产品笔记
链接:https://www.jianshu.com/p/6c7e1b2b2714
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

数据域(Domain)、数据类型(Data Type)及数据标准概念

常常听到大家对数据域(Domain)、数据类型(Data Type)及数据标准概念的混淆。
特以此文将这几个概念详细讨论一下。

为了更好的帮助大家理解数据域、数据模型、元数据之间的关系,首先我们以图示来表达它们之间的关系:
在这里插入图片描述
数据域(Domain)也称值域。域是用来描述一个字段的技术属性的集合,包括数据类型,数据长度,小数点位数以及取值范围等。具有以上技术属性相同定义的字段可以包含进一个域,而当域的属性定义发生改变时,所有引用它的字段的属性都会对应进行提示。

数据标准

数据标准通常包括技术属性、业务属性与管理属性。数据域对应的是其中的技术属性部分。

通过落标数据标准到数据模型,之后将数据模型由逻辑模型派生到物理模型,最终落地到数据库schema。

定义数据域,可以实现多个实体的属性共享,这在模型设计中非常重要。

以“国家”数据域的定义为例:“居住地”、“出生地”、“国籍”三个实体中都有“国家”属性,我们就可以定义一个“国家”域,分别附加到三个实体中。这样,修改域的同时,使用域的实体的相关属性也会随之更新。
数据域的操作
定义“国家”数据域的技术属性:数据类型、长度、精度、非空。
在这里插入图片描述
定义“国家”数据域的标准代码值:
在这里插入图片描述

数据域的应用场景

应用数据域到数据模型的实体属性
在设计数据模型添加属性的类型和取值范围、约束条件时,对于相同类型的属性,不需要逐个去设置相同的取值范围、约束条件等。只需把该类型的定义在数据域(数据标准)中,添加实体属性时,填写关键词,并选择联想的数据标准,则该字段的类型、约束等将自动应用为该域的设定值。
如下图所示,从关键词联想的下拉列表中选择一个数据标准:
在这里插入图片描述
多个字段引用同一个数据域:
在这里插入图片描述

建设数据域的经验分享

01数据域的量够不够

完成基本的覆盖度即可启动
建立上下互动,让数据域生长起来
在这里插入图片描述
建立贡献激励制度

02使用数据建模工具提高开发效率

拖拉拽的方式用数据标准组装模型,根据输入智能推荐数据标准,批量智能匹配数据标准
检索模型库快速定位高质量模型及关联库表,可直接应用到自己的模型设计
一致性验证及应用
在这里插入图片描述

03核标验标,形成闭环

在这里插入图片描述

对几千上万张表的划分(一种思路)

有几点需要注意的地方
1.不重不漏,确保每个表都在一个域里,且只在一个域里(精确定位)
2.每个域下都可以根据需要再分子域,不限定层级(最自由方便)
3.如果分子域就不能放表,表只放在最底层的域中(树状目录管理时更方便)
4.最好保证每个域下的子域数量或表数量在20个左右(太多了不方便记忆管理,太少了没必要划分)
5.【其他】很好用,不好划分的都放里面(减少域层级数量有理由理解记忆)
6.数据团队分域可以作为分工的标准(数据不重、分工明确、界限清晰)
7.数据团队分域后,可以决定域内表的中间命名(看到表名时可以理解更多信息)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2168847.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

001、视频添加字幕

1. 腾讯智影 (可用) https://zenvideo.qq.com/ 1.1 操作步骤 https://zenvideo.qq.com/ https://zenvideo.qq.com/my/material?typeexport 上传资源 自动字幕识别 修改字幕 下载字幕 上传字幕 https://zenvideo.qq.com/my/material?typeexport 2. 秒剪–手机版app &a…

【Python-GUI图形化界面-PyQt5模块(3)】——Qwidget核心模块

本文旨在带大家学习Python中的一种GUI图形化界面模块——PyQt5模块,将为大家详细了解PyQt5模块中函数的参数和使用: 一、PyQt5简介 PyQt是Qt框架的Python语言实现,由Riverbank Computing开发,是最强大的GUI库之一。 官方网站&a…

Win32打开UWP应用

最近无意间发现Windows里一个神奇的文件夹。 shell:appsfolder 运行打开 这个文件夹后,你可以看到本机安装的所有应用程序。 我觉得这个挺方便的,所以做了一个简单的appFolderDialog包给C#用 项目地址:https://github.com/TianXiaTech/App…

大数据毕业设计选题推荐-内蒙古旅游景点数据分析系统-Hive-Hadoop-Spark

✨作者主页:IT研究室✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Python…

【有啥问啥】深度理解主动学习:机器学习的高效策略

深度理解主动学习:机器学习的高效策略 在大数据时代,数据量的爆炸性增长与有限的标注资源之间的矛盾日益凸显。如何高效地利用标注资源来训练高质量的模型,成为了机器学习领域亟待解决的问题。主动学习(Active Learning, AL&…

Oracle RMAN 无敌备份脚本

1 说明 上一篇文章:Oracle逻辑备份脚本,介绍了如何部署Oracle数据库的逻辑备份脚本,在数据迁移场景下十分好用,但是作为备份来说有点牵强。仅仅有逻辑备份时,当故障发生后,逻辑备份恢复只能恢复到某一时刻…

网络资源模板--Android Studio 飞机大战游戏

目录 一、项目演示 二、项目测试环境 三、项目详情 四、完整的项目源码 一、项目演示 网络资源模板--飞机大战 二、项目测试环境 三、项目详情 首页 1. **继承 Activity**: - SecondActivity 类继承自 Activity,表示一个新的屏幕或界面。 2. **重写 onCrea…

FLUX.1图像生成模型:AI工程师的实践与探索

文章目录 1 FLUX.1系列模型2 AI工程师的视角3 ComfyUI部署4 FLUX.1部署5 工作流6 面向未来 黑森林实验室(Black Forest Labs)研发的FLUX.1图像生成模型,以其120亿参数的庞大规模,正在重新定义图像生成技术的新标准。FLUX.1系列模型…

服务器数据恢复—SAN环境下LUN映射出错导致文件系统一致性出错的数据恢复案例

服务器数据恢复环境: SAN环境下一台存储设备中有一组由6块硬盘组建的RAID6磁盘阵列,划分若干LUN,MAP到不同业务的SOLARIS操作系统服务器上。 服务器故障: 用户新增了一台服务器,将存储中的某个LUN映射到新增加的这台服…

yolo自动化项目实例解析(六)自建UI(主窗口、预览窗口)

前面我们大致把各个代码块梳理出来了,但是还是不知道从那块开始,我们这里主要先通过ui页面的元素去推理整个执行过程,我们首先需要知道ui功能里面有那些组件 qt设计师基础控件 Qt Designer 是一个图形界面设计工具,用于创建 Qt 应…

遇到慢SQL、SQL报错,应如何快速定位问题 | OceanBase优化实践

在数据库的使用中,大家时常会遇到慢SQL,或执行出错的SQL。对于某些SQL问题,其错误原因显而易见,但也有不少情况难以直观判断。面对这类问题,我们应当如何应对?如何准确识别SQL错误的根源?是否需…

电脑usb接口封禁如何实现?5种禁用USB接口的方法分享!(第一种你GET了吗?)

“防患于未然,安全始于细节。”在信息技术飞速发展的今天,企业的信息安全问题日益凸显。 USB接口作为数据传输的重要通道,在带来便利的同时,也成为了数据泄露和安全风险的高发地。 因此,对电脑USB接口进行封闭管理&a…

WPF项目中使用Caliburn.Micro框架实现日志和主题切换

目录 一、添加Caliburn.Micro框架 二、配置Serilog日志 三、实现主题切换 Caliburn.Micro是MVVM模式的轻量级WPF框架,简化了WPF中的不少用法。这个框架中所有的页面控制都是通过ViewModel去实现的。 以下内容是自己在进行项目实战的同时进行记录的,对于…

【08】纯血鸿蒙HarmonyOS NEXT星河版开发0基础学习笔记-Scroll容器与Tabs组件

序言: 本文详细讲解了关于我们在页面上经常看到的可滚动页面和导航栏在鸿蒙开发中如何用Scroll和Tabs组件实现,介绍了Scroll和Tabs的基本用法与属性。 笔者也是跟着B站黑马的课程一步步学习,学习的过程中添加部分自己的想法整理为笔记分享出…

晶圆厂如何突破多网隔离实现安全稳定又快速的跨网域文件传输?

在当今数字化时代,晶圆厂作为高科技产业的核心,其生产效率和数据安全性直接影响到整个半导体行业的竞争力。晶圆厂内部网络通常被划分为多个安全域,如生产网络、研发网络、办公网络等,以确保数据安全和防止敏感信息泄露。然而&…

【RabbitMQ 项目】服务端:服务器模块

文章目录 一.编写思路二.代码实践三.服务端模块关系总结 一.编写思路 成员变量: muduo 库中的 TCP 服务器EventLoop 对象:用于主线程循环监控连接事件协议处理句柄分发器:用于初始化协议处理器,便于把不同请求派发给不同的业务处理…

大语言模型在构建UNSPSC 分类数据中的应用

UNSPSC 是联合国标准产品和服务代码。UNSPSC由联合国开发计划署(UNDP)和Dun & Bradstreet公司(D & B)于1998年联合制定,自2003年以来一直由GS1 US管理。GS1 US 将在 2024 年底前将 UNSPSC 的管理权移交给 UNDP…

【HarmonyOS】TaskPool非阻塞UI

TaskPool方法不会阻塞UI,如果做上传图片的功能加载Loading记得使用TaskPool,Promise、Async/Await都会阻塞UI 【引言】 发现Promise可能会阻塞UI,尝试使用async或await,但发现它们仍然会导致阻塞。后来看到chaoxiaoshu回复的Tas…

数字孪生平台,助力制造设备迈入超感知与智控新时代!

痛点剖析 当前,制造业面临系统分散导致的数据孤岛问题,严重阻碍了有效监管与统计分析;同时,设备多样化且兼容性不足,增加了管理难度;台账记录方式混乱,工单审批流程繁琐且效率低下;…

electron使用npm install出现下载失败的问题

我在使用electron进行下载时,经常出现一个错误。 HTTPError: Response code 404 (Not Found) for https://registry.npmmirror.com/v21.4.4/electron-v21.4.4-win32-x64.zip 这个时候需要修改一些npm的配置。使用命令npm config list -ls 滑到下面,找到一…