数仓实践:一文读懂数仓 ODS 层模型设计

news2024/11/19 3:24:10

引言

OneData 体系中,数据划分为三层:

  • ODS(Operational Data Store):操作数据层。它相当于数据中台通用数据模型层的一个数据准备区,同时又承担着基础数据的记录以及历史变化,主要完成业务系统、日志等结构化和半结构化数据引入到数据中台。保留业务系统原始数据,包括增量明细和全量明细。在结构上其与源系统的增量或者全量数据基本保持一致。
  • CDM(Common Data Model):通用数据模型,又细分为 DWD 和 DWS。主要完成公共数据加工与整合,基于维度建模理念思想,建立一致性的维度,构建可复用面向分析和统计的明细事实表以及汇总公共粒度的指标。
  • ADS(Application Data Service):应用层数据,提供直接面向业务应用的数据。为方便实现数据应用、数据消费的诉求,进行数据形式的组装,进行面向应用逻辑的数据加工处理。

其中 CDM 层又分为 DWD 明细层、DWS 轻度汇总层和 DIM 维度层。本文从设计思路、主要作用、面临挑战等方面对数仓 ODS 层进行了介绍和说明。

在这里插入图片描述

ODS 层的设计思路

数仓 ODS 层将业务数据几乎无处理地同步备份到数仓里,后续所有的数据计算都不会影响原来的业务系统。设计思路包括以下几个方面:

  1. 实现数据的抽取和加载,确保数据的及时性和准确性。

  2. 对数据进行初步的清洗和加工ÿ

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1955340.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【HZHY-AI300G智能盒试用连载体验】设置RKNN的开发环境

目录 安装RKNN工具 安装pip3 安装RKNN Toolkit Lite2 安装RKNPU2运行库 本文首发于电子发烧友论坛:【新提醒】【HZHY-AI300G智能盒试用连载体验】 智能工业互联网网关 - 北京合众恒跃科技有限公司 - 电子技术论坛 - 广受欢迎的专业电子论坛! (elecfans.com) 前…

WordPress文章标题定制化前缀插件

引言 在当今互联网的海洋中,吸引读者眼球的第一步往往始于文章标题的设计。对于WordPress博主而言,如何让每篇文章的标题更加个性化和吸引人,成为了一项重要的任务。传统的自定义CSS方法虽然可行,但其繁琐的操作和有限的美学效果…

麦克斯韦方程组解析——电磁理论的基石与奥秘

麦克斯韦方程组解析——电磁理论的基石与奥秘 麦克斯韦方程组的核心作用 组件/步骤描述麦克斯韦方程组描述电磁场的基本方程组,由四个主要方程构成功能揭示电场、磁场与电荷、电流之间的关系,是电磁理论的基础应用领域广泛应用于电子学、光学、通信等领…

51单片机16(步进电机实验)

一、步进电机简介: 1、步进电机是将电脉冲信号转变为角位移或线位移的开环控制元件。 2、 3、 4、我们这个电机的旋转停止的位置只取决于脉冲信号的频率和脉冲数,而不受负载的变化的影响,也就是说给我们的这个步进电机一个脉冲信号&#x…

大唐杯 5G LMT

一、比赛现场流程 比赛现场会给你一个册子,册子前边部分会告诉你要做什么,最后一页会给参数。 按照他告诉你要做什么一步步根据参数做就可以了。 他每组还会有个评分表,按照一步步的操作给你打分。 我们评分表这次是 基站登录—网络规划参…

猫用空气净化器测评分享,猫用空气净化器哪个牌子值得买?

作为一位5年资深铲屎官,很多铲屎官听过一丁半点宠物空气净化器,知道宠物空气净化器净化器对于养猫家庭的重要性。其实宠物空气净化器真的是养猫家庭必备的一款小家电。大面积进风口可以有效吸附空气中微小的浮毛、皮屑,专门的除臭技术有效净化…

DP 整数拆分不同的二叉搜索树 DAY21

整数拆分? 给定一个正整数 n ,将其拆分为 k 个 正整数 的和( k > 2 ),并使这些整数的乘积最大化。 返回 你可以获得的最大乘积。 示例 1: 输入: n 2 输出: 1 解释: 2 1 1, 1 1 1。示例 2: 输入: n 10 输…

后端笔记(1)--javaweb简介

1.JavaWeb简介 ​ *用Java技术来解决相关web互联网领域的技术栈 1.网页:展现数据 2.数据库:存储和管理数据 3.JavaWeb程序:逻辑处理 2.mysql 1.初始化Mysql mysqld --initialized-insecure2.注册Mysql服务 mysqld -install3.启动Mysql…

数据结构第六讲:栈和队列

数据结构第六讲:栈和队列 1.栈1.1概念与结构1.2栈的实现1.2.1栈的基础框架1.2.2栈的初始化1.2.3栈的销毁1.2.4栈的插入(压栈)1.2.5栈的删除(出栈)1.2.6获取栈顶元素1.2.7获取栈中有效数据的个数 2.队列2.1概念与结构2.…

PyTorch 2.0 GPU Nvidia运行库的安装

【图书推荐】《PyTorch深度学习与计算机视觉实践》-CSDN博客 假设读者电脑带有NVIDIA 20 以上系列的显卡。 我们以CUDA 11.7cuDNN 8.2.0(其他更高版本的组合,读者可以执行查阅PyTorch官网获得)为例,讲解PyTorch 2.0 GPU版本的安…

Cocos Creator2D游戏开发(4)-飞机大战(2)-编辑器界面

编辑器几个重要板块 参考: https://docs.cocos.com/creator/3.8/manual/zh/editor/ (1) 场景编辑器: 仅看2D视图: 按钮作用依次是: 平移, 旋转,缩放,矩形变换,增量吸附工具,最后三个,前俩是变换工具,最后一个是布局组件 矩形变换: 中心点和锚点切换 以后用到慢慢整吧! (2)层…

大语言模型的Scaling Law:如何随着模型大小、训练数据和计算资源的增加而扩展

人工智能的世界正在经历一场革命,大型语言模型正处于这场革命的前沿,它们似乎每天都在变得更加强大。从BERT到GPT-3再到PaLM,这些AI巨头正在推动自然语言处理可能性的边界。但你有没有想过是什么推动了它们能力的飞速提升? 在这篇…

反向代理和负载均衡

目录 步骤1 代理技术介绍 代理技术常见的类型 正向代理的用途 反向代理的作用 步骤2 反向代理配置 步骤3 负载均衡 1、路由模式(推荐) 2、桥接模式 3、服务直接返回模式 4、负载均衡算法介绍 1、轮询法 2、随机法 3、最小连接法 步骤4 nginx…

数据结构:队列(顺序存储和链式存储)

文章目录 1. 队列的概念和结构2. 队列的链式存储实现2.1 初始化2.2 判断队列是否为空2.3 入队列2.4 出队列2.5 取队头数据2.6 取队尾数据2.7 队列有效数据的个数2.8 打印队列数据2.9 销毁2.10 源代码 3. 队列的顺序存储实现(循环队列)3.1 初始化3.2 判断队列是否为空3.3 判断队…

五、获取树形结构数据递归写法

1、mysql库表字段 学习:构建表结构时的规范,字段类型的选择 CREATE TABLE pms_category (cat_id bigint(20) NOT NULL AUTO_INCREMENT COMMENT 分类id,name char(50) DEFAULT NULL COMMENT 分类名称,parent_cid bigint(20) DEFAULT NULL COMMENT 父分类…

2024年必知:9大项目成本管理系统推荐

本文将分享9大优质项目成本管理系统:PingCode、Worktile、中望软件、用友、智慧工地云平台、SAP ERP、Microsoft Project、Wrike、Zoho Projects。 在项目管理领域,控制成本往往是最挑战的一环,特别是在预算和资源受限的情况下。选择合适的项…

从0开始搭建vue + flask 旅游景点数据分析系统(二):搭建基础框架

这一期目标是把系统的布局给搭建起来,采用一个非常简单的后端管理风格,可以参考官方的页面 https://element.eleme.cn/#/zh-CN/component/container 下面我们开始搭建,首先,安装一下vue-router,element-ui npm insta…

【前端 12】js事件绑定

JavaScript 事件绑定 在Web开发中,事件绑定是实现用户与网页交互的重要机制。JavaScript 提供了多种方式来绑定和处理事件,使得开发者能够灵活地控制网页的行为。本文将详细介绍JavaScript中事件绑定的两种主要方式,并通过实例演示如何应用这…