大数据数仓维度建模

news2024/9/22 19:28:56

目录

维度建模分为三种:

        1、星型模型:

        2、雪花模型:

        3、星座模型: 

模型的选择:

 维度表和事实表:

        维度表:

          维度表特性 :       

        事实表:

                事实表特性:

               事务型事实表:

              周期型快照事实表:

             累积型快照事实表:


维度建模分为三种:

        1、星型模型:

                        

 雪花模型与星座模型的区别主要在于维度的层级,标准的星型模型只有一层,而雪花模型可能会涉及多级。

        2、雪花模型:

 雪花模型,比较靠近3NF,但是无法完全遵守,因为遵循3NF的性能成本太高。

        3、星座模型: 

 星座模型与前面两种情况的区别是事实表的数量,星座模型是基于多个事实表。

模型的选择:

        首先就是星座不星座只跟数据和需求有关系,跟设计没有关系,不用选择。

        星型还是雪花,取决于性能优先,还是灵活更优先。

        通过市场调研中,不会绝对的选择一种,根据情况灵活组合,甚至并存(一层维度和多层维度都是存在的)。但是从整体来看,星型模型用维度比较少。尤其是Hadoop体系,减少Join就是减少Shuffle,性能差距很大。(关系型数据可以依靠强大的主建索引)。

 维度表和事实表:

        维度表:

一般是对事实的描述信息。每一张维表对应现实世界中的一个对象或者概念。    例如:用户、商品、日期、地区等。

          维度表特性 :       

  • 维表的范围很宽(具有多个属性、列比较多)
  • 跟事实表相比,行数相对较小:通常< 10万条
  • 内容相对固定:编码表

        事实表:

                每行数据代表一个业务事件(下单、支付、退款、评价等)

                事实表特性:

  • 非常的大
  • 内容相对的窄:列数较少(主要是外键id和度量值)
  • 经常发生变化,每天会新增加很多。

               事务型事实表:

                以每个事务或事件为单位,例如一笔支付记录,作为事实表里的一行数据。一旦事务被提交,事实表数据被插入,数据就不再进行更改,其更新方式为增量更新。

              周期型快照事实表:

周期型快照事实表中不会保留所有数据只保留固定时间间隔的数据,例如每天或者每月的销售额,或每月的账户余额等。

例如购物车,有加减商品,随时都有可能变化,但是我们更关心每天结束时这里面有多少商品,方便我们后期统计分析。

             累积型快照事实表:

        累计快照事实表用于跟踪业务事实的变化。例如,数据仓库中可能需要累积或者存储订单从下订单开始,到订单商品被打包、运输、和签收的各个业务阶段的时间点数据来跟踪订单声明周期的进展情况。当这个业务过程进行时,事实表的记录也要不断更新。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/447469.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

程序员能干多久?程序员能干到多大年龄?

程序员可以工作多少年?大多数程序员认为程序员是吃青春饭的工作。编程只能干到30岁&#xff0c;最长可达35岁。我经常听到这样的话&#xff0c;都让人倍感压力。今天&#xff0c;我们来谈谈这个老话题...... 程序员能干多久&#xff1f; 根据国外的经验来说&#xff0c;干到…

ChatGPT 基础使用方法

文章目录 1. ChatGPT 是下一代搜索引擎2. ChatGPT 是学习助手3. ChatGPT API 简介4. ChatGPT API 身份5. 开发痛点6. 机会与前景7. Images8. Audio 1. ChatGPT 是下一代搜索引擎 根据 3 月份对 ChatGPT 的使用&#xff0c;我对它的理解是下一代的搜索引擎&#xff0c;即能够根…

【社区图书馆】读《大话数据结构溢彩加强版》

目录 书中简介&#xff1a; 选读原因 本书内容有哪些&#xff1a; 学会了什么&#xff1a; 书中简介&#xff1a; 《大话数据结构【溢彩加强版】》以一个计算机教师的教学过程为场景&#xff0c;讲解数据结构和相关算法的知识。全书以趣味方式来叙述&#xff0c;大量引用各…

无公网IP,外网远程连接MySQL数据库

哈喽~大家好&#xff0c;这篇来看看无公网IP&#xff0c;外网远程连接MySQL数据库。 文章目录 前言1. 检查mysql安装状态2. 安装配置cpolar内网穿透3. 创建tcp隧道&#xff0c;映射3306端口4. 公网远程连接4.1 图形化界面4.2 使用命令行远程连接 5. 配置固定tcp端口地址5.1 保留…

「计算机控制系统」6. 直接设计法

特殊类型系统的最小拍无差设计 一般系统的最小拍无差设计 最小拍控制器的工程化改进 Dahlin算法 文章目录 特殊类型系统的最小拍无差设计理论分析典型输入函数的最小拍无差系统 一般系统的最小拍无差设计有波纹最小拍无差设计无波纹最小拍无差设计 最小拍控制器的工程化改进针对…

操作HDFS文件系统常用命令(启停、创建、查看、上传、下载、追加、删除.etc)

文章目录 1 一键启停2 单进程启停3 创建文件夹4 查看指定目录下内容5 上传文件到HDFS指定目录下 linux->HDFS6 下载 HDFS ->Linux7 追加数据 linux->HDFS8 查看HDFS文件内容9 HDFS 数据删除10 网页端图形化界面11总结 跟linux命令大差不差 1 一键启停 HadoopHDFS组件…

共享锁中:Semaphore 、CyclicBarrier 、CountDownLatch的区别是什么?

目录 下面是一个使用Semaphore实现共享锁的例子&#xff1a; 下面是一个使用CountDownLatch实现等待一组操作完成的例子&#xff1a; 下面是一个使用CyclicBarrier实现等待一组线程达到某个状态后再同时执行的例子&#xff1a; 结论1&#xff1a; 结论2&#xff1a; 下面是…

JavaSE基础(一)—— Java环境搭建、IDEA、Java语言

【JavaSE基础回顾笔记】 JavaSE基础&#xff08;一&#xff09;—— Java环境搭建、IDEA、Java语言 JavaSE基础&#xff08;二&#xff09;—— Java语法、运算符、随机数 JavaSE基础&#xff08;三&#xff09;—— 分支、循环、控制关键字 JavaSE基础&#xff08;四&…

Opencv+Python笔记(六)图像的平滑处理

图像在获取、传输的过程中&#xff0c;可能会受到干扰的影响&#xff0c;会产生噪声&#xff0c;噪声是一种出错了的信号&#xff0c;噪声会造成图像粗糙。 图像平滑处理的目的是去除图像中的噪声和不必要的细节&#xff0c;使图像更加清晰和易于分析。常用的平滑滤波器包括高斯…

无感FOC

前言 一年多前就画好了FOC的板子&#xff0c;后面因为各种原因耽搁了&#xff0c;最近又重新捡起来&#xff0c;准备写一下程序&#xff0c;首先我们要做一下FOC的理论分析。 左右手定则 左手定则用于判断导线在磁场中受力的方向&#xff1a; 磁感线从左手手心流入&#xff0…

前++与后++的区别?反汇编底层刨析

目录 1.只&#xff0c;不赋值 2.和其他运算符的结合 1.后置&#xff08;i&#xff09; 2.前&#xff08;i&#xff09; 总结 1.只&#xff0c;不赋值 前置和后置无区别&#xff0c;效果一致&#xff0c;i -> ii1 反汇编语言内&#xff0c;对a和b的操作进行观察&#…

彻底卸载Anaconda和PyCharm详细教程

目录 一、卸载Anaconda 二、 卸载PyCharm 一、卸载Anaconda 1、在开始处打开Anaconda Prompt 2、打开后&#xff0c;输入conda install tqdm -f命令并按回车键 conda install tqdm -f 3、之后页面会出现一个WANNING&#xff0c;这个我们不用在意&#xff0c;然后会出现一个…

GitHub新手用法详解【适合新手入门-建议收藏!!!】

目录 什么是Github&#xff0c;为什么使用它&#xff1f; 一、GitHub账号的注册与登录 二、 gitbash安装详解 1.git bash的下载与安装 2.git常用命令 3. Git 和 GitHub 的绑定 1. 获取SSH keys 2.绑定ssh密钥 三、通过Git将代码提交到GitHub 1.克隆仓库 2.测试提交代码…

ClickHouse同步MySQL数据

目录 1 概述1.1 特点1.2 使用细则 2 案例实操2.1 MySQL 开启 binlog 和 GTID 模式2.2 准备 MySQL 表和数据2.3 开启 ClickHouse 物化引擎2.4 创建复制管道2.5 修改数据2.6 删除数据2.7 删除表 1 概述 MySQL 的用户群体很大&#xff0c;为了能够增强数据的实时性&#xff0c;很多…

通过response.body()返回的json报文,直接生成对应结构体,实现数据绑定

作者&#xff1a;非妃是公主 专栏&#xff1a;《Golang》 博客地址&#xff1a;https://blog.csdn.net/myf_666 个性签&#xff1a;顺境不惰&#xff0c;逆境不馁&#xff0c;以心制境&#xff0c;万事可成。——曾国藩 文章目录 序一、解决办法二、相关测试代码1. json body…

Origin选取一定间隔的数据点并作图

有些时候我们发现用origin绘制的图数据点太密&#xff0c;抖动太剧烈&#xff1a; 所以我们最好是隔几个点采样一次&#xff0c;方法如下。 假如我们一共有五列数据&#xff0c;我们再扩充六列&#xff08;其中一列是放隔点采样的横坐标&#xff09;&#xff1a; 然后选中扩充…

Java企业级开发学习笔记(2.4)利用MyBatis实现条件查询

该文章主要为完成实训任务&#xff0c;详细实现过程及结果见【http://t.csdn.cn/AZM1g】 文章目录 一、创建学生映射器配置文件二、配置学生映射文件三、创建学生映射器接口四、测试学生映射器接口任务1. 查询女生记录任务2. 查询19岁的女生任务3. 查询姓吴的19岁女生任务4. 查…

css预处理器:less

1.css常见单位 绝对单位 只需要掌握px,国外in用得更多 相对单位 em em相对于自身的font-size,如果自身未定义,则相对于继承的父元素font-size rem rem可以做移动端的适配,依然很重要,如淘宝m站在使用;但是趋势是rem转vw rem是相对于html的font-size,html默认字体大小为1…

ROS学习第二十五节——rqt工具箱

1.安装 一般只要你安装的是desktop-full版本就会自带工具箱 如果需要安装可以以如下方式安装 $ sudo apt-get install ros-noetic-rqt $ sudo apt-get install ros-noetic-rqt-common-plugins2.启动 rqt的启动方式有两种: 方式1:rqt 方式2:rosrun rqt_gui rqt_gui 3.基本使…

知识图谱实战应用5-基于知识图谱的创建语义搜索功能

大家好&#xff0c;我是微学AI&#xff0c;今天给大家讲一下知识图谱实战应用5-基于知识图谱的创建语义搜索功能。基于知识图谱的语义搜索功能是一种能够理解用户意图、并根据语义关系在知识图谱中进行查询的搜索方式。相比于传统的文本搜索&#xff0c;它可以更准确地回答用户…