尚硅谷电商实时数仓笔记-《二》数仓建模概述

news2025/1/12 5:59:26

尚硅谷电商实时数仓笔记-《一》数仓概述-CSDN博客

二、数仓建模概述

2.1 数据仓库建模的意义

如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；

如果把数据看作城市的建筑，我们希望城市规划布局合理；

如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕混乱的桌面，经常为找一个文件而不知所措

数据模型就是数据组织和存储方法，它强调从业务、数据存储和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。

高性能：良好的数据模型能够帮助我们快速查询所需要的数据。
低成本：良好的数据模型能减少重复计算，实现计算结果的复用，降低计算成本。
高效率：良好的数据模型能极大的改善用户使用数据的体验，提高使用数据的效率。
高质量：良好的数据模型能改善数据统计口径的混乱，减少计算错误的可能性

2.2 数据仓库建模方法论

2.2.1 ER模型

数据仓库之父Bill Innon提出的建模方法是从全企业的高度，用实体关系（Entity Realtionship,ER)模型来描述企业业务，并用规范化的方法表示处理，在范式理论上符合3NF.

1. 实体关系模型

实体关系模型将复杂的数据抽象为两个概念--实体和关系。实体表示一个对象，例如学生、班级，关系是指两个实体之间的关系，例如学生和班级之间的从属关系。

2. 数据库规范化

数据库规范化是使用一系列范式设计数据库（通常是关系型数据库）的过程，其目的是减少数据冗余，增强数据的一致性。

这一系列范式就是指在设计关系型数据库时，需要遵从的不同的规范。关系型数据库的范式一共有六种，分别是第一范式（1NF)、第二范式（2NF)、第三范式（3NF)、巴斯科德范式（BCNF)、第四范式（4NF)和第五范式（5NF),遵循的范式级别越高，数据冗余就越低。

3. 三范式

1）第一范式INF核心原则就是:属性不可切割

很明显上图所示的表格设计是不符合第一范式的，商品列中的数据不是原子数据项，是可以进行分割的。因此对表格进行修改，让表格符合第一范式的要求，修改结果如下图所示

实际上，1NF是所有关系型数据库的最基本要求，你在关系型数据库管理系统（RDBM9),例如SQL Server,Oracle, MySQL中创建数据表的时候，如果数据表的设计不符合这个最基本的要求，那么操作一定是不能成功的。也就是说，只要在RDBMS中已经存在的数据表，一定是符合INF的。

2）第二范式2NF核心原则：不能存在“部分函数依赖”

以上表格是存在部分依赖的，比如，这张表的主键是（学号、课名），分数确实完全接触于（学号、课名），但是姓名并不完全依赖于（学号、课名）

3）第三范式3NF核心原则：不能存在传递函数依赖

在下面这张表中，存在传递函数依赖：学号->系名->系主任。但是系主任推不出学号。

这种建模方法的出发点是整合数据，其目的是将整个企业的数据进行组合和合并，并进行规范处理，减少数据冗余性，保证数据的一致性。这种模型并不适合直接用于分析统计。

2.2.2 维度模型

数据仓库领域的另一位打算--Ralph Kimball 倡导的建模方法为维度建模。维度模型将复杂的业务通过事实和维度两个概念进行呈现。事实通常对应于业务过程，而维度通常对应业务过程发生时所处的环境。

注：业务过程可以概括为一个个不可拆分的行为事件，例如电商交易中的下单，取消订单，付款，退单等，都是业务过程。

下图为一个典型的维度模型，其中位于中心的SalesOrder为事实表，其中保存的是下单这个业务过程的所有记录。位于周围每张表都是维度表，包括Date(日期），Customer(顾客），Product(产品），Location（地区）等，这些维度表就组成了每个订单发生时所处的环境，即何人、何时、在何地下单了何种产品。从图中可以看出，模型相对清洗、简洁。