数仓理论
1 范式理论
1.1 范式概念
数据建模要遵循一定的规则，在关系建模中，这种规则就是范式
采用范式结构，可以有效的降低数据的冗余性
范式在获取数据时，需要通过join拼接出数据
范式有第一范式(1NF)，第二范式(2NF)，第三范式(3NF)，巴斯-科德范式(BCNF)，第四范式(4NF)，第五范式(5NF)
一般只遵循到第三范式
1.2 函数依赖
1.2.1 完全函数依赖
通过(学号，课程)可以推断出分数，但是单独用学号或者课程都不能推断出分数，这时可以说分数完全依赖于(学号，课程)
即AB能推断出C，但是A和B单独不能推断出C，这时C完全依赖于AB
1.2.2 部分函数依赖
通过(学号，课程)可以推断出姓名，但是只通过学号就能推断出姓名，这时可以说姓名部分依赖于(学号，课程)
即AB能得出C，A或B单独也能得出C，这时C部分依赖于AB
1.2.3 传递函数依赖
学号可以推断出学院名，学院名可以推断出院长，但是院长推断不出来学号，这时可以说院长传递依赖于学号
即A得出B，B得出C，但是C得不到A，这时C传递依赖于A
1.3三范式的区分
1.3.1 第一范式
1NF的核心原则为：属性不可切割
比如下面的表格，商品列中的数据可以分割成 3台 和 电脑 ，所以下面的表格不遵循1NF
| 商品ID | 商品 | 商家ID | 用户ID |
|---|---|---|---|
| 001 | 3台电脑 | 001 | 001 |
修改成遵循1NF的表格为
| 商品ID | 商品 | 商家ID | 用户ID | 数量 |
|---|---|---|---|---|
| 001 | 电脑 | 001 | 001 | 3 |
1NF时关系型数据库的最基本的要求，在RDBMS中创建表时，如果不符合1NF的要求，操作是不会成功的
1.3.2 第二范式
2NF的原则为：不存在部分函数依赖
比如下面的表格，属性不可切割，满足第一范式，但是课名不完全依赖于(学号，姓名)，所以不满足2NF的要求
这时将表拆分成以下两个，这时就满足了2NF
1.3.3 第三范式
3NF的原则为：不存在传递函数依赖
拿上面满足2NF的第二章表来说，系主任传递依赖于学号，所以需要进行进一步的拆解
拆分之后的如下两张表满足3NF
2 关系建模和维度建模
2.2 关系建模
关系建模将数据抽象成两个概念：实体和关系，使用规范化的方式表示出来，如图所示，关系建模较为松散。
关系建模遵循三范式，数据冗余性低，但是查询相对复杂，join操作比较多导致MR较多，查询效率较低
2.3 维度建模
维度建模以数据分析为出发点，不遵循三范式，存在一些数据冗余
面向业务，将业务用事实表和维度表的方式表现出来
查询效率较高
3 维度表和事实表
3.1 维度表
维度表一般是对事实的描述信息，比如：用户、商品、日期等
维度表很宽，具有多个属性，列多
与事实表相比，行数相对较小
内容相对固定
- 比如：时间维度表
| 日期ID | day of week | day of year | 季度 |
|---|---|---|---|
| 2023-2-15 | 3 | 46 | 1 |
| 2023-2-16 | 4 | 47 | 1 |
3.2 事实表
事实表中每行数据代表了一个业务事件(下单，支付等)
实时表示的是实践的度量值(次数，个数，金额等)
比如：2023年2月15日，jx在京东花了40元买了一本书
维度表存储：时间、用户、商家、商品等
实时表存储：数量、价钱(40元，一本)
一个事实表的行包括：度量值、与维度表相连的外键(通常有多个外键)
事实表非常大,相对较窄，列数较少，主要存储的是外键id和度量值
经常会发生变化，会产生很多的新增数据
3.2.1 事务型事实表
以单个事务或时间为单位
比如：一笔支付记录、一个订单记录
事实表中的一行数据，一旦事务被提交，数据被插入，就不能在进行更改
更新方式为增量同步
3.2.2 周期型快照事实表
不会保留所有的数据，只保留固定时间间隔的数据
比如：每天的营业额、每月的账户余额等
再比如：购物车随时都有可能增减商品，但是只关心每天结束时购物车的情况
3.2.3 累积型快照事实表
用于跟踪业务事实的变化
比如：要累积订单从下单开始，到订单商品打包、运输、签收的各个业务阶段的数据来追踪进展情况
这个业务进行时，事实表的记录也要不断更新
4 维度模型的分类
4.1 模型的介绍
维度模型分为三种：星型模型、雪花模型、星座模型
- 星型模型
标准的星型模型只有一层
- 雪花模型
雪花模型和星型模型的区别主要在于维度的层级
雪花模型较为靠近3NF，但是无法完全遵守
- 星座模型
星座模型包含多个事实表，多个事实表共享维度表
多个星型模型或者雪花模型会形成星座模型
4.2 模型的选择
星座模型不用进行原则，多个事实表共享维度表是正常的，是数据仓库的常态
选择星型模型还是雪花模型，取决于是性能优先还是灵活优先，在实际的开发中不会只选择一种，需要根据情况灵活组合
星型模型维度更少，可以减少join，进而减少shuffle
