整理不易,转发请注明出处,请勿直接剽窃!
点赞、关注、不迷路!
摘要:
类型1.在当前数据行更新当前值,只有最新状态;
类型2.拉链表,保留历史又有最新状态;
类型3.新增列,既能分析旧列的所有值,又能分析新列的所有值
定义
缓慢变化维:随着时间可能会缓慢变化的维度。
产生背景
业务系统往往并不会保留历史数据,但在分析角度我们需要保留这些变动以便分析历史。
处理方法
常见3种
类型1 重写
与业务数据保持一致,直接update为最新的数据。
适用情况:历史数据是错误的,不考虑保留历史
类型2 增加新行(拉链表)
增加start_dt,end_dt字段,将end_dt设为当前时间,
新增新行记录start_dt为当前时间,end_dt为9999-12-31。
通常使用方法为:跑批时间>=start_dt and 跑批时间<end_dt,相当于取有效的全量数据
类型3 增加新列
新增字段和旧字段都能分析所有数据
下图员工所属地区划分变更
参考文章