引言
OneData 体系中,数据划分为三层:
- ODS(Operational Data Store):操作数据层。它相当于数据中台通用数据模型层的一个数据准备区,同时又承担着基础数据的记录以及历史变化,主要完成业务系统、日志等结构化和半结构化数据引入到数据中台。保留业务系统原始数据,包括增量明细和全量明细。在结构上其与源系统的增量或者全量数据基本保持一致。
- CDM(Common Data Model):通用数据模型,又细分为 DWD 和 DWS。主要完成公共数据加工与整合,基于维度建模理念思想,建立一致性的维度,构建可复用面向分析和统计的明细事实表以及汇总公共粒度的指标。
- ADS(Application Data Service):应用层数据,提供直接面向业务应用的数据。为方便实现数据应用、数据消费的诉求,进行数据形式的组装,进行面向应用逻辑的数据加工处理。
其中 CDM 层又分为 DWD 明细层、DWS 轻度汇总层和 DIM 维度层。本文从设计思路、主要作用、面临挑战等方面对数仓 ODS 层进行了介绍和说明。
ODS 层的设计思路
数仓 ODS 层将业务数据几乎无处理地同步备份到数仓里,后续所有的数据计算都不会影响原来的业务系统。设计思路包括以下几个方面:
-
实现数据的抽取和加载,确保数据的及时性和准确性。
-
对数据进行初步的清洗和加工ÿ