一、什么是 OneData 体系?
官方:阿里云OneData数据中台解决方案基于大数据存储和计算平台为载体,以OneModel统一数据构建及管理方法论为主干,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,以数据资产管理为皮,数据应用服务为枝叶的松耦性整体解决方案。其数据服务理念根植于心,强调业务模式,在推进数字化转型中实现价值。
简言: 统一化的数据体系 = OneID、OneModel、OneService。
- 第一部分:OneModel 致力于实现数据的标准与统一;
- 第二部分:OneID 致力于实现实体的统一,让数据融通而非以孤岛存在,为精准的用户画像提供基础;
- 第三部分:OneService 致力于实现数据服务统一,让数据复用而非复制。
二、OneData 方法论切入点
- 数据架构方法(全局化规划数据体系):
- 数据域划分 -> 数据总线矩阵构建 -> 数据分层规划
- 实现企业数据的全局观规划设计
- 数据模型设计方法(好用且复用)
- 维度 -> 事实 -> 公共汇总
- 面向数据分析场景构建数据模型,让通用计算沉淀,数据复用,提升效能。
- 数据标准化方法(计算口径&表达统一)
- 派生指标 = 原子指标 + 业务限定 + 统计周期 + 统计粒度
- 实现数据标准化定义,计算口径统一,保障数据质量
三、OneData 实施流程
- 充分的业务调研和需求分析。这是中台建设的基石
- 需求调研+数据调研+业务系统调研+环境调研
- 数据总体架构设计 = 构建总线矩阵 + 明确统计指标
- 明确每个数据域下有哪些业务过程;业务过程与哪些维度相关,并定义每个数据域下的业务过程和维度。
- 明确原子指标、明确派生指标
- 整理出相关指标体系,完成指标规范定义和模型设计。(即 数据标准化方法)
- 定义指标体系,包括度量/原子指标、业务限定、统计周期、派生指标。
- 时间周期:{1:全周期,2:今年以来,3:近一月,4:近两月,5:近三月,6:近六月,7:近一年,8:近两年,9:近三年,13:近1周} {周度,月度,季度}
- 业务限定:基金分类(公私募),净值质量,所属投顾 ,数据来源
- 度量/原子指标:金额,份额,单位净值,基金编码
- 维度:是度量的环境,也可以称为实体对象。地理维度(包括国家、地区、省以及城市等级的内容)、时间维度(其中包括年、季、月、周、日等级别的内容)
- 派生指标 : 一个原子指标+多个业务限定(可选)+时间周期。近一周收益率,近一周年化收益率,近一年 收益率,年华收益率,最大回撤,Sharpe比率,Var,Sortino比率,Calmar比率,月胜率,标准差(波动率),下行标准差,年化标准差(波动率)
- 派生指标的种类:事务型指标、存量型指标和复合型指标
- 模型设计(维度设计主要还是以维度建模理论为基础,构建一致性的维度和事实):
- 操作数据层(ODS)
- 数据同步
- 明细数据层(DWD)
- 采用维度模型方法作为理论基础,更多地采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联,提高明细数据表的易用性。
- 汇总数据层(DWS)
- 加强指标的维度退化,采取更多的宽表化手段构建公共指标数据层,提升公共指标的复用性,减少重复加工。
- 组合相关和相似数据:采用明细宽表,复用关联计算,减少数据扫描。(台账,业绩报酬,分红记录)
- 公共指标统一加工:基于OneData体系构建命名规范、口径一致和算法统一的统计指标,为上层数据产品、应用和服务提供给公共指标;建立逻辑汇总宽表。(绩效总表)(滚动绩效总表)(基金净值质量总表) (分策略净值市值及相关信息)(分年绩效总表)
- 建立一致性维度:建立一致的数据分析维表,降低数据计算口径、算法不统一的风险。
- 应用数据层(ADS)
- 数据产品个性化的统计指标数据
- 指数型、比值型、排名型指标 : 资金流动性管理(历史现金占比,历史资产配置,子基金收益贡献分解)
- 基于应用的数据组装:大宽表集市、横表转纵表、趋势指标串
- 数据产品个性化的统计指标数据
- 操作数据层(ODS)
- OneData的实施过程是一个高度迭代和动态的过程,评审机制 必要
- 定义指标体系,包括度量/原子指标、业务限定、统计周期、派生指标。
- 代码研发和运维。
四、OneID 与主数据的不同
数据中台是在有了数据之后,在中台进行数据治理,形成数据资产并提供数据服务。(ToC、OLAP)
而主数据更强调在数据产生之前定义数据标准,建立数据管理流程,并在数据产生的过程中对数据质量进行校验,从源头进行数据治理。(ToB、OLDP)
因此,相对于数据中台来讲,主数据管理是一个后台系统,它可以作为数据中台的一个数据源为数据中台供应高质量的数据。
五、附
"数据中台" 承担着“解耦”的使命。需要从小的业务场景开始不断累积,需要长时间的业务经验的沉淀,不断的进行优化创新,最终才能构建出具有自己企业业务特色的数据中台
六、参考文章
什么是OneData?阿里数据中台实施方法论解读_云 祁的博客-CSDN博客