前言
在金融行业中,利用数据中台的数据来有效驱动业务决策是一个复杂而关键的过程。其实我们的核心就是帮助金融机构最大化数据中台的价值,并推动业务决策的科学性和准确性。本文我从技术的角度来剖析一下这一过程。
什么是数据中台?
数据中台的概念最早是阿里巴巴提出的,是为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题,而在技术、组织、架构等方面采取的一些变革,其本质上还是一个平台。阿里称之为“共享服务平台(SPAS)”。2015年,阿里巴巴启动中台战略,目标是构建符合互联网大数据时代的,具有创新性、灵活性的“大中台,小前台”的机制。2018年,数据中台受到业界广泛关注。
所谓的数据中台,其实就是实现数据的分层与水平解耦,沉淀公共的数据能力。通俗讲,数据中台就是提取各个业务的数据,统一标准和口径,通过数据计算和加工为用户提供数据服务。
金融机构为什么要建立数据中台?
金融机构建立数据中台的原因有以下几点:
- 应对数字化转型需求:随着全球经济的数字化转型,金融机构必须跟上这一趋势,以提高运营效率和市场竞争力。
- 解决数据孤岛问题:金融机构内部往往存在多个信息部门和数据中心,各系统间数据壁垒严重,形成数据孤岛。数据中台能够打通这些壁垒,实现全域数据的整合与统一,为金融机构提供全面、准确、及时的数据支持。
- 提升数据管理和治理能力:数据中台对整合后的数据进行有效的管理和治理,包括数据的分类、存储、安全、备份等,确保数据资产的安全、可控和高效利用。
金融机构如何建立数据中台?
前面我们提到了,数据中台就是实现数据的分层和水平解耦,那么我们建立数据中台也要从这两点出发。从数据的角度看,大致分为三个步骤分别是数据资产化、数据标准化和数据服务化。
数据资产化
数据资产化的意思就是理清金融机构自身的数据资产。金融机构的数据资产主要两部分,一是机构内部数据,这部分数据容易梳理;另一部分是由不同业务部门引进的外部数据。这部分数据较难梳理,原因:存于不同业务部门、来源复杂,且数据量较大。
数据标准化
数据标准化就是使用前面梳理好的数据资产。首先,需要对数据的标准、口径等进行统一。金融机构常见制定数据标准的方法:资产地图和资产目录。制定数据标准是数据治理过程中极为重要的一环,尤其是在金融机构。原因:金融机构对于数据口径统一等负有相关法律责任。金融机构需要向两方报送、披露数据。一是监管机构,二是公众。制定数据标准过程类似于制定API规范,要求:稳定、符合最小化原则等。
数据服务化
金融机构完成数据资产梳理、口径、标准制定后,就可以向相关部门提供数据服务啦。传统的数据服务方式,比如数据仓库,当下游公司或部门提出取数需求时,数仓这边会告诉他们所需的表结构,让他们自己直接连上来取数。但是这样存在严重问题:数据中心的表暴露给了多少对象?有多少下游应用与你相关?中间过程难以控制。解决方式:中间增加数据服务层,以API、微服务的形式提供服务,从而实现对使用对象、频率的控制。中间也会用到一些工具,比如舆情检测、知识图谱等。
数据中台如何来驱动业务?
数据中台如何来驱动业务呢?其实我们前面已经给出了答案,数据中台将数据资产梳理好之后标准化,再将标准化的数据提供给相关服务。如下图是一个数据中台架构图,图中数据源将数据传递给贴源层,贴源层将数据梳理标准化之后传递给业务模型,这样服务需要获取什么数据只需调用对应业务模型即可。总而言之就是实现了数据的分层与水平解耦,沉淀公共的数据能力。
总结
我们在做金融行业数据中台时,内部分两层:偏技术和偏业务。偏技术人员做数据的基本处理,比如打个标签、关到图数据库里取,这对业务的要求貌似不高,对技术基础的要求会高一点。数据结构化后,业务人员接着处理。比如,有些财务分析的模型。总之,金融工程人员做上层的模型,支撑下游场景。