数据中台
什么是数据中台
2014年马云正式提出“DT(Data Technology)”的概念,人类从IT时代走向了DT时代,阿里内部的数据平台事业部大刀阔斧的建立整个集团的数据资产,同年,阿里从芬兰Supercell公司接触到数据中台概念后,在集团内部积极实践,开创了“大中台,小前台”的组织机制和业务机制,通过高效、统一的后方系统来支撑快速变化的前段业务,提高业务产出效率,减少成本投入。
2018年中台概念开始深入互联网公司,2019年数据中台概念大火。之所以现在推送数据中台的建设原因是数据中台确实给小前台提供饿了强有力的数据支持,实现了对需求快速响应,另一个重要原因是数据中台已经在阿里体现了巨大的商业价值和应用价值。
数据中台概念
数据中台是一套可持续“让企业的数据用起来”的机制,通过有形的产品和实施方法论,构建一套持续不断把数据变成资产并服务于业务的机制,数据来源于业务,并反哺业务,不断循环迭代,实现数据可见、可用、可运营,通过数据中台把数据变成一种服务能力,其目标是提供普惠的数据服务。
关于数据中台有以下几个功能特点:
- 数据中台具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现核心能力。
- 数据中台的核心就是实现公共计算逻辑下沉,实现数据复用,提供给接口使用。
- 数据中台不是某一个单一产品或技术。本质上将数据中台就是从数据中发现价值,赋能业务数据管理机制。如果我们把数据比喻成血液,那么数据中台就是心脏和毛细血管,构建中台可以让数据价值渗透到各个业务场景中去。
- 数据中台最核心理念——“OneData OneService”
“One Data”是对于企业数据我们需要按照主题和分层方式进行管理、统一表记指标的命名规范,保证数据完整性及复用性,全企业数据只有这一份统一管理的数据
“One Service”是业务使用的所有数据来源于数据中台,数据中台提供统一的数据服务功能,屏蔽底层数据存储,做到接口复用,减少不规范的烟囱式的接口开发。
构建数据中台时需要企业从战略、组织、人才方面全方位规划配合,而不仅仅停留在工具和产品方面,所以一些互联网公司在宣布中台战略时,会伴随组织架构调整,比如:合并数据处理部门,合并业务部门等。
数据中台类比案例
为了方便理解中台概念我们举个生活实例。
每个人家里厨房都有油、盐、糖、酱油、醋、料酒、生抽等很多调料,这些调料相当于数据,你本人相当于业务部门,特别喜欢吃糖醋鱼、糖醋排骨、糖醋猪蹄、糖醋里脊等糖醋食品,以上食物成品相当于各种应用。你家里老妈做饭,相当于IT部门,她觉得每天都按照比例调整糖醋汁很是麻烦,非常浪费时间,每次调制的味道还不尽相同。于是你老妈决定按照一定的比例(1酱油 + 2料酒 + 3醋 + 4生抽 + 5盐,这比例就相当于数据处理及数据算法)来调制一大桶糖醋汁(相当于数据产品),以后每天倒一点糖醋汁就可以做一道糖醋菜(业务应用),这个调制糖醋汁以及使用糖醋汁做出一道糖醋菜的过程就相当于构建了一个数据中台。假如你家里十天半月才吃一次糖醋菜,频率很低(相当于某个业务应用很低),就没有必要调制一大桶糖醋汁放在那(没必要构建数据中台)。
所有在构建数据中台之前,需要先看一看有没有数据产品的需求,有多少人在使用这个数据产品产生的业务结果,使用需求量大不大?以及使用这个数据产品业务结果的频率高不高?如果以上都合理就可以规划构建数据中台。
数据中台的核心理念就在于数据取之于业务,用之于业务,它相对于数据平台主要的是对业务的积累和沉淀,构建了从数据生产到消费,消费后产生的数据再回流到生产流程的闭环过程。
前台、中台和后台概念
前台
由各类前台系统组成的前端平台,每个前台系统都是用户的一个触点,即企业的最终用户直接使用或交互的系统,是企业与最终用户的交点。比如用户直接使用的网站、手机APP、微信公众号和企业看板等前台范畴。小前台一般都是敏捷前台,强调敏捷交互及稳定交付的组织建设,对于阿里来说,小前台就是各个业务部门。
中台
中台的设置是为了提炼各个业务线的共性需求,并将这些打造成组件化的资源包,然后以接口的形式提供给前台各业务部门使用,可以使产品在更新迭代、创新拓展的过程中研发更灵活、业务更敏捷、最大限度地减少“重复造轮子”的KPI项目。中台是一种经营理念,一种组织形式,是“平台思维”的自然演进。
中台包括业务中台、数据中台和技术中台。
- 业务中台
业务中台更多偏向于业务流程管控,将业务流程中共性的服务抽象出来,形成通用的 服务能力。
比如电商平台,有C2C、B2C、C2B和B2B四种模式,其中订单、交易、商品管理、购物车模块、短信中心、用户中心、支付中心、交易中心,搜索服务都是有共性的,将这些组件沉淀出来,形成电商行业的业务中台,再基于这些业务中台组件的服务能力,可以快速搭建前台应用,比如C2C模式的淘宝、B2C模式的天猫、B2B模式的 1688、C2B模式的聚划算,用户通过这些前台业务触点使用业务服务,业务中台不直接面向终端用户,但可以极大提升构建面向终端用户的前台的速度和效率。
-
技术中台
主要负责基础服务、基础组件、基础平台、存储体系、云平台、运维相关等技术支撑。
-
数据中台
业务中台是抽象业务流程的共性,形成通用业务服务能力;而数据中台则是抽象数据能力的共性,形成通用的数据服务能力
比如:原始业务数据通过资产化、服务化,形成用户画像服务,这个服务可用于电商平台的商品推荐,也可用于地产购房意愿,还可用于金融领域的信用评价。同一个服务在应用层面展现的内容可能不一致,但是底层的数据体系是一致的。
后台
由后台系统组成的后端平台,每个后端系统一般管理了企业的一类核心资源,比如:财务系统、产品系统、客户管理系统、仓库物流管理系统等,这类系统构成了企业的后台,后台更多解决的是企业管理效率问题,为前中台提供数据支撑,而中台要解决的才是前台创新的问题。
数据中台与业务中台区别和联系
一个企业中可以同时拥有业务中台和数据中台,两者相辅相成。业务中台中沉底的业务数据进入数据中台进行体系化加工,再以服务化的方式支撑业务中台上的应用,而这些应用产生的新数据又流转到数据中台,形成循环不息的数据闭环。
在企业中中间数据中台与业务中台 没有先后之分,根据企业实际情况进行建设。
从数据层面上来看,业务中台只是数据中台的数据源之一,除此之外,企业还有很多其它数据来源,如APP、小程序、IOT(Internet of things,即物联网)等多源数据。
从服务层面上来说,数据中台的数据服务也不一定经过业务中台作用于业务,也可以直接被上层应用系统进行封装,如电商领域推荐系统。
中台不是平台,平台有很多,例如:营销平台、风控平台、管理平台,平台解决的是特定领域业务的问题,而中台解决的是全企业各个业务领域综合问题,一般一个企业只需要一个中台就可以,现在还有业务中台、数据中台之分,未来当数据与业务更加紧密结合,会统一形成“企业中台”。
数据中台与大数据平台关系
大数据平台更关系技术层面的事情,提供数据加工处理能力,提供数据继承、数据开发、数据测试、任务上线等,针对的往往是技术人员。而数据中台的核心是数据服务能力,要结合场景,比如精准营销、风控等,通过服务直接赋能业务应用,数据中台不仅仅面向技术人员,更需要面向多个部门的业务人员。
如果把数据中台看成一个工厂,大数据平台就是工厂中的设备,为工厂运行提供加工处理数据能力,通过一系列的整合、加工、处理,最终为客户提供有价值的数据结果和服务,当然,属于大数据平台的数据仓库也当属数据中台的重要组成部分。
数据仓库的主要场景是支持管理决策和业务分析,而数据中台则是将数据服务化之后提供给业务系统,目标是将数据能力渗透到各个业务环节,不限于决策分析场景。例如:
所以数据时代带来的挑战不仅仅是数据量的爆发式增长,更重要的是如何管理好、治理好、利用好这些数据,显然传统的大数据平台建设方法论不能满足以上需求,数据中台应运而生。
构建数据中台的价值
构建数据中台价值如下:
- 提升数据应用能力
数据中台将海量数据转化为高质量的数据资产,为企业提供更深层次 的客户洞察,从而为客户提供更个性化和智能化的产品和服务。 - 打破数据应用屏障
在传统数据建设中,数据服务被业务使用,其中一个重要原因是业务人员不够懂数据,导致数据应用到业务变得困难,数据分析人员不管业务,只是按部就班产出报表数据,以上情况导致数据分析结果不能很好反哺到业务中,构建数据中台之后,数据分析人员将数据变成业务人员可阅读、易理解的内容,业务人员看到内容后很快可以将数据结合到业务中。 - 打破数据孤岛,盘活全量数据
数据中台构建将分割裂的海量数据做到继承,打破数据孤岛的现状,同时降低使用数据服务门槛,实现数据“越用越多”的价值闭环。 - 支持跨主题域访问数据
企业早期建设的应用数据层ADS(传统数据仓库分为ODS/DW/ADS),更多是为了某个主题域所服务,例如:营销域、人力资源域、风控域。而企业在数据应用到业务的时候往往要打破各个主题,会从业务对象主体出发来考虑数据应用,如人(会员、供应商、渠道、员工)和物(商品、仓库、合同),从全领域角度设计完整的面向对象的数据标签体系。 - 数据快速复用
传统的架构中,将分析后的数据应用到业务中,通常做法就是通过数据同步能力,把结果同步到业务系统中,有业务系统自行处理,这会带来数据管理问题 ,整个数据血缘链路是割裂的。数据中台可以很好地提供数据服务,业务系统只需要从数据服务中获取数据即可。