数据中台是企业数据价值实现的能力框架,包括数据集成、数据开发、数据管理、数据服务、数据资产运营等能力,是企业业务数据化的承载体,是企业业务通过数据视角的一种呈现,担负了企业数字化所需的核心综合数据能力。但由于数据中台建设复杂度高、投入成本大等特点,众多企业在建设数据中台的过程中仍有很多问题与困惑。在数据中台搭建过程中,存在众多关键环节及影响重大的动作节点,本文将分享一下在项目实践经验中,总结出的“6步法”建设数据中台,这“6步法”可以适配大多数企业建设的需要。
第一步:总台规划
数据中台承担着实现企业战略目标的使命,所以对数据中台要进行全面规划,需要对企业现状充分了解,并结合企业自身战略目标以及企业的业务形态,有针对性地规划数据中台的建设。数据中台是为了支撑企业业务快速发展,通过数据的打通来实现企业整个商业模式的闭环。所以应本着整体规划、分步实施的原则,还应对需求场景进行全局排优,设计符合企业发展现状的数据中台建设路径,规划清晰的阶段,明确各阶段达成目标,并定义各阶段的建设策略,确保后续的方案设计与开发工作顺利进行。总台规划一般包含数智化转型战略、设计方法论、组织内业务的整体解析、数据中台的价值化、分析链路梳理、数据域梳理和划分等内容。通过整体规划可以快速了解企业数据中台建设的范围与价值,为后续数据中台的搭建、完善、应用提供重要依据。
第二步:数据集成
数据集成是构建数据中台非常重要的一步,主要解决不同源系统数据异构性问题。主要从以下三方面进行操作:1. 数据源接入:将企业内部各个部门的数据源接入到数据平台,包括ERP系统、CRM系统、财务系统等,确保数据的全面性。2. 数据清洗与规范化:对接入的数据进行清洗和规范化处理,包括去除重复数据、纠正错误数据、统一数据格式等。3. 数据集成与转换:将不同数据源的数据进行整合和转换,使其具有一致的格式和结构,为后续的加工建模做准备。数据中台解决方案,为企业提供数据集成的能力,它有很多批量、增量、实时、整库的数据集成,能够支持企业多种且复杂的数据源,无论数据源在什么环境下,都可以做到安全、稳定、灵活、快速地数据集成。
第三步:模型建设
数据集成后是不能直接拿来使用的,也无法直接给业务带来价值,要为上层业务提供可靠的数据服务、数据产品及业务应用,就需要数据模型设计的支撑。数据模型建设是整个数据中台重要的开发环节,涉及到很多行业最佳实践研究和落地,也涉及到很多方法论的落地,模型的好坏直接影响最终数据中台的数据质量和效率。
这个步骤不讲技术性的模型构建过程,以及复杂的模型分层原理,只简单概述数据模型的重要性。数据集成没有统一的定义数据的标准,没有统一的数据存储规范,只是粗放地收集数据,把数据散乱地存放在服务器里,这些数据还不能被使用和赋能业务,这些集成后的数据也不能称之为数据资产。因此需要一套标准的指标体系和模型体系来定义和存储数据,让数据更加标准。数据中台的整个搭建过程中,数据模型的科学性、合理性、高效性是数据资源转化为数据资产的重要基础,数据模型中的那些数据指标的全面性、规范性、有效性是数据中台发挥价值的重要保障。企业在构建数据中台时,必须重视数据指标体系的构建和数据模型的设计。
第四步:数据研发
数据研发是持续对企业内部数据进行加工处理,进而满足企业内部其他人员使用数据需求的过程。这个过程和核心之一是建立企业内部的标准化数据开发流程,在此目标下需配套完成数据研发团队的设立、标准开发流程的设立、专职研发人员的设立等工作。并在此基础之上,按照步骤进行数据研发的工作:格式转换:说的简单通俗一点,就是把不同代码、非标准的数据格式,通过代码转换的方式变成一个标准的格式。业务判断:业务判断基本上就是通过一些条件得出一个业务结果。比如有年龄数据,在梳理的时候可以判断小于30岁的人叫年轻人,这个就是所说的业务判断。剩余的步骤包括:数据连接、数据聚合、数据过滤、条件选择,还有一个步骤——业务解析:有经验的数据研发团队、算法建模人员利用数据加工模块提供的功能,可以快速把数据加工成对业务有价值的形式,提供给业务使用。这一步骤的核心就是数据处理过程,是业务逻辑的实现,既要保证业务逻辑的正确性,也要保证数据产出的稳定性、时效性和合理性。
第五步:数据资产管理
通过对数据进行加工,把各种非结构化的数据最终形成重要的数据资产。通过对数据资产的全面盘点,形成数据资产地图。针对数据生产者、管理者、使用者等不同的角色,用数据资产目录的方式共享数据资产,用户可以快速、精确地查找到自己关心的数据资产。构建数据资产管理的最终目的是为了提升数据价值,使数据持续赋能业务。数据资产是企业数据化建设的关键基础。所有的数据化建设最后都以数据资产为基础。数据资产管理是数据中台面向企业提供数据能力的一个窗口,数据资管理将企业的数据资产统一管理起来,实现数据资产的可见、可用、可运营。数据资产运营的最终目的是让数据价值越滚越大,数据资产管理要始终围绕资产价值来开展。通过建立一套符合数据驱动的组织管理制度流程和价值评估体系,改进数据资产建设过程,提升数据资产管理的水平和数据资产的价值。
第六步:数据服务
数据资产构建之后就会有一定的业务含义,这部分数据是可以直接服务业务的。数据服务这一步主要是对数据进行计算逻辑的封装(过滤查询、多维分析和算法推理等计算逻辑),生成API服务,上层数据应用可以对接数据服务API,让数据快速应用到业务场景中。数据服务实现了数据中台模型和数据应用的全链路打通,它把数据变为一种服务能力,通过数据服务让数据参与到业务,激活整个数据中台,数据服务是数据中台存在的价值所在。
做完以上这些步骤,通常数据中台搭建该做的事情就差不多了,当然还有数据安全等其它方面,在这里不做过多阐述。数据中台解决方案,不但可以帮助企业搭建数据中台,还可以帮助形成一套高效可靠的数据资产体系和数据服务能力(数据资产化和资产服务化)。这样一来,当企业出现新的业务需求,需要构建新的前台应用时,数据中台可以迅速提供数据服务,从而敏捷地响应企业的业务需求。