何为数据中台

news2024/11/15 13:03:06

数据中台

什么是数据中台

2014年马云正式提出“DT(Data Technology)”的概念,人类从IT时代走向了DT时代,阿里内部的数据平台事业部大刀阔斧的建立整个集团的数据资产,同年,阿里从芬兰Supercell公司接触到数据中台概念后,在集团内部积极实践,开创了“大中台,小前台”的组织机制和业务机制,通过高效、统一的后方系统来支撑快速变化的前段业务,提高业务产出效率,减少成本投入。

2018年中台概念开始深入互联网公司,2019年数据中台概念大火。之所以现在推送数据中台的建设原因是数据中台确实给小前台提供饿了强有力的数据支持,实现了对需求快速响应,另一个重要原因是数据中台已经在阿里体现了巨大的商业价值和应用价值。

数据中台概念

数据中台是一套可持续“让企业的数据用起来”的机制,通过有形的产品和实施方法论,构建一套持续不断把数据变成资产并服务于业务的机制,数据来源于业务,并反哺业务,不断循环迭代,实现数据可见、可用、可运营,通过数据中台把数据变成一种服务能力,其目标是提供普惠的数据服务。

在这里插入图片描述

关于数据中台有以下几个功能特点:

  1. 数据中台具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现核心能力。
  2. 数据中台的核心就是实现公共计算逻辑下沉,实现数据复用,提供给接口使用。
  3. 数据中台不是某一个单一产品或技术。本质上将数据中台就是从数据中发现价值,赋能业务数据管理机制。如果我们把数据比喻成血液,那么数据中台就是心脏和毛细血管,构建中台可以让数据价值渗透到各个业务场景中去。
  4. 数据中台最核心理念——“OneData OneService”
    “One Data”是对于企业数据我们需要按照主题和分层方式进行管理、统一表记指标的命名规范,保证数据完整性及复用性,全企业数据只有这一份统一管理的数据
    “One Service”是业务使用的所有数据来源于数据中台,数据中台提供统一的数据服务功能,屏蔽底层数据存储,做到接口复用,减少不规范的烟囱式的接口开发。

构建数据中台时需要企业从战略、组织、人才方面全方位规划配合,而不仅仅停留在工具和产品方面,所以一些互联网公司在宣布中台战略时,会伴随组织架构调整,比如:合并数据处理部门,合并业务部门等。

数据中台类比案例

为了方便理解中台概念我们举个生活实例。

每个人家里厨房都有油、盐、糖、酱油、醋、料酒、生抽等很多调料,这些调料相当于数据,你本人相当于业务部门,特别喜欢吃糖醋鱼、糖醋排骨、糖醋猪蹄、糖醋里脊等糖醋食品,以上食物成品相当于各种应用。你家里老妈做饭,相当于IT部门,她觉得每天都按照比例调整糖醋汁很是麻烦,非常浪费时间,每次调制的味道还不尽相同。于是你老妈决定按照一定的比例(1酱油 + 2料酒 + 3醋 + 4生抽 + 5盐,这比例就相当于数据处理及数据算法)来调制一大桶糖醋汁(相当于数据产品),以后每天倒一点糖醋汁就可以做一道糖醋菜(业务应用),这个调制糖醋汁以及使用糖醋汁做出一道糖醋菜的过程就相当于构建了一个数据中台。假如你家里十天半月才吃一次糖醋菜,频率很低(相当于某个业务应用很低),就没有必要调制一大桶糖醋汁放在那(没必要构建数据中台)。

所有在构建数据中台之前,需要先看一看有没有数据产品的需求,有多少人在使用这个数据产品产生的业务结果,使用需求量大不大?以及使用这个数据产品业务结果的频率高不高?如果以上都合理就可以规划构建数据中台。

数据中台的核心理念就在于数据取之于业务,用之于业务,它相对于数据平台主要的是对业务的积累和沉淀,构建了从数据生产到消费,消费后产生的数据再回流到生产流程的闭环过程。

前台、中台和后台概念

前台

由各类前台系统组成的前端平台,每个前台系统都是用户的一个触点,即企业的最终用户直接使用或交互的系统,是企业与最终用户的交点。比如用户直接使用的网站、手机APP、微信公众号和企业看板等前台范畴。小前台一般都是敏捷前台,强调敏捷交互及稳定交付的组织建设,对于阿里来说,小前台就是各个业务部门。

中台

中台的设置是为了提炼各个业务线的共性需求,并将这些打造成组件化的资源包,然后以接口的形式提供给前台各业务部门使用,可以使产品在更新迭代、创新拓展的过程中研发更灵活、业务更敏捷、最大限度地减少“重复造轮子”的KPI项目。中台是一种经营理念,一种组织形式,是“平台思维”的自然演进。

中台包括业务中台、数据中台和技术中台。

  • 业务中台
    业务中台更多偏向于业务流程管控,将业务流程中共性的服务抽象出来,形成通用的 服务能力。
    比如电商平台,有C2C、B2C、C2B和B2B四种模式,其中订单、交易、商品管理、购物车模块、短信中心、用户中心、支付中心、交易中心,搜索服务都是有共性的,将这些组件沉淀出来,形成电商行业的业务中台,再基于这些业务中台组件的服务能力,可以快速搭建前台应用,比如C2C模式的淘宝、B2C模式的天猫、B2B模式的 1688、C2B模式的聚划算,用户通过这些前台业务触点使用业务服务,业务中台不直接面向终端用户,但可以极大提升构建面向终端用户的前台的速度和效率。

在这里插入图片描述

  • 技术中台

    主要负责基础服务、基础组件、基础平台、存储体系、云平台、运维相关等技术支撑。

  • 数据中台

    业务中台是抽象业务流程的共性,形成通用业务服务能力;而数据中台则是抽象数据能力的共性,形成通用的数据服务能力

    比如:原始业务数据通过资产化、服务化,形成用户画像服务,这个服务可用于电商平台的商品推荐,也可用于地产购房意愿,还可用于金融领域的信用评价。同一个服务在应用层面展现的内容可能不一致,但是底层的数据体系是一致的。

后台

由后台系统组成的后端平台,每个后端系统一般管理了企业的一类核心资源,比如:财务系统、产品系统、客户管理系统、仓库物流管理系统等,这类系统构成了企业的后台,后台更多解决的是企业管理效率问题,为前中台提供数据支撑,而中台要解决的才是前台创新的问题。

数据中台与业务中台区别和联系

一个企业中可以同时拥有业务中台和数据中台,两者相辅相成。业务中台中沉底的业务数据进入数据中台进行体系化加工,再以服务化的方式支撑业务中台上的应用,而这些应用产生的新数据又流转到数据中台,形成循环不息的数据闭环。

在这里插入图片描述

在企业中中间数据中台与业务中台 没有先后之分,根据企业实际情况进行建设。

从数据层面上来看,业务中台只是数据中台的数据源之一,除此之外,企业还有很多其它数据来源,如APP、小程序、IOT(Internet of things,即物联网)等多源数据。

从服务层面上来说,数据中台的数据服务也不一定经过业务中台作用于业务,也可以直接被上层应用系统进行封装,如电商领域推荐系统。

中台不是平台,平台有很多,例如:营销平台、风控平台、管理平台,平台解决的是特定领域业务的问题,而中台解决的是全企业各个业务领域综合问题,一般一个企业只需要一个中台就可以,现在还有业务中台、数据中台之分,未来当数据与业务更加紧密结合,会统一形成“企业中台”。

数据中台与大数据平台关系

大数据平台更关系技术层面的事情,提供数据加工处理能力,提供数据继承、数据开发、数据测试、任务上线等,针对的往往是技术人员。而数据中台的核心是数据服务能力,要结合场景,比如精准营销、风控等,通过服务直接赋能业务应用,数据中台不仅仅面向技术人员,更需要面向多个部门的业务人员。

如果把数据中台看成一个工厂,大数据平台就是工厂中的设备,为工厂运行提供加工处理数据能力,通过一系列的整合、加工、处理,最终为客户提供有价值的数据结果和服务,当然,属于大数据平台的数据仓库也当属数据中台的重要组成部分。

数据仓库的主要场景是支持管理决策和业务分析,而数据中台则是将数据服务化之后提供给业务系统,目标是将数据能力渗透到各个业务环节,不限于决策分析场景。例如:

在这里插入图片描述

所以数据时代带来的挑战不仅仅是数据量的爆发式增长,更重要的是如何管理好、治理好、利用好这些数据,显然传统的大数据平台建设方法论不能满足以上需求,数据中台应运而生。

构建数据中台的价值

构建数据中台价值如下:

  1. 提升数据应用能力
    数据中台将海量数据转化为高质量的数据资产,为企业提供更深层次 的客户洞察,从而为客户提供更个性化和智能化的产品和服务。
  2. 打破数据应用屏障
    在传统数据建设中,数据服务被业务使用,其中一个重要原因是业务人员不够懂数据,导致数据应用到业务变得困难,数据分析人员不管业务,只是按部就班产出报表数据,以上情况导致数据分析结果不能很好反哺到业务中,构建数据中台之后,数据分析人员将数据变成业务人员可阅读、易理解的内容,业务人员看到内容后很快可以将数据结合到业务中。
  3. 打破数据孤岛,盘活全量数据
    数据中台构建将分割裂的海量数据做到继承,打破数据孤岛的现状,同时降低使用数据服务门槛,实现数据“越用越多”的价值闭环。
  4. 支持跨主题域访问数据
    企业早期建设的应用数据层ADS(传统数据仓库分为ODS/DW/ADS),更多是为了某个主题域所服务,例如:营销域、人力资源域、风控域。而企业在数据应用到业务的时候往往要打破各个主题,会从业务对象主体出发来考虑数据应用,如人(会员、供应商、渠道、员工)和物(商品、仓库、合同),从全领域角度设计完整的面向对象的数据标签体系。
  5. 数据快速复用
    传统的架构中,将分析后的数据应用到业务中,通常做法就是通过数据同步能力,把结果同步到业务系统中,有业务系统自行处理,这会带来数据管理问题 ,整个数据血缘链路是割裂的。数据中台可以很好地提供数据服务,业务系统只需要从数据服务中获取数据即可。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2117383.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Canny算子 一张图看懂

对于最高值和最低值的设置, 1,high t最大值一般以一阶导数幅度图的最大值的30%-40%来定 2,最小值一般halcon里默认为 low theigh t/3得到 3,canny的优势是有极大值抑制,所以提取的边缘是1个像素的窄边缘。 3&#xff0…

Golang path/filepath包详解:高效路径操作与实战案例

Golang path/filepath包详解:高效路径操作与实战案例 引言基础用法Abs 函数Base 函数Clean 函数Dir 函数Ext 函数FromSlash 和 ToSlash 函数 基础用法Abs 函数Base 函数Clean 函数Dir 函数Ext 函数FromSlash 和 ToSlash 函数 路径操作Join 函数Split 函数Rel 函数Ma…

LabVIEW编程语言出于什么原因开发的?

LabVIEW最初由美国国家仪器公司(NI)于1986年开发,目的是为工程师和科学家提供一种图形化编程环境,简化数据采集、仪器控制、自动化测试和测量系统开发等工作。开发LabVIEW的主要原因包括以下几点: 简化复杂系统开发&am…

《数字图像处理(面向新工科的电工电子信息基础课程系列教材)》Chapter 1课件2024

每一轮备课都有新的感悟。 禹晶、肖创柏、廖庆敏《数字图像处理(面向新工科的电工电子信息基础课程系列教材)》 禹晶、肖创柏、廖庆敏《数字图像处理》资源二维码

Tektronix泰克MSO5204B混合信号示波器4+16通道2G

Tektronix泰克MSO5204B混合信号示波器416通道2G 2 GHz、416 通道、10/5 GS/s(2/4 通道)混合信号示波器,50 M/25 M 记录长度泰克 MSO5204B 2 GHz、416 通道、10/5 GS/s(2/4 通道)混合信号示波器,50 M/25 M …

机器学习强化学习

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhl1. 强化学习概述 1.1 定义与核心概念 强化学习是一种目标导向的机器学习方法,它使智能体能够在环境中通过试错学习最优行为策略。这种学习过程涉及到智能体与环境之间的交互,智能体根据当前状态…

AI基础 L8 Local Search I 局部搜索

Iterative Improvement Algorithms • In many optimization problems, the path to a goal is irrelevant — the goal state itself is the solution • State space a set of goal states — find one that satisfies constraints (e.g., no two classes at same time) —…

《系统安全架构设计及其应用》写作框架,软考高级系统架构设计师

论文真题 随着社会信息化进程的加快,计算机及网络已经被各行各业广泛应用,信息安全问题也变得愈来愈重要。它具有机密性、完整性、可用性、可控性和不可抵赖性等特征。信息系统的安全保障是以风险和策略为基础,在信息系统的整个生命周期中提…

【审批流】基于JAVA开发的工作流审批系统(直接集成或者直接可使用)

基于Javavue开发的智能审批系统,低代码平台 软件资料清单列表部分文档清单:工作安排任务书,可行性分析报告,立项申请审批表,产品需求规格说明书,需求调研计划,用户需求调查单,用户需…

Android APK插件化:DynamicAPK技术如何改变游戏规则

在移动应用开发领域,尤其是Android平台,应用的体积和更新速度一直是开发者和用户关注的焦点。随着应用功能的不断增加,APK文件的大小也在逐渐膨胀,这不仅增加了用户的下载成本,也影响了应用的更新效率。DynamicAPK技术…

数学建模笔记——层次分析法

数学建模笔记——层次分析法 数学建模笔记——层次分析法1. 层次分析法的基本原理和步骤2. 层次分析法的建模过程2.1 问题的提出2.2 模型原理2.3 为该问题建立层次结构模型2.4 构造判断矩阵1. 判断矩阵的含义2. 为该问题构造判断矩阵 2.5 一致性检验1. 一致性检验方法2. 对上述…

【Linux】HTTP协议中的cookie和session

一、B站的登录和未登录——一种登录场景的演示 我们现在上的是B站大学,所以对于B站,我们是很熟悉的。当我们打开浏览器,并访问B站网页时(很熟悉),会发现我们会自动登录上B站,为什么呢&#xff1…

解锁 macOS 剪贴板历史记录,高效复制、粘贴技巧

在Mac上,我们经常需要在不同文档之间复制和粘贴内容。然而,macOS自带的剪贴板只能保存最后一个复制项,这大大限制了我们的工作效率。幸运的是,一些第三方应用程序可以帮助我们查看和管理剪贴板的历史记录,从而提升我们…

基于RP2350 MCU的树莓派Pico 2开发板及MicroPython编程使用

2021年1月21日,树莓派基金会同时发布了第1代RP2040 MCU芯片和基于RP2040 MCU的第1代树莓派Pico开发板(Raspberry Pi Pico/ Raspberry Pi Pico 1)。2024年8月8日,树莓派基金会又发布了第2代RP2350 MCU芯片并推出了基于RP2350 MCU的第2代树莓派Pico开发板(Raspberry Pi Pico 2)…

pandas:一个强大的数据处理Python库

我是东哥,一个热衷于探索Python世界的自媒体人。今天,我要为大家介绍一个在Python数据分析领域中非常强大的库——Pandas。如果你对数据分析充满好奇,或者正在寻找一个简单易用的库来处理和分析数据,那么Pandas绝对是你的不二之选…

MySQL——库操作

首先先来说一下MySQL中常见的操作: 1. 清屏 system clear; 2. 如果你使用的是腾讯云的Ubuntu,登陆的时候用户名可能是ubuntu,进入后可以使用 sudo -i 切换为高级用户 一、创建数据库 create database db_name; 示例: mysql> …

汽车测试展︱AUTO TECH 2025 广州国际汽车测试测量技术展览会

汽车测试展︱AUTO TECH 2025 广州国际汽车测试测量技术展览会 The China Guangzhou Automotive Test Expo 2025 2025年11月20-22日,专注于华南地区专业的汽车质量控制展览会,将在广州保利世贸博览馆继续举办。是关于各种汽车测试解决方案的专业展如汽车电…

[C高手编程] static与extern: 作用域、可见性与存储类全面解析

💖💖⚡️⚡️专栏:C高手编程-面试宝典/技术手册/高手进阶⚡️⚡️💖💖 「C高手编程」专栏融合了作者十多年的C语言开发经验,汇集了从基础到进阶的关键知识点,是不可多得的知识宝典。如果你是即将…

高职人工智能训练师边缘计算实训室解决方案

一、引言 随着物联网(IoT)、大数据、人工智能(AI)等技术的飞速发展,计算需求日益复杂和多样化。传统的云计算模式虽在一定程度上满足了这些需求,但在处理海量数据、保障实时性与安全性、提升计算效率等方面…

jenkins 部署应用到多个环境

在日常开发的过程中,我们经常会遇到将应用程序部署到多个环境的需求场景,如会先发布到测试环境,由测试人员进行测试,成功之后,会继续将当前应用部署到集成环境,进行集成测试,全部通过后&#xf…