建设数据中台到底有啥用?

news2024/11/16 7:55:24

最近专注在数据和人工智能领域,从数据仓库、商业智能、主数据管理到大数据平台的建设,经过很多项目的沉淀和总结,最后我和团队一起总结了精益数据创新的体系。一直战斗在企业信息化一线。

企业为什么要建设数据中台,数据中台对于企业的价值到底是什么。从概念和框架的角度,给你提供一个更全面的视角。做好任何一件事情的前提就是弄清楚为什么。

1 数据中台的诉求

百度搜索指数

img

数据中台的百度搜索指数最终超越了数字化转型和数据仓库。很多企业已经在落地,没启动的企业也在考虑中。显然,数据中台能满足企业的一些诉求。

数据中台行业调研得出的词云图。

大家对数据中台最多的期待:

  • 距业务更近
  • 为企业提供直接业务价值
  • 提供数据服务而不止报表

1.1 传统企业的数据系统距离用户和业务较远

  • 数据系统只是技术支撑,不能直接产生业务价值。做一个业务系统,如电商平台可直接带来收入。但传统的数据应用,如数据仓库不能带来直接价值
  • 当业务人员要在报表里修改一些内容时,得到的响应慢,因为业务人员无法自己直接使用数据来产生洞察,需要去找数据团队
  • 过去在数据方面的投资,大量花费在数据采集、处理和建模部分,而真正利用到业务领域的也不多

换个角度看,业务开发团队对数据利用有很大需求,体现在希望数据中台能解决企业数据开发的效率问题,协作问题和能力问题。

数据中台给应用开发人员这样的希望:他们无需关注具体取数逻辑,只需关注客户需求,像搭乐高一样组合各种数据中台的数据服务到自己的应用,数据准确且一致。

所以,数据中台的价值就是改变原来企业利用数据的形式。

过去,数据的利用形式主要是BI,说直接点就是做报表,做报表就是让管理者知道现在的业务在发生什么,为啥会发生这些事,接下来可能发生啥,这一切都是提供给我们的管理者去看的,帮管理者去做出一个业务决策。

随业务复杂度提升,一个决策背后的因素很多,一个现象需要多维解读才能体现业务全貌。于是,管理者需要的报表越来越多,很多企业会有多个不同业务线的数据仓库,每个数据仓库里都有千张以上的报表,最后就陷入了报表的迷宫。

回头来看这过程,发现报表并不是我们需要的,而数据本身也不是我们需要的,我们需要的是一个业务决策,一个业务行为。如用户打开电商产品目录时,将他最可能购买的产品展示在第一页,而原来OLTP、OLAP分离的数据处理流程做不到,在业务交易过程中,也无法从历史数据和全域数据的分析结果中获得行动的指引。

市场对数据中台的期待,是提供直接驱动业务流程的数据服务,而不仅是需经过人去转化和解读的数据可视化报表,原来商业智能时代已去,市场和用户期待数据智能时代。

2 建设数据中台的根本目的

建设数据中台似乎能提供这种诉求的解决方案。但建设中台不容易,需在技术、组织架构都做对应调整,落地过程也面临种种挑战。企业为啥还兴师动众落地数据中台?数据中台的愿景是打造数据驱动的智能企业。

企业建设数据中台,成为数据驱动的智能企业

3 对企业的收益

  • 优化现有业务
  • 实现新业务的转型

3.1 优化现有业务

通过数据分析和人工智能技术的应用,优化原业务流程。

1 增加现有业务的收入

如通过分析产品的价格、销量、用户数据来优化产品定价、优化产品组合、进行精准营销,从而能够促进产品的销售,增加现有产品的收入。

案例

给一个能源类企业做的数据中台。建成后能够根据历史销量、市场份额、市场容量等数据进行建模,从而帮助企业的销售部门去优化销售任务的分配,提升销售额。这小项目能给企业啥价值?

过去,企业每年年初给全国几十个销售定业绩并持续跟踪,很痛苦,目标不好锚定,每个销售管理一堆经销商,经销商销量、退货都不拉通,无法客观地量化和追踪销售的业绩。

过去这一切靠的都是销售总监经验去拍数,更多靠谈判力,不确定性很高。有了数据中台后,把行业数据、市场竞争数据、往年销售数据以及经销商的数据都拉通来看,一下给到销售总监全貌,还可模拟,让销售业绩分配这个工作变成一个可量化、可预测的确定性工作。

2 促进生产效率

通过数据中台建设,能促进生产效率的提升。

如某大型电信服务商,通过对勘测、规划、设计工作的建模,实现数据自动化处理,减少人工干预和问题的出现,大幅提升工程师设计效率和准确性,将工程设计周期缩短一半。

分析原因。电信服务商的投标是一个很复杂的工作,从客户发出需求到根据需求去勘测、做出规划、具体实施设计再到把实施设计转化成物料设计、工程设计、财务设计,最后再形成投标方案,这个过程过去至少需要一个月,需要众多不同业务部门和专业技能的协作,其中大部分工作都花在了不同数据的合并、拉通、对齐和映射上。

企业建设数据中台后,所有数据能自动处理,大家在同一数据服务里获取、修改、加工同样一套数据,且每次做方案的过程都沉淀成新的服务,后面项目可复用,大大缩短工期,有些标准化较高的项目类型,可从原来一月缩到三天。

降低运营成本,提升运营的利润

目前利用场景最多的,主要通过数据分析优化业务流程、缩短运营周期,从而提升运营利润。

如给一家大型钢铁厂进行配方规划优化,通过对配方数据、市场价格、销量数据的综合分析建模,给到成本最优、产值最高的生产组合,降低运营成本,提升利润。

钢铁行业里配矿决策是很复杂但很重要环节,不同配矿方案,成本和工艺都不一样,对利润影响很大。如何根据技术和商业的众多因素选择最优配方?过去都根据经验维护和计算配矿规则,效率低、周期长。

有数据中台,将原材料的性能、化学工艺、产品质量等技术因素和价格、成分、运营成本及销售收入等商业因素的数据统一进行建模,统一计算后最终做出综合规划,这大大提升利润、降低运营成本。

如下图所示,这是一个典型的钢粉配方的和制造成本的表格,这里面每一项的变化都会带来成本的变化,而影响利润的除了制造成本外,还有销售价格,运营成本等,这样一来如何设计出最优化的配矿决策就是非常重要的因素。通过数据建模,ML的智能配矿模型能全方位规划最优方案,达到特定商业目标,如缩短生产周期或提升利润,优化库存。

提升用户体验

提升用户体验的核心是企业要理解自己的用户,知道用户对自己产品、服务的认知,然后对应优化自己的产品和服务,这就需要建设用户数据平台,构建统一的用户视图,建立起用户画像。

这里我举个富国银行的例子,他们在数据转型中,利用数据中台分析用户的行为数据,来重构在线银行的网站,提升用户体验。富国银行在2016年的时候面临很大的业绩挑战,为了更好地了解用户,他们建立了企业级的数据中台,把全行的用户信息都打通,做成用户画像,打上各种标签,并根据这些用户画像和标签,重新设计了电子银行网站,让网站的服务和风格以用户为中心。

为期几年的数据转型之旅,富国银行也因此项目成为行业“零售之王”,更多细节《富国银行的数据转型之旅》。

提升资产利用率

分析、优化高价值资产,提升资产的利用率。

物流领域路径优化

物流企业做路径优化项目,提升人员和车辆使用率。过去,每天早上每区都有个经验丰富员工,统一规划前一天收到的派件和收件订单,把这些订单分给对应的小组。

这过程的目的就是最大化利用车辆、快递员两个核心资产。但这规划很复杂,因为不仅要考虑成本,还要考虑每个件积压时间不一、紧急程度不一、不同的地点路况对于车辆的要求也不一样等等,这些数据的采集、拉通、建模是很重要的基础工作而这一切都依赖与数据的打通。

建设数据中台,拉通数据后,派单收单的路径更优化了,更好分配给快递员,提升车辆使用率20%。

这场景就很典型,体现数据中台所支撑的智能规划业务的价值。

3.2 业务创新和转型

建设数据中台的第二个收益,实现业务创新和转型。四个主要的价值。

① 数字化产品创新

一个合作十多年海外房地产交易网站客户,定期和他们做黑客马拉松。

有次我们黑客马拉松的一个小组,通过数据分析发现一个小模式,有一群用户,在一段时间内高频访问网站,但不产生任何看房、卖房行为。最后数据分析发现这样的用户都有共同特点,大部分女性,基本访问链接停留时间最长的,很多都是图片,且是室内图片。

推测这群人是来看装修,于是小组孵化新产品,专门提供装修服务,这产品最后还成功了,成为公司除房地产中介服务之外的新业务线。

这也是典型的通过数据洞察发现业务新价值,从而实现数字化产品创新的场景。

② 数字化资产销售

将已积累的数据,通过组合、包装、分析、脱敏,形成对一部分用户有价值的数据资产,如行业报告或优质内容,直接销售产生收入。

典型场景搜索引擎,搜索引擎将用户的信息进行统计分析、脱敏处理后,变成一系列的知识和分析报告,然后以会员提供给需要用户。

百度指数里面,用户可定义和购买自己感兴趣的关键词,一年198元,然后百度就会把所有搜索过这个关键词的记录统计,变成这关键词的搜索指数。如数据中台的关键词就是我去年购买的,我就能实时追踪这个关键词在中文市场被搜索的热度。这就是数据化资产销售的价值模式。

img

③ 业务平台化收益

有一句话在去年很流行,“未来的企业,要么自己做平台,要么被别人平台化”。平台经济成为了这几年数字化领域炙手可热的概念。总的来说,平台化就是你搭建一个平台,让需求方和供给方上来交易,最后你来收取服务费。

如何建立平台呢?拉通一个领域数据,形成数字化平台,再通过平台运营一个特定的业务和客户群体,从而通过平台来产生收益。

典型场景 - 交易撮合平台,如比特币交易平台。这和数据中台啥关系?

这过程其实也是领域数据中台的建设过程,因为平台方主要做的就是数据的生意,对接信息、对接交易双方。数据中台在企业内部,就相当一个数据采集、加工、交易的平台,业务方既可能是数据服务的消费者,又可能是生产者,最终产品是数据服务。

④ 数字化生态业务

从更高维度来看,就是在平台化基础之上,通过打穿产业供应链,帮助企业建设自己数字化生态,从而在生态中产生新的业务价值和收入。如Google应用商店。

当有足够多的伙伴在这平台进行交易,它就能在这些海量的交易和行为数据发现特别多规律,然后产生更多产品创新,利用数据来牵引这生态朝自己设计方向发展。

这生态里,有很多角色参与,开发者、自由开发者、广告商、应用购买者等,而Google掌握所有方数据,用户浏览、下载、付费、交易,一切数据都能够被分析利用,帮助Google Play运营方发现新业务价值,创造收入。

4 总结

建设数据中台到底啥用,一个数据中台收益框架包括两大维度、九个细分项。最核心的就是给我们建设数据中台这件事找到目标,可把这9项作为指导,先明确价值和方向,再找到应用场景,以此作为牵引来建设自己的数据中台。

大部分企业要经历一个转型的,朝着数智化方向演进。企业的转型,从最早的信息化走向数字化,下一个目标是数智化。

信息化解决的是企业内部的管理问题,让企业能够以一个有组织、有流程的方式高效地运转起来。

数字化解决的是企业与外部的连接问题,让企业能够直接触达客户,并且建立线上的业务。
数智化解决的是让企业成为智能企业,业务更智慧的问题,这个过程的核心生产要素就是数据。

数智化转型能给企业带来颠覆性变革,但如何发现数据价值,构建数据智能的能力,规模化赋能业务?企业需要一个抓手,利用它对齐业务和技术,不断前进。数据中台就像这抓手,谁能围绕以上的业务优化和转型两个方面的价值来建设数据中台,谁就能在数智化转型中获得领先优势。

数据中台这股浪潮给我们提供机会,但这机会也提出很多、很高能力要求。

FAQ

成为数智化企业,都需要哪些能力呢?我做了众多个国内外领先企业的转型研究,发现了一些规律和有意思的事情。

数据中台概念出来时,有很多说法,从不同层面去分析,会发现所有问题的根源都来自“定位”这两个字。

  • 对程序员,数据中台可能是解决数据规范和数据钻取问题的一个良方
  • 对产品经理,数据中台可能是解决业务与数据融合的关键
  • 对中层管理者,数据中台是打通部门之间数据共享的重要依据
  • 对企业家来说,紧跟行业趋势,顺势而为,是讲一个好故事必不可少的部分

但有一点大势所趋,信息化->数字化->智能化,即数智化。

就像5G来临势必带动一些新独角兽。互联网中变化莫测的打法更像是古代军事战争。谁能敏锐察觉敌情,就能敏捷做出最快的反应。又像《三体》黑暗森林中所描述的那样。黑暗森林中的猎人,谁最先发现猎物,开枪。带来的是一系列的连锁效应。

我们公司是做数据采集(从各信息系统的关系数据库、大数据组件等多样存储介质抽取、转换、共享数据)服务;属于功能性产品,不了解业务,那我们能参与数据中台那部分工作?因为公司内部在讨论的时候,提到的更多观点也是,连数据模型定义都不清楚,怎么介入。

你所在公司主要做的数据集成工作,位于整个数据研发链路中,研发阶段的第一环节。

整个数据研发链路划分:

明白你从事的工作在数据中台数据研发链路中的位置后,来看你们如何参与数据中台中。

数据集成产品,参与到数据中台的链路:

  • 在数据导入时,建立数据源到数据中台表的数据链路关系,这样可将数据中台中表的血缘关系扩展到业务系统的数据源,当数据源发生变更时,我们可以第一时间获取到变更信息
  • 数据传输要与元数据中心打通,从元数据中心获取各种数据源信息
  • 数据集成,要注意既要支持批量数据的集成,也要支持实时数据的集成
  • 数据传输,要能够与数据开发任务,建立任务依赖关系,后续的数据清洗任务依赖于数据集成任务

至于数据模型定义不清楚,数据传输须接入元数据中心,在元数据中心中,对每张表,都有数据字典的定义,数据传输可以基于字段的格式,进行自适配。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/807852.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Windows文件夹浏览器Q-Dir

Windows自带的文件夹,没有标签分页功能,当打开多个文件夹时,需要来回切换窗口,比较繁琐。     这里介绍一款可以快速切换Windows文件夹的小工具:Q-Dir,当打开Q-Dir时,默认是4个窗口显示。QDir支持窗口里的…

【Matlab】判断点和多面体位置关系的两种方法实现

我的主页: 技术邻:小铭的ABAQUS学习的技术邻主页博客园 : HF_SO4的主页哔哩哔哩:小铭的ABAQUS学习的个人空间csdn:qgm1702 博客园文章链接: https://www.cnblogs.com/aksoam/p/17590039.html 分别是向量判别法&…

互联网医院牌照申请指南:开启数字化医疗创新之路

申请互联网医院牌照的流程主要包括以下几个步骤:   准备材料:根据相关法规和政策要求,准备好申请互联网医院牌照所需的材料,包括但不限于医疗机构执业许可证、法人资质证明、医疗设备购置证明、医疗人员资格证书等。   填写申…

使用Hutool工具类中的BeanUtil.fillBeanWithMap方法报错`DateException`

使用Hutool工具类中的BeanUtil.fillBeanWithMap方法报错DateException 问题背景 在实现登录功能时,我先将用户信息存入Redis中,然后再获取用户信息的时候,又取出来。我存入Redis的用户信息是Hash格式的,所以取出来的时候&#xff…

BI-SQL丨两表差异比较

BOSS:哎,白茶,我们最近新上了一个系统,后续有一些数据要进行源切换,这个能整么? 白茶:没问题,可以整! BOSS:哦,对了,差点忘记告诉你了…

【腾讯云 Cloud Studio 实战训练营】Claude GPT+Cloud Studio快速完成Excel工资自动核算

🤵‍♂️ 个人主页:艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞&#x1f4…

mac关闭VPN之后,浏览器就不能够正常上网了(图解)

可能打开谷歌浏览器会显示无法正常连接网络等信息,这个时候可以按照以下步骤: 点击"检查代理服务器地址" 会显示以下这段话,按照这个步骤来操作就可以了。 打开系统偏好设置,点击网络 点击高级 取消掉所有已勾选代…

Spring-mybatis结合的底层原理

1.项目前期准备 1.1 导入maven jar包 <dependencies><!-- spring依赖 --><dependency><groupId>org.springframework</groupId><artifactId>spring-context</artifactId><version>5.2.5.RELEASE</version></depende…

CK-00靶机详解

CK-00靶机详解 靶场下载地址&#xff1a;https://download.vulnhub.com/ck/CK-00.zip 这个靶场扫描到ip打开后发现主页面css是有问题的&#xff0c;一般这种情况就是没有配置域名解析。 我们网站主页右击查看源代码&#xff0c;发现一个域名。 把域名添加到我们hosts文件中。…

Meta “地平线世界”移动端应用即将上线,手机快乐元宇宙?

根据海外记者 Janko Roettgers 的报道&#xff0c;Meta 预计很快推出移动版的 VR 元宇宙服务 "地平线世界"&#xff0c;这是Meta 长期开发的产品。 根据最新报道&#xff0c;Meta宣布正在研发“地平线世界”的移动版&#xff0c;并表示这一服务已经可以在Quest VR设…

黑客成长技术清单 | 渗透测试详解(全网最全工具,最常用的工具)

在为做网络安全不知如何入手而迷茫 在为不知如何规划自己的技术学习路线而烦恼 在为不知该钻研了解互联网的哪个方向而犹豫 这份网络安全 的内部安全资料&#xff0c;解答你所有的学习疑惑。 给大家享一份全套的网络安全学习资料, 给那些想学习网络安全的小伙伴们一点帮助!…

线段树详解 原理解释 + 构建步骤 + 代码(带模板)

目录 介绍&#xff1a; 定义&#xff1a; 以具体一个题目为例&#xff1a;​编辑 树的表示方法&#xff1a; 实现步骤&#xff1a; 构建结点属性&#xff1a; pushup函数&#xff1a; build函数&#xff1a; pushdown函数&#xff1a; modify函数&#xff1a; q…

《零基础入门学习Python》第071讲:GUI的终极选择:Tkinter8

虽然我们能用 tkinter 设计不少东西了&#xff0c;但是不少同学还是感觉对这个界面编程掌控得还不够多&#xff0c;说白了&#xff0c;就是我们现在还没办法随心所欲的去绘制我们想要的界面&#xff0c;但是不瞒你说&#xff0c;今天的这一节课将会给你的人生乃至人生观带来翻天…

Linux下在终端输入密码隐藏方法

Linux系统中&#xff0c;如何将在终端输入密码时将密码隐藏&#xff1f; 最近做简单的登录界面时&#xff0c;不做任何操作的话&#xff0c;在终端输入密码的同时也会显示输入的密码是什么&#xff0c;这样对于隐蔽性和使用都有不好的体验。那么我就想到将密码用字符*隐藏起来…

Glow: Generative Flow with Invertible 1×1 Convolutions论文解析及实现(二)

Glow: Generative Flow with Invertible 11 Convolutions 代码github: https://github.com/rosinality/glow-pytorch添加链接描述 1 模型架构如下 1.1 左边图flow模型 Flow model ① ActNorm ② InvConv2dLU ③ AffineCoupling 1.2 右边模型结构Glow模型 Glow Model Block…

C++之poll与epoll总结(一百六十九)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 人生格言&#xff1a; 人生…

SpringCloudAlibaba之Ribbon

Ribbon是nacos自带的负载均衡器&#xff0c;属于客户端的负载均衡 但是在Spring高级版本中让LoadBalancer替代了 本人用的是2.1.0的nacos&#xff0c;ribbon还没有被替换。 使用&#xff1a; 在配置类中&#xff1a;LoadBalanced BeanLoadBalancedpublic RestTemplate restT…

ETHERNET/IP转RS485/RS232网关什么是EtherNet/IP?

网络数据传输遇到的协议不同、数据互通麻烦等问题&#xff0c;一直困扰着大家。然而&#xff0c;现在有一种神器——捷米JM-EIP-RS485/232&#xff0c;它将ETHERNET/IP网络和RS485/RS232总线连接在一起&#xff0c;让数据传输更加便捷高效。 那么&#xff0c;它是如何实现这一功…

Python Web开发技巧VIII

目录 ModelSerializer和Serializer区别是什么 从queryset中取出某个models的字段值 Q对象进行模糊匹配 HTTP方式-如何模糊搜索JSON字段中的某个KEY值呢&#xff1f; showmigrations 合并两个或多个queryset ModelSerializer和Serializer区别是什么 都是DRF中用于序列化和…

尚医通9:医院列表功能+GateWay网关

内容介绍 1、医院列表功能&#xff08;接口&#xff09; 4、医院列表功能&#xff08;前端&#xff09; 5、更新医院上线状态功能 6、医院详情 7、GateWay网关 8、医院排班管理需求分析 9、查看医院所有科室接口、前端 医院列表功能&#xff08;接口&#xff09; 接口…