数字化已经成为了当前时代的标志,也变为人们对未来社会发展的共识,一时间数字化相关技术、理念、应用都开始向各行各业普及。此时人工智能、云计算、大数据、互联网、物联网等的发展也越来越快,给人们的生活和企业的经营管理模式带来了深刻改变。
只要企业能够持续坚持数字化转型的路径,就能通过新一代的数字化技术为企业发展赋能,不仅可以提高企业的运转效率,提高洞察决策的精准度,还能很大基础上降低原有的成本,发挥数据价值,为企业带来更多收益。
数据团队的组成
从最粗的粒度上来讲,数据团队可以分为 四 大部分,即数据采集,数据仓库,数据服务和数据产品。四 个部分自下而上地融通出了一条条数据管道,让通过各个渠道采集过来的明细数据最终成为了驱动业务决策和运营的数据洞见。
所以从本质上来讲,数据团队并不生产数据,因为数据其实是来源于真实用户与业务系统的日常交互(投放、浏览、点击、购买、订单、物流等)。数据团队更像是数据的搬运工,并在搬运的过程中对数据进行适当加工,让海量、零散的数据最终可以成为业务决策的关键因子来影响下一轮真实用户与业务系统的交互方式,从而形成数据闭环。
工程团队的定位
在数据采集,数据仓库,数据服务和数据产品这 四 个部分中,工程团队很显然承担的是数据服务这一层。数据服务作为数据工程团队的交付物,如果我们再把服务这个词具象化,又可以拆解为数据接口,数据报表,数据产品和数据大屏这 四 类,分别对应工程师(上下游系统)、分析师、业务运营/商家、媒体,这 四 种不同的用户。
怎么做数据接口
数据接口作为最基础的数据流通方式,一直以来都在各个业务系统之间扮演着非常重要的角色。对于工程团队而言,统一性一直都是一个非常重要的话题。在工程界,各种各样的语言、数据库、框架等层出不穷,一方面带来了繁荣的生态,但另一方面也带来了许多系统之间交互的一致性问题。
从这个方面来讲,其实数据仓库是解决得更好的,不论数据生产的过程中涉及到了多少技术栈,最终产出的结果就是一张张的宽表,这大大降低了比如像算法和数据研发之间的协作成本,解决了不同系统模块之间数据流转的问题。但数仓再往下,到了数据库这层,我们就又会发现许多的不一致性。MySQL,HBase,AnalyticDB 等等这些不同的数据库解决方案分别适用于不同的业务场景,也都有各自的成本考量,很难有一个 DB 可以解决所有问题。
SQL-派可数据商业智能BI可视化分析平台
怎么做数据报表
数据报表作为数据接口和数据产品之间承上启下的一层,在日常的业务决策中扮演着非常重要的角色。
在报表搭建这方面,集团内部是有非常成熟的解决方案的。长期以来,业务系统和数据报表之间一直存在着相当的割裂,一方面是因为生产环境中运行的业务系统和每天大量新增的数据报表从数量上来讲就不在一个量级。业务系统和数据报表之间也并不存在着严格意义上的对应关系,很难有人可以明确地指出说哪几张报表是用来指导运营在某一个业务场景下做决策的。
报表分析 - 派可数据商业智能BI可视化分析平台
久而久之,大家更习惯地是将这样的决策链路笼统地归于行业经验的范畴,即相信业务侧的同学在看到了特定的数据后就知道去哪个业务系统里进行相应的操作。但从逻辑上来讲,这并不是一个非常站得住脚的说法,因为报表数量多本身也是一件需要去治理的事情,企业更希望的是能够在纷繁复杂的业务中抽象出统一的几张或几十张报表来长期地指导业务运营。临时的取数和分析需求,从技术的角度来讲应该收敛在自助取数/分析的平台上,而不应该形成一批数量庞大却事实上在使用过一次后就鲜有人问津的报表。
怎么做数据产品
数据产品作为数据域中与传统工程应用最为接近的一种交付物,与核心的业务系统一样,对系统的稳定性和扩展性都有着很高的要求。对比传统的 C 端应用,数据产品在技术上也有其一定的特点。不同于重并发轻计算的 C 端应用,数据产品更聚焦在大数据量下的快速复杂计算。又因为在电商的场景下,数据产品服务的对象更多是商家侧,所以从服务用户的上限来讲,对系统并发的要求不及 C 端应用那么严苛。
指标 - 派可数据商业智能BI可视化分析平台
谈起数据产品,就不得不提到其中最原子的组成部分:数据指标。数据指标是一切数据产品的基础,如何快速准确地计算并管理数以千计的数据指标及其衍生指标,是每一个数据工程团队首先要解决的问题。
怎么做数据大屏
很长时间以来,人们都对数据大屏的价值有着比较深的误解,认为数据大屏不过是大促或某些特定时间拿出来炫技的东西。
大屏可视化 - 派可数据商业智能BI可视化分析平台
好的数据大屏可以为企业营造出一个特殊的场景,让其更好地向外界传达公司的愿景,使命以及在达成这些目标过程中公司的进展。