在当下的企业管理中,由于数据量的激增,管理方式逐渐从基于经验转向基于数据。在此过程中,我们能够通过数据探查业务情况、分析数据,从而获取更优的决策支持数据。这通常通过数据报表或分析平台来实现,对于临时性场景,则会基于日常取数方式进行临时数据分析。
但在此过程中,由于数据源的多样性、数据结果呈现的多样性以及需求提出时间的不一致,导致出现了诸如指标管理不统一、口径不一致、流程不规范等管理问题。例如不同部门核对指标数据时口径和结果不一致,使大家对数据真实性产生质疑,进而影响业务决策。
指标平台的出现,正是为了应对上述挑战,其目标在于统一指标管理,规范数据流程,确保数据决策的有效性与一致性。通过指标平台,企业得以克服指标管理的痛点,实现数据价值的最大化,保障数据准确无误,促进业务发展。
指标平台的业务价值与在数仓中的定位
传统数仓建设的基本架构,从数据源同步、数据清洗、数据聚合、至数据服务化,每个环节都承载着特定功能。数仓从数据源同步至ODS层,再到DWD、DWS和ADS层的数据处理流程。重点在于上层数据(DWS和ADS)对业务决策的影响,它们直接关联着业务决策的依据。
指标平台通过优化上层数据处理,实现指标的标准化管理和数据的统一性,强化了数据决策的质量。在这个过程中,ODS 和 DWD 层数据与业务弱相关,指标需求和取数更多来自 ADS 和 DWS 层,问题也主要出现在这两层,所以指标管理主要解决这两层的问题,确保数据统一规范,方便获取准确结果。
如何通过指标平台实现指标的定义与计算
指标平台集成了数据源管理、数据模型构建、指标定义、审批流程、运维调度、权限控制、数据查询及异常监控等功能,形成了一套完备的指标管理体系。
数据源管理包括维度和事实表管理,在此基础上生成数据模型,进而生成指标,同时涉及指标目录、学员版本管理、原数据管理等管理内容,还包括指标发布下线及审批流程以保证规范。
配置好指标内容后,涉及数据运维中心,通过自研的分布式调度引擎进行周期性或临时的补数据调度,保证及时获取数据结果,并对调度结果进行监控。
数据应用方面包括权限管控、数据查询、结果查看等,还可通过指标市场进行指标查询与管理,通过原数据查询指标,查看热门查询了解指标使用热度。
面向业务层,有自助取数方式,可将关注数据保存生成指标看板,平台能进行异动监测和归因分析,还可通过指标门户、API 方式对接上游应用系统或 BI 平台。在此基础上,可通过 AI 智能分析辅助企业经营决策。
指标开发的整体过程,包括开发和日常运维两部分。首先有一个数据源,基于此进行指标逻辑计算,进行指标任务开发和结果落地,之后是数据结果的周期性调度和日常运维,保证计算任务稳定输出。
重点讲一下指标定义的语义化定义,包括数据源准备、指标模型、指标语义化定义和指标结果落表。数据源分为维度表和事实表,基于此又产生四种表类型。基于数据源生成指标模型,包括维度管理和数据模型,数据模型实际使用中建议采用星型模型。定义好指标模型后,对指标计算口径进行语义化定义,指标分为原子指标、派生指标和复合指标。对于生成的结果涉及表字段生成,包括业务日期、维度、指标、更新周期。
通过语义化定义,平台简化了指标构建过程,包括数据源准备、模型构建、指标定义和结果落表。此外,平台内置的AI智能分析功能进一步提升了数据洞察力,为决策者提供了更多有价值的信息。
《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057?src=szsm
《数栈产品白皮书》下载地址:https://www.dtstack.com/resources/1004?src=szsm
《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm
想了解或咨询更多有关大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szcsdn