近日,全球权威的技术研究与咨询公司 Gartner 发布了《揭秘服务自助式分析的语义层》(Demystifying Semantic Layers for Self-Service Analytics) 研究报告。Kyligence 是国内唯一连续入选此报告的厂商,此前曾入选 Gartner 指标平台创新洞察报告、数据管理技术成熟度曲线报告、2022 中国数据管理最酷厂商等多个报告。本文将基于 Gartner 最新报告,和大家一起了解语义层以及指标平台如何服务企业自助式分析。
背景
随着企业朝着数据驱动业务的目标前进,对数据分析的需求日益复杂。语义层作为企业数据架构中的一部分,通常由 IT 部门进行相关的开发和维护工作,进而支持业务部门不同的数据分析需求。为了更好地满足业务部门自助分析的需求,很多企业开始部署自助 BI 分析工具来满足业务部门在敏捷性和灵活性方面的需求,因此,数据团队日常需要花费大量的时间在报表开发等繁杂重复的工作上。
随着时间推进,业务部门采购的这些 BI 分析工具/系统逐步形成了数据孤岛,进一步影响了公司更广泛的整体目标,如数据的一致性和关键绩效指标的共享协作等。因此,IT 部门开始主导并推进安全、可信的数据管理目标,试图在灵活、自主、敏捷的自由模式和一致、共享、受治理的集中模式之间寻求一种平衡状态。
常见语义层的实现方式
语义层通常是指在数据平台之上的业务抽象,用来统一维护业务逻辑,从而为企业上下提供统一、可信的数据,业务人员可以轻松访问并理解这些数据。Gartner 在报告中将常见的语义层分为以下三类:基于数据平台的语义层:在数据平台内,作为数据服务扩展而构建的语义层。一般是通过数据集市、视图(包括物化视图)和在线分析处理(OLAP)模型实现。
- 优势:数据高度集中、受治理程度很高;最大化利用企业内部的资源和技术;能够为现有用户提供大量数据。
- 挑战:高度依赖 IT 部门和数据工程师;灵活性较差;难以处理非结构化数据。
独立语义层:位于数据源和消费层之间的独立层,一般是通过数据虚拟化、抽象层或数据湖来实现。
- 优势:数据受治理程度较好;能够集中存储数据分析模型和指标;支持对接跨数据源的多种数据格式。
- 挑战:需要大量的 IT 开发和实施的工作;传统产品对数据科学、机器学习、其他数据应用的支持不足;企业数据分析的架构变得更加复杂。
基于 BI 分析工具的语义层:一般是作为 BI 的内置功能,位于数据分析层内。
- 优势:支持灵活、敏捷的数据分析,加速数据到洞察的过程,有利于数据平民化。
- 挑战:数据受治理程度较差;数据模型和指标分散在多个系统;数据受限于 BI 工具的技术栈。
与时俱进的语义层
随着各项工具和概念的兴起,企业实现语义层的方式也发生了变化。随着时间的推移,追求自助分析的 BI 工具和追求集中治理的语义层开始呈现融合趋势。企业推动语义层和 BI 自助式分析这两项能力融合的动力一般来自:
- 追求集中治理和自助敏捷的平衡:使用 BI 工具实现自助分析的企业,发现自己被越来越多的技术债所困扰,对散落在各处的数据和指标难以形成完整、统一的认知,希望寻找某种企业级的治理来指导进一步的发展。
- 对整合分析的需求增加:跨用例的分析需求日益增长,包括数据科学和机器学习(DSML)以及集成应用等,因此许多企业构建了专用管道来满足这些需求,无论是传统还是自助的语义模型通常都不支持这些用例。
- 指标平台这一新兴趋势出现:无论是单独的语义层还是自助 BI 分析工具的供应商都致力于帮助企业实现统一的语义层。指标平台 Metrics Store 这一概念的出现,能够把 IT 主导的集中治理模式和自助分析模式进行有机融合,统一组织、管理和分析指标,为企业的不同用户交付有价值的结果。
什么是指标平台?
在指标平台中,用户可以创建业务指标并通过代码来定义指标,管理来自数据仓库的指标,并为下游的数据分析、数据科学和业务应用提供服务。
指标平台的主要目的是统一管理指标定义、并这些指标服务不同的数据分析工作。在理想情况下,指标平台支持业务用户创建和维护指标定义,同时也由 IT 部门统一管控相关的技术底座。
相较单独的语义层而言,指标平台进一步实现:
- 业务用户能够贡献和管理指标定义
- 将指标暴露给主流的 BI 工具和企业其他日常的数据分析和应用
Gartner 在报告中指出,从全球来看,指标平台商业化仍处于起步阶段。因此,指标平台是否会成为数据分析技术栈中独立的一层,还是作为语义层的一种能力被吸收,目前还不得而知。值得肯定的是,指标平台的实现提供了一种创新能力来定义和管理数据指标。Kyligence 作为领先的大数据分析和指标平台供应商,也是唯一连续入选此报告的中国厂商。
一站式指标平台 Kyligence Zen
作为国内最早尝试落地指标平台的厂商之一,Kyligence 已经服务金融、零售、制造行业的企业级客户搭建了指标平台。基于丰富的行业实践和技术积累,Kyligence 在今年发布了一站式指标平台 Kyligence Zen 的正式版本,助力企业统一数据口径、构建指标体系,实现数据文化的普及推广,推动企业更精细化的数字化转型:
- 人人都可以敏捷地利用指标开展工作,快速响应业务变化
- 所有业务用户、数据消费者及决策者使用一致的指标口径
- 简化指标定义到数据计算流程,改变业务用数模式,降低开发成本
- 通过开放 API 接口对接 BI / SaaS 工具,加强数据协同与共享
了解更多关于指标平台建设的方法论及实践,欢迎点击链接下载《指标平台建设方法与实践白皮书》
关于 Kyligence
跬智信息(Kyligence)由 Apache Kylin 创始团队于 2016 年创办,是领先的大数据分析和指标平台供应商,提供企业级 OLAP(多维分析)产品 Kyligence Enterprise 和一站式指标平台 Kyligence Zen,为用户提供企业级的经营分析能力、决策支持系统及各种基于数据驱动的行业解决方案。
Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售、医疗等行业客户,包括建设银行、招商银行、平安银行、浦发银行、北京银行、宁波银行、太平洋保险、中国银联、上汽、长安汽车、星巴克、安踏、李宁、阿斯利康、UBS、MetLife 等全球知名企业,并和微软、亚马逊云科技、华为、安永、德勤等达成全球合作伙伴关系。Kyligence 获得来自红点、宽带资本、顺为资本、斯道资本、Coatue、浦银国际、中金资本、歌斐资产、国方资本等机构多次投资。