01.研究范围定义
利用多种数据智能技术实现数据驱动的分析与决策,已经成为当前企业数字化转型最重要的目标之一。随着数据来源日益丰富、数据体量快速增长,企业对数据的依赖和挖掘愈发深入,不仅带来数据应用场景、数据用户角色的复杂和多元,也使得企业对于数据应用的敏捷性和即时性的要求变得越来越高。
传统的数据开发与管理、数据计算分析正面临着巨大的挑战。为满足日益增长的数据应用需求,爱分析观察到,企业在数据能力建设逻辑上正转向以业务为核心,市场在技术和解决方案的供给上,也正以特定业务价值实现为驱动,变得更分化和聚焦。
数据能力建设核心逻辑转向实现业务价值。企业以往在构建数据能力时,通常是由技术部门或数据部门进行统一规划,并进行数据开发与管理,业务部门被动的使用企业的数据能力。然而,随着业务部门对数据价值的逐渐重视,以及对数据应用需求的快速增加,企业技术部门或数据部门已经不能满足业务部门的用数需求。为赋能业务部门更好的使用数据,企业数据智能基础设施的构建正逐渐转变为以业务部门为核心,如尝试通过DataOps、指标中台等概念实现数据和业务部门之间的高效协作。
面向业务场景价值实现,技术解决方案更细分、更聚焦。过去几年的实践表明,功能大而全的数据中台并不适合所有企业,根据企业内数据源、数据用途的差别,市场上分化出了多种针对特定场景的数据平台解决方案,如针对风控、营销场景的实时数据平台,针对工业、物联网场景的边云协同数据平台,为了加速多数据源联合分析的数据联邦分析平台,为了加速异构数据分析的异构数据即时分析平台等。
基于以上背景,爱分析将数据智能市场划分为数据基础设施和应用解决方案。数据基础设施覆盖数据生命周期的多个技术栈,应用解决方案覆盖多个垂直行业与通用智能解决方案,具体市场划分详见下图。
本评估报告聚焦数据开发与管理平台市场,爱分析遴选出具备成熟解决方案和落地能力的厂商,为企业做数据开发与管理平台厂商选型时提供参考。同时,在该市场下,爱分析重点选取了数据开发与管理平台厂商炎凰数据进行能力评估。
02.数据开发与管理平台市场分析
市场定义:数据开发与管理平台,是指针对业务用户需求,建立涵盖数据集成、开发、存储、计算、服务、任务调度等在内完整的数据加工链路,并提供全域数据资产管理能力的数据平台。
甲方终端用户:金融、制造、汽车、消费品零售、能源等行业的大数据部门负责人、IT部门负责人
甲方核心需求:
随着业务部门对于数据分析的需求越来越广泛,甲方企业需要构建一套面向业务部门用数需求的数据开发与管理流程和机制,并提升相应的数据开发与管理能力。过往,甲方更多是将数据整合和管理作为企业的阶段性目标和项目来完成,对数据如何应用、如何在业务场景中发挥价值关注度不足。在实践过程中,投入大量资源和人力,完成数据整合之后,“取数难”、“用数难”、数据质量低等问题依然存在,甲方还是无法发挥数据的价值。因此,甲方真正需要具备的是一套面向业务的完整的数据开发与管理能力,其核心需求包括:
-
搭建端到端具备完整功能的数据开发与管理平台。平台需要围绕数据开发与管理全链路的需求,提供完备的功能,并具备自动化开发能力。甲方需要能够在这一平台上完成各类结构化、非结构化和半结构化数据的开发和管理,覆盖数据加工全链路的集成、开发、存储、计算、服务、任务调度等需求,具备对全域数据管理的能力。同时,为应对越来越多且时效性越来越强的开发任务,还需要利用自动化工具提升效率。
-
平台需能够兼容现有数据基础设施,并支持二次开发。经过多年信息化和数字化建设,绝大多数甲方已经具备一定数据基础,以MPP、Hadoop为代表的技术架构,以大数据平台为核心的数据开发和管理工具,因此,数据开发与管理平台需要兼容现有的数据基础设施。同时,随着业务的发展,未来产生越来越多的创新业务场景,平台需要有充分的扩展性,可以二次开发接入外部工具以应对多元的需求,从而支持各类型业务场景开展。
-
建立统一的数据开发与管理流程和机制。在甲方现有流程中,应用开发和数据开发往往是分开进行,但考虑到越来越多数字化应用是基于数据驱动这一趋势下,企业需要考虑将二者融合。过去建设的数据中台尽管一定程度上能够支持报表、自助式分析等应用,但实质上仍未能满足支撑整个数据开发管理体系,无法满足越来越多基于数据驱动的应用需求,特别是以即席查询、机器学习为代表的探索式应用。因此,甲方需要将应用开发与数据开发融合,并建立统一的流程和机制。
厂商能力要求:
-
数据开发与管理平台产品具备完整的功能。能够覆盖数据开发与管理的全流程,包括数据数据集成、开发、存储、计算、服务等等各个方面,能够提供多人可协作的项目空间管理,具备持续集成和发布的能力。
-
产品架构需要具备较强的可扩展性。需要具备解耦能力,采用模块化方式构建,能够单独拆分功能模块按需提供。在扩展性方面,需要能够适配企业内的其他生态,支持多种接口协议,已封测及对接多种软件或硬件接口调用等方式,能够快速满足企业未来的创新应用。
-
针对业务场景的需求建立统一的数据开发与管理流程,提供咨询服务或将流程内化为产品标准。厂商需要具备对数据应用场景的深入理解,以及具备丰富的客户服务经验,构建满足甲方业务部门数据应用需求,实现高效的数据加工处理的开发管理流程,并为客户提供相应的咨询建议。针对一些行业共性的需求,厂商需结合其产品和技术能力,将开发与管理流通融入数据平台产品中,提供行业最佳实践。
入选标准说明:
- 符合数据开发与管理平台全部厂商能力要求;
- 2022年该市场付费客户数量≥5个;
- 2022年该市场合同收入≥1000万元。
厂商全景地图:
03.厂商评估
厂商介绍:炎凰数据是一家致力于打造具备自主知识产权的大数据处理平台的公司,其核心产品炎凰数据平台,专注于提供对异构多源大数据的即时分析能力。公司核心团队来自前Splunk中国研发中心,具有深厚的大数据分析、架构设计和系统开发经验。
产品服务介绍:炎凰数据平台是新一代的异构大数据即时分析平台。结合其一站式的数据开发与管理能力,以及独特的读时建模、搜索引擎等技术,用户可以对来自各类机器、物联网设备、移动终端、业务系统、数据库异构的原始数据进行即时分析。
炎凰数据平台的服务范围涵盖泛金融、互联网、新能源 、工业制造等多个行业领域,典型应用场景包括:数据安全,AIOps,流程挖掘、时空数据分析、工业物联网等。服务过众安保险、上海电力、知识星球等标杆客户。
炎凰数据平台的大数据搜索引擎、读时建模等核心技术均为自研,做到源代码可控,并达到国际先进水平,是国产替代的可靠选择。
厂商评估:
炎凰数据平台专为现代企业数据源广泛,数据格式多样且易变,以及带有一定时序特征的数据分析需求而设计,通过提供一站式的数据开发管理平台,为企业在异构数据的查询分析中带来灵活、即时、易用,以及快速部署的使用体验,具体如下:
-
基于自研的读时建模存储和计算引擎,炎凰数据平台能够灵活支持多种场景下,企业对异构多源大数据的存储与查询分析。在数据存储方面,平台无需事先定义数据结构,而可以按数据原格式将来自企业各类生产管理系统中的非结构化、半结构化以及结构化数据统一存储在平台中,打破数据孤岛的同时保证了数据的完整性;在数据查询分析方面,平台的读时建模技术允许用户在读取数据时自定义规则,根据算法从原始数据中自动提取分析需要的字段,并支持用户根据业务需求动态地调整数据查询规则,从而避免繁重的传统ETL工作,提高异构数据处理的灵活度。同时,炎凰数据自研的搜索引擎提供类似Google的关键字简易查询,以及交互式查询、事件上下文搜索等高阶查询,满足用户在不同场景中的数据查询需求。此外,平台也支持对结构化数据进行写时建模,提升对结构化数据进行分析的能力。
-
炎凰数据平台在数据加工处理方式,平台架构等方面进行了多重优化,能够保障用户即时获得分析结果。针对读时建模以往固有的算力开销较大,影响查询速度的问题,炎凰数据在向量化计算、即时编译,基于列式存储的数据压缩,并发任务安排等多方面做了大量精巧的设计与优化,以加快运算速度,提高数据吞吐量,从而可以在绝大部分场景中实现相对即时的分析结果;在平台架构方面,炎凰数据平台采用云原生架构,所有服务都可以快速部署到各类云端环境的同时,存储和计算资源可以根据需求独立实现弹性地扩展,满足大规模数据处理的要求。
-
炎凰数据平台提供标准SQL查询,仪表板等实用功能,使平台具备较高的易用性。区别于业内同类大数据平台通常采用定制的搜索语言,如SPL、Elastic query DSL等,炎凰数据平台支持用户使用标准SQL语言进行数据查询,除了支持过滤,映射,去重,聚合,排序,关联等基本SQL查询能力之外,还提供了大量标量函数和表函数的扩展,同时也支持用户自定义函数,极大降低了用户的学习门槛;炎凰数据平台提供仪表板功能,基于平台集成的可视化图库echarts,用户可以使用各类常见的可视化解决方案,并将数据分析方法和分析结果保存在其中,加速企业内部数据价值的传递。
-
炎凰数据平台为用户提供标准化的产品,方便用户按需快速搭建数据平台,实现数据价值。对于数据基础设施相对薄弱的企业用户,炎凰数据提供了一站式的数据平台解决方案,具备从数据导入、数据集成、数据建模、数据存储、数据分析、数据服务、数据可视化等端到端的能力,使用户可以开箱即用;对于数据开发能力较强,且内部已经有一定的成熟数据开发管理工具的企业用户,炎凰数据将平台的各层能力进行了解藕,并提供API接口,允许用户以平台核心的数据存储和搜索功能为基础,接入外部系统或工具,实现对平台的二次开发。
典型客户:众安保险、上海电力、知识星球等
04.入选证书