数据中台 | 数据智能平台产品系列文章，企业开发和盘活数据资产的利器！（上篇）

引言

发展数字经济，实现数字中国是我国的国家战略，坚定且不可动摇，近期随着《数据二十条》、《“数据要素×”三年行动计划》、《关于加强数据资产管理的指导意见》等重磅政策的发布，使数字化转型成为越来越多企业增强竞争、扩大营收的必选项。特别是《企业数据资源相关会计处理暂行规定》正式稿的发布和数据资产入表的正式实行，为数字经济提供了更为切实可行的切入点。

随着国家政策和指导意见的不断推出，以及政府、企业对数据要素市场和数据资产入表探索的不断深入，我们可以看到企业对于数据资产及其背后价值实现和变现的需求。

为了跟上市场的脚步，满足用户现阶段需求，我们重新梳理了产品体系，推出升级的2.0版本产品，可以向客户输出数据的采集和存储、数据治理、数据价值开发、数据应用开发、数资登记运营、数资价值评估等数据资产开发的六大全域核心能力。同时，围绕我们提供的核心能力，我们会开启数据智能平台系列文章的持续更新，包含六大核心能力领域的知识科普、产品&方案介绍、技术对比&选型、设计与开发要点等知识和经验的分享，满满都是干货，还请您一定要狠狠地期待一下！

本篇是系列文章的第一篇，小兵先为您介绍数据智能平台的前三大能力：数据采集和存储、数据治理和数据价值开发。

01 战略背景

1.1 国家战略

发展数字经济,强化数据基础设施是我国的国家战略，党的十九大报告对建设网络强国、数字中国、智慧社会作出战略部署。实施国家大数据战略，大力发展数字经济，以信息化培育新动能，用新动能推动新发展。

1.2 政策背景

各类国家、省市、地方出台的政策、指导意见、工作指南、成功案例集以井喷式不断发布，并引发业界对数据要素X、新质生产力、数据资产入表等新理念的研讨热潮。

国家“十四五”相关规划，强调数据要素战略层面部署

2021年12月国务院《“十四五”数字经济发展规划》
2021年11月工信部《“十四五”大数据产业发展规划》

中共中央国务院，构建数据基础制度，数据要素市场化

2020年4月《关于构建更加完善的要素市场化配置体制机制的意见》
2022年12月中共中央国务院《关于构建数据基础制度更好发挥数据要素作用的意见》

财政部，首次提出企业数据资产入表相关处理

2023年8月《企业数据资源相关会计处理暂行规定》（以下简称《暂行规定》）
2024年1月1日起正式施行《暂行规定》

小兵认为其中对数字经济发展推动效果最明显的，还是财政部于2023年8月正式发布，2024年1月1日正式施行的《企业数据资源相关会计处理暂行规定》。在此之前，众多企业虽关注数据资产，但因短期见不到收益，很多企业不愿意进行数据的采集、存储和管理。

02 需求痛点

无论是政府还是企业，都会面临如下问题：

1.面对海量、多源、异构数据如何去采集和存储的问题；

2.如何对采集和存储的数据进行治理，以保证数据的标准性和规范性；

3.如何对数据进行分析和挖掘，形成有价值的数据产品（算法、模型、API...）

4.企业数据来自内部的各个部门，需要对各个部门的数据进行梳理和登记，并做好数据运营；

5.要对登记的数据资产进行规模、质量、价值等多维度评估，实现数据资产入表。

03 产品介绍

3.1 产品定位

打造全域数据管理能力中心，旨在为用户提供数据资产采集存储、数据综合治理、数据价值开发、数据应用开发、数据资产登记运营、数据资产评估入表等全链路的一站式产品 + 技术 + 方法论服务，构建面向数据价值挖掘、应用的数据智能平台。

3.2 整体架构

3.3 技术架构

数据共享：主要采用Spring Cloud、Sprin Boot等前端技术；

数据存储：采用多源异构的存储架构，支持MYSQL、MongoDB、HIVE、HBase、ES、Redis等关系型数据库和大数据组件；

数据计算：基于hadoop、spark去做这种大数据的计算，通过Flink进行流式计算。基于PyTorch框架和TensorFlow的机器学习能力。

数据采集：支持多种类型的数据采集方式，包括API、MQ、Kafka、ETL/Kettle、HTTP等

3.4 数据采集&存储

提供可视化的数据采集图形界面，支持以标准化、模块化的方式进行多源异构数据资源的接入，并支持将采集的数据存储到数据仓库。

数据源：

支持多种类型和存储方式的数据源采集

数据类型：结构化数据、非结构化数据、半结构化数据、日志数据、流失数据；

存储方式：MySQL、MongoDB、HIVE、HBase、ES、Redis。

数据采集：

支持数据表集成、API集成、Excel集成、ETL集成、实时数据（Kafka）集成等多种数据采集方式。

数据存储：

支持将采集的数据存入数据仓库，并支持自定义分层和数据编目。

3.5 数据综合治理

数据综合治理模块融合元数据管理、数据标准管理、数据质量管理、主数据管理等产品功能，各产品功能可独立或任意组合使用，打通数据治理各个环节，快速满足政府、企业各类不同的数据治理场景。在数据接入和数据挖掘环节，数据智能平台也支持对数据进行相应的清洗和治理，实现全链条的数据治理能力。

数据标准：根据制定的数据智能平台、各数据来源方基础数据，业务数据的数据标准，统一管理数据标准，规范数据资源格式、命名的准确性和口径的一致性，数据标准管理包含标准生成、标准映射、变更查询、映射查询、维护标准、标准版本查询、标准导出等功能。
元数据管理：元数据管理是数据治理得到有效实施的关键技术环节之一，可以帮助用户快速定位和理解数据；为数据血缘分析、追踪溯源、数据资产管理等提供元数据支撑。包含数据源管理、元数据管理、数据分析、数据检索、数据地图、数据标准治理、SQL工作台等功能。
数据质量管理：数据质量通过建立评估标准和管理规范，提供数据质量问题统计、质量报告、日志监控、规则配置等闭环流程和管理功能，为数据质量提供必要的保障。
主数据管理：用于协调和管理企业内用于识别关键业务实体（如客户、产品、供应商和员工）的一致性、准确性和统一性的数据。主数据管理的目的是创建一个“单一真相源”，确保在不同部门和系统之间共享的数据保持一致，从而提高数据质量、减少数据冗余，并支持更好的业务决策。包括主数据配置、主题数据抽取、关系分析、索引创建等功能。

3.6 数据价值开发

利用算法、模型、机器学习等技术，对用户采集的不同的数据进行分析挖掘，形成有价值的数据产品，包括数数据集、算法、模型、API接口、数据报表等，主要包含模型工厂、应用超市、任务中心、算子组件等功能。

模型工厂：提供模型分类、模型管理、模型设计等功能，在定义模型的时候，每个结果集都是可视化展示，并可对结果集进行自定义可视化布局，两两结果集都可以根据逻辑函数碰撞分析。定义完的模型，可以一键发布到应用超市中。
任务中心：提供任务统一管理系统的定时任务，提供任务创建、删除、时间管理、执行、暂停、日志查看功能；模型任务监控：监控定时运行的模型后台任务执行情况；应用任务监控：监控用户发起的应用调用任务执行情况。
应用超市：提供模型转化发布应用，以APP的方式上架到应用超市中，供用户自主选择所需服务过程的能力。
算子组件： 提供图形化选择的各类算子组件，包括过滤、交集、并集、差集、分组、综合加工、转换类型、字符串处理、算数运算、日期处理、自定义SQL等。

04 产品价值

数据智能平台包括如下产品价值：

多源异构数据集成

支持以全可视化方式接入多源异构数据，包括结构化、半结构化和非结构化d等数据类型，包括MYsql、Oracle、DB2、MogoDB、Hive等20+种数据源，同时支持ETL、API、CDC、OLAP实时等数据接入方式。
全链条数据治理服务

提供数据标准管理、元数据管理、主数据管理、数据质量管理，打造一体化数据治理体系，从多个层面定义数据质量规则，全面监控数据全生命周期各环节，实现全面稽核和预警，通过严谨的数据质量评分机制，让数据治理有理有据。
强大的数据挖掘分析能力

面向不同的数据处理场景，针对不同的数据处理人群，提供可视化数据分析计算工具，通过可视化拖拽的方式，即可完成业务模型设计和数据分析工作，实现离线数据、实时数据快速融合处理，降低了技术门槛，大幅提高数据开发效率和降低开发成本。

高效、低门槛数据开发工具

全流程可视化，拖拉拽设计方式，简单、高效、使用门槛低，预置丰富的大屏模版和行业模版，支持设计组件自定义，灵活打造个性化大屏样式。
灵活适配、轻松部署

全面适配各种底层存储计算平台，包括HDP、CDH、华为FI以及MPP数据库Mysql、Oracle、DB2等，根据项目规模灵活选择项目方案，单机版或集群版；支持容器化部署，零基础半小时轻松完成全套产品部署。