数据虚拟化、Data Fabric（数据编织）的兴起，对数据管理有何帮助？

news2025/1/17 5:55:42

数字化时代，虚拟化（Virtualization）并不是一个很陌生的词汇，它是现代数据中心资源管理的核心技术之一，是对 IT 资源（如服务器、存储设备、网络设备等）的抽象，通过屏蔽 IT 资源的物理性质和边界，能够有效地将其虚拟化为多个逻辑资源，从而实现 IT 资源的共享、分配、管理和高效利用。

数据虚拟化（Data Virtualization）便是对数据资源的抽象，通过屏蔽数据资源的存储位置和访问方式，能够将不同数据源、不同格式的数据资源，即企业的多源异构全域数据进行逻辑上的整合集成，并通过统一的访问界面和访问方式，抹除不同基础设施、技术架构之间的差异，让企业快速地实现对数据资源的提取和使用。

值得一提的是，与传统的 ETL 驱动的数据集成方案不同，数据虚拟化没有“复制和搬运”数据这个过程，因此基于数据虚拟化的数据集成方案通常实施成本比较低，实施周期比较短，尤其是在数据源越来越分散，“数据孤岛”广泛存在，企业“找数、看数、用数”的需求越来越高频的场景下，能够大幅降低企业存储、管理、应用数据的投入和运维成本，也能够让业务人员更专注于业务创新，而非技术细节，极大加速数据价值实现。

正是因为数据虚拟化的这些特点，Gartner 认为数据虚拟化是一种“生产力平台”技术，技术风险比较低，投资收益回报比较大。同时，数据虚拟化也是近年兴起的全新数据管理架构理念—— Data Fabric（数据编织）的重要技术组成部分，通过数据虚拟化，Data Fabric 可以构建跨源、跨云的统一数据访问层，并在这层之上构建统一的数据语义层或逻辑数据视图，实现数据的动态集成和敏捷服务。

作为国内 Data Fabric（数据编织）架构理念的实践者与引领者，Aloudata 大应科技通过自主研发的数据虚拟化技术，构建了国内首个 Data Fabric 理念的逻辑数据平台——Aloudata AIR，隐藏了数据环境和 ETL 链路的复杂性，轻松实现数据仓库、数据湖、OLAP 引擎和其他各类数据的多源异构数据集成和联邦查询，能够帮助企业无需复制和搬运数据、无需关注数据任务运维、无需担心查询性能，实现全域数据的逻辑整合。

同时，Aloudata AIR 支持全局数据资产目录和统一数据服务，为下游用户与应用提供了统一的数据发现和访问入口，解决了“数据孤岛”造成的全域数据查找难、跨源查询难和集中安全治理等问题；支持人工指定物化加速和 AI 增强的自适应物化加速，基于用户查询行为，实现自动化物化链路编排和智能查询下推，让用户无需担心虚拟化带来的大数据量查询性能问题，实现全域数据更低成本、更实时地流通和消费。

Data Fabric（数据编织）认为，只有自服务才有可能将生产力解放出来，以满足业务旺盛的数智化运营的需求。

通过 Aloudata AIR 逻辑数据平台，帮助业务人员减少了对 ETL 工程师的单向依赖，不需要再关心数据实际存放位置，也不必再搭建复杂的 ETL 数据管道，直接通过 SQL 等多种方式定义逻辑数据集就能够自助对全域数据进行准备和分析，从而改变了数据生产与数据消费的协同关系，实现 Data Fabric 的“自助服务，而非专家服务”的价值主张，显著提升业务用数效率，释放数据价值。

具体来看，Aloudata AIR 逻辑数据平台主要由数据连接层、数据虚拟化层、数据消费层构成：

数据连接层：在这一层，用户可以轻松地将企业全域数据逻辑连接起来，无论物理位置和数据格式如何，均可快速访问，且无需复制数据，让数据随手可得。
数据虚拟化层：完成数据连接之后，在这一层用户可以通过自动化的链路编排和 AI 增强的自适应查询加速保障功能，实现跨数据源的数据整合，对数据进行处理加工，满足业务分析需求。
数据消费层：进入这一层，平台提供了如 JDBC 等各种标准化接口，对接下游指标平台、BI 工具及其他数据应用工具，用户可以在自己熟悉和喜欢的工具上进行数据分析和应用，实现数据普惠化。