被动元数据的不足和主动元数据的先进性

news2024/12/23 2:00:56

元数据管理领域,被动元数据管理主要执行的是一种基础且相对直接的任务,即简单地对元数据进行编目或存储。这一过程通常不涉及复杂的逻辑处理或动态分析,而是侧重于数据的静态描述和记录,如数据类型、结构、位置、创建时间等。

这种管理技术的一个显著特点是高度依赖于人力,特别是元数据的整理、验证、分类和更新等工作,往往需要数据管理员或分析师的介入。

而由于被动元数据管理侧重于数据的静态特性,便无法及时反映数据的变化或数据之间的复杂关系。在数据密集型企业中,数据不断产生、存储、流转、开发、消费,被动元数据管理往往难以捕捉到这些动态变化,从而限制了在数据治理、数据分析和决策支持等方面的应用。

因此,企业需要更加先进和动态的元数据管理技术,以更好地满足数据治理和数据分析的需求。

从“被动”转向“主动”,主要标志是 2021 年 Gartner 取消了发布多年的元数据管理魔力象限,取而代之的是主动元数据市场指南。Gartner 给出明确定义:主动元数据管理是对所有可用的用户、数据管理、系统/基础设施和数据治理实践过程的持续分析,以确定数据设计与实际情况是否对齐或出现异常情况。

作为国内 Data Fabric 架构理念的实践者与引领者,Aloudata 大应科技认为,主动元数据是一种动态、持续、智能的元数据管理技术,通过主动采集、实时在线、主动触发机制,替代传统被动元数据管理技术的人工登记、静态等待、人工触发模式,推动数据管理全流程各环节(如数据探查、应用开发、测试验证、部署实施、运维管理、监控分析等)的高效运转,为数据治理、数据分析、业务决策提供智能化技术支持。

相较于传统的被动元数据管理技术,主动元数据管理技术有以下几个显著优势:

一、全面。传统被动元数据管理,主要聚焦于表、列等基础数据及数仓内任务的监管。主动元数据管理覆盖更广泛的元数据范畴,包括库、表、列、脚本、模型、指标、报表以及数据使用行为等与一切与数据相关的所有元数据信息。

二、精准。主动元数据管理能够通过自动化实时采集、动态更新,结合多样化的 SQL 和 PLSQL 语言解析,自动构建全面、准确、实时、精细的算子级血缘图谱,实现解析精准度大幅提升,清晰反应数据之间的依赖关系和流转路径。

三、智能。能够实时监控数据变更,结合外部数据质量问题元数据,为全链路保障,提供智能化建议。比如,通过实时监测调度运行延迟情况,智能评估对整个基线链路的潜在影响,进而为各个场景提供智能化建议,以保障业务稳定运行。

Aloudata 基于自主研发的算子级血缘解析技术,打造了全球首个算子级血缘主动元数据平台——Aloudata BIG,能够帮助企业自动构建准确、精细、全面、实时的数据血缘图谱,支持复杂 SQL 代码的自动解析,独创行级裁剪能力,并通过提供反向元数据的各类 API 与企业 DataOps 平台集成,让 DataOps 实现场景化、自动化、智能化,帮助企业构建更加智能的数据治理能力,以更低成本显著提升事前防控、事中监控、事后应急、链路梳理等全链路数据保障的效率与效果。

 

目前,在高度复杂的数据管理环境中,Aloudata BIG 已帮助招商银行将现有血缘图谱升级为算子级血缘图谱,实现 99% 的血缘解析准确率,更实现了元数据应用智能化、链路保障自动化和架构治理长效化,推动数仓快速实现资产数量下降 40%、平均链路缩短 50%。如您对主动元数据感兴趣,欢迎访问 Aloudata,了解更多。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2164690.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【PG备份恢复】基于时间点的恢复(踩坑指南)

1 设置基于时间点恢复所需的配置 要启用WAL归档, 需设置wal_level配置参数为replica或更高,设置archive_mode为on,并且使用archive_command配置参数指定一个shell命令 1.1 修改配置文件 postgresql.conf vim postgresql.conf archive_…

资深老师都在用的成绩发布小程序,月考发成绩就用它!

在教育的长河中,老师们一直扮演着知识传递者的角色。然而,随着时间的流逝,教育的方式也在不断地革新。过去,老师们发布成绩查询的方式既繁琐又耗时。 现在我们有了更高效、更便捷的成绩发布方式。在众多的成绩查询系统中&#xff…

2.数据结构研究

计算机解决问题的步骤 线性表 树 图(点线)

电脑录屏软件免费版,四款宝藏软件揭秘

在这个数字化时代,无论是教学演示、游戏直播还是软件教程分享,电脑录屏都成为了我们日常生活中不可或缺的一部分。然而,面对市面上琳琅满目的录屏软件,如何选择一款既免费又功能强大的工具,成为了不少小伙伴的难题。今…

桌面专业版【ssh配置】

UOS统信SSH协议的简单使用方法。包含软件安装,服务启动及常见问题等内容。 文章目录 功能概述一、SSH安装二、SSH使用方法三、SSH常见问题1. 无法使用root用户登陆。2. SSH登录提示”connect to hosts xxxx :Connection refused功能概述 SSH 为 Secure Shell 的缩写,由 IET…

手把手搞定VMware 的CentOS硬盘扩容

1.背景 用VMware虚拟机创建Centos系统时,选了40GB硬盘,用着用着发现硬盘不够用了。于是,我为了给硬盘扩容,实操了下centos的硬盘扩容。本文是记录下整个操作过程,方便后面查询和使用。 2.操作 2.1 VMware操作 2.2 Ce…

Goweb---Gorm操作数据库(二)

Gorm允许用户自己自定义钩子操作,使用这些钩子操作,可以在增删改查操作前进行相关的操作和检验,它会在创建、更新、查询、删除时自动被调用。如果任何回调返回错误,GORM 将停止后续的操作并回滚事务。 自定义钩子函数 package ma…

充电宝哪个牌子性价比高?2024年充电宝推荐!7款好用充电宝推荐

近年来,充电宝爆炸、自燃等安全事故屡见不鲜,给人们的生命财产安全带来了严重的威胁。比如 2023 年 1 月,广西桂平的一自建民房凌晨突发大火,经初步调查,起火原因就是充电宝发生短路。2024 年 2 月 19 日晚&#xff0c…

如何在项目申报中实施精细化管理?

项目申报作为企业获取资源、拓展市场、推动创新的关键环节,其成功与否往往直接关系到企业的战略发展。而要在众多申报者中脱颖而出,实现项目申报的成功,精细化管理成为关键因素之一。精细化管理强调的是对项目申报全过程的每一个细节进行精准…

2024 年 8 月公链行业研报:Layer 1、比特币 Layer 2 和以太坊 Layer 2 趋势分析

作者:Stella L (stellafootprint.network) 数据来源:Footprint Analytics 公链研究页面 8 月,加密货币市场波动剧烈,比特币和以太坊均遭遇了明显下跌。Layer 1 区块链普遍遭受市场颓势,然而,Tron 却逆势…

开源链动 2+1 模式 S2B2C 商城小程序助力品牌实现先营后销与品效合一

摘要:本文探讨了在当今市场环境下,如何做到先营后销、品效合一。通过研究社区用户喜好,打造适合家庭消费的商品,并结合开源链动 21 模式 S2B2C 商城小程序,实现品牌的精准定位、创新包装以及小规格产品供应&#xff0c…

单片机——ADC采样

1、什么是ADC采样? ADC是指将模拟信号转换成数字信号的过程。通俗理解ADC采样就是采集电路中的电压,通过数值的方式表现出来。以STM32F103系列为例,它可以反应0~4095,换句话说,它采集的电压数值上表现为0~4095&#xf…

文心快码获2024北京信息通信行业网络安全产品优秀应用

日前,2024北京互联网大会在京举办。在“网络安全与数据保护”分论坛上,百度智能代码助手文心快码Baidu Comate荣获北京信息通信行业网络安全产品优秀应用案例。  本场论坛聚焦“共筑安全底座 服务社会民生”主题,共商北京数字经…

江科大51单片机

文章目录 led灯led点亮led闪烁流水灯 独立按键按键点灯按键消抖按键实现二进制流水灯按键实现流水灯 数码管静态数码管显示动态数码管显示 矩阵键盘定时器/中断串口通信led点阵屏DS1302实时时钟蜂鸣器AT24C02DS18B20LCD1602直流电机驱动AD/DA红外遥控 led灯 创建项目&#xff…

2024自学网络安全的三个必经阶段(含路线图)

一、为什么选择网络安全? 这几年随着我国《国家网络空间安全战略》《网络安全法》《网络安全等级保护2.0》等 一系列政策/法规/标准的持续落地 ,网络安全行业地位、薪资随之水涨船高。 未来3-5年,是安全行业的黄金发展期,提前踏…

CoT让Transformer打破推理极限的讨论

论文简要 题目:Chain of Thought Empowers Transformers to Solve Inherently Serial Problems Denny Zhou等人提出的中间推理token,跟o1的核心技术CoT非常相似。 传统的Transformer模型的致命弱点,就是擅长并行计算,但不擅长串…

动物关键点数据集-yolov8 pose动物关键点识别-动物姿态估计-keypoints(代码+数据集)

跨域适应于动物姿态估计 概览 本文介绍了一个专门用于动物姿态估计的数据集,该数据集包含了五个不同种类的动物:狗、猫、牛、马和羊。整个数据集中共包含超过6000个实例,分布在4000多张图像上。此外,数据集还为另外七种动物提供…

QT创建线程,QT多线程的创建和使用,QT线程池

一、在Qt中创建多线程的原因和优势 1. **UI响应性:** - 在单线程模型中,如果需要执行长时间运行的任务(如网络请求、文件I/O、计算密集型操作等),这将会阻塞主线程,导致UI无响应。通过在单独的线程中执…

分布式框架 - ZooKeeper

一、什么是微服务架构 1、单体架构 顾名思义一个软件系统只部署在一台服务器上。 ​ 在高并发场景中,比如电商项目,单台服务器往往难以支撑短时间内的大量请求,聪明的架构师想出了一个办法提高并发量:一台服务器不够就加一台&am…

Bottleneck、CSP、DP结构详细介绍

文章目录 前言一、BottleneckDarknetBottleneck 二、CSPCSP思想pp-picodet中的CSPLayer DP卷积 前言 本篇文章详细介绍了三种神经网络中常见的结构,bottleneck、CSP、DP,并附上了代码加深理解。 一、Bottleneck Bottleneck出现在ResNet50/101/152这种…