在 DataOps 体系建设中,主动元数据是何角色?

news2024/11/15 21:25:04

首先,主动元数据是相对静态元数据而言,它是一种动态、智能化的元数据管理技术,能够将传统静态元数据的被动等待变为实时在线、主动触发,推动数据探查、开发、测试、部署、运维和监控等数据治理工作高效运转,为数据的治理开发决策提供智能化支持。

Gartner 将主动元数据定义为“是对所有可用的用户、数据管理、系统/基础设施和数据治理实践报告的持续分析,以确定数据设计与实际情况是否对齐或出现异常情况”。

在 Aloudata 看来,主动元数据强调更深度更持续的数据理解,不只理解数据的 Schema、产出时间等基础信息,更多是要理解数据背后的加工口径、业务主体、汇总粒度及如何正确使用等;强调更主动的元数据服务,不再在遇到数据使用及管理问题时,被动等待用户去数据目录检索信息,而是主动提供设计建议,抑或是可被系统执行的指令;强调与数据工具主动集成,贯穿数据生产、消费和协作的各个环节,为用户提供智能化建议,以实施更主动的数据治理策略。

其次,提到 DataOps,从 2018 年 Gartner 将 DataOps 纳入到数据管理技术成熟度曲线中,便标志着 DataOps 正式被业界所接纳并推广起来。Gartner 认为,DataOps 是“一种协作式数据管理实践,专注于改善整个组织内数据管理者和数据使用者之间数据流的沟通、集成和自动化”,其目标是“通过对数据、数据模型和相关工序创建可预测的交付和变更管理,更快地交付价值。” 

异曲同工,在 2024 年中国信通院发布 2.0 版本的《DataOps 实践指南》中,将 DataOps 定义为“数据研发运营 体化”,是一种数据开发的新范式,将敏捷、精益等理念融入数据开发过程,通过对数据相关人员、工具和流程的重新组织,打破协作壁垒,构建集开发、治理、运营于一体的自动化数据流水线,不断提高数据产品交付效率与质量,实现高质量数字化发展。

从上述定义中,不难发现,无论是 Gartner还是信通院,都认为 DataOps 的价值主张在于通过“端到端打通数据流水线,打破“点对点”的低效数据协作流程,实现“手递手”的数据价值释放。

具体来看的话,DataOps 体系建设要解决的是当下企业数据开发和消费中广泛存在的“数据协同难、数据管理难、数据交付难”的挑战,更多的是站在数据交付的视角,思考如何赋能 ETL 工程师、数据架构师、数据管理员和相关上下游角色,快速高效完成工作,提升整体数据交付效率和交付质量。DataOps 体系不仅需要考虑现有各个数据开发、运维和管理平台如何实现一站式、一体化建设,还需要找到通往自动化、智能化的方向发展路径,保障整个数据平台的高可用性和连续性,最终达到“效率”和“管理”的兼顾与平衡。

再深一层看,要落地 DataOps 体系,需要构建“工作流、数据流和控制流”三层架构。工作流涵盖数据探查、开发、测试、部署、运维和监控等各个活动,数据流涵盖数据从入湖仓、加工、流转到出湖仓进入各个应用场景的完整链路,控制流作为 DataOps 体系的感知决策中心,驱动工作流、数据流敏捷流转和持续迭代。

构建 DataOps 控制流,需要实时采集、解析和分析 DataOps 体系中各项元数据信息,因此需要元数据从“被动”切换为“主动”,主动元数据便成为企业构建 DataOps 体系的新支点,而主动元数据平台是企业建设 DataOps 体系的基础能力和必备平台。

针对于此,Aloudata 推出的自主研发的主动元数据平台——Aloudata BIG,具有全球独创的算子级血缘解析技术,能够自动构建精细、准确、全面、实时的数据血缘图谱,彻底改变过往元数据不准确、不连通、不精细、不保鲜的顽疾,“让元数据能用起来”,可作为企业内统一的元数据中心和 DataOps 体系的控制中心,驱动企业 DataOps 体系实现主动数据管理和敏捷数据协同

 

  • 极致精准:独创算子级血缘技术,实现数据血缘解析准确率 99% 以上,看清一切细节
  • 全域联通:自动采集解析包括库、表、列、报表、模型、标签、脚本等一切元数据信息,形成相互关联的元数据图谱,让数据处理和流转的每一个环节都能被精准追溯和刻画
  • 行级裁剪:常用公共表或指标表等 Hub 表会导致血缘繁华,行级裁剪可依据上下游的表列元数据信息动态精准过滤无关血缘
  • 主动智能:强大的元数据策略服务引擎,实时捕获各类事件,系统主动分析预警,让“人盯人”变为“事盯人”
  • 统一服务:丰富的元数据采集器和反向元数据 API,实现 DataOps 体系元数据的“一次采集,处处服务”

在高度复杂的数据开发和消费环境中,Aloudata BIG 已帮助招商银行逐步推进 DataOps 体系建设不仅将现有血缘图谱升级为算子级血缘图谱,实现 99% 的血缘解析准确率,更实现了元数据应用智能化、链路保障自动化和架构治理长效化,推动数仓快速实现资产数量下降 40%、平均链路缩短 50%。如您对主动元数据和 DataOps 体系建设感兴趣,欢迎访问 Aloudata 官网,了解更多。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2086215.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

springWeb介绍、以及SpringWeb的搭建

ssm框架 早期 ssm springstrtuts2mybatis 现在 ssm springspringwebmybatis springweb运行流程 1、SpringWeb概述 SpringWeb是spring框架中的一个模块,基于Servlet API构建的web框架,springweb是Spring为web层开发提供的一套完备的解决方案。在we…

Java毕业设计 基于SSM校园心理咨询服务平台

Java毕业设计 基于SSM校园心理咨询服务平台 SSM 校园心理咨询服务平台 功能介绍 学生: 注册 登录 首页 心理测试 心理文章 心理导师 在线交流 关于我们 搜索 学生中心 我的咨询问题 我的测试结果 我的预约 我的发言 我的收藏 账户信息 教师:登录 发布文…

Linux——nginx 负载均衡

常规的web服务器一般提供对于静态资源的访问,比如说:图片、web样式 网站提供的大部分交互功能都需要web编程语言的支持,而web服务对于程序的调用,不管编译型语言还是解释型语言,web服务同将对于应用程序的调用递交给通…

音频变声怎么弄?(实测好用)快来试试这6个AI变声工具

音频变声怎么弄?随着短视频平台和社交平台的发展,很多小伙伴们会自己拍摄视频分享到平台上,还有一些视频创作者会制作有趣的视频吸引观众。而视频配音就是锦上添花,很多人觉得自己的声音不好听,想要实现录音音频变声&a…

结合ollama gemma2:2b大模型来实现数据分析系统的智能交互

在最近的人员风险行为分析系统开发过程中,需要解决一个问题:在缺乏GPU资源的情况下,如何提升智能交互能力。​我们探索并研究了集成gemma2:2b模型的可行性,这一举措旨在在有限的硬件条件下,为我们的系统注入更高级别的…

如何理解进程

一、进程的概念 进程:顾名思义,就是一个完整执行程序的过程。没错,就是这么简单,但是在程序执行的过程之中,系统会为这个执行的程序分配内存资源,这些过程也包含在进程当中。 进程是动态的,是程…

css-50 Projects in 50 Days(2)

html <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>步骤条</title><link rel"style…

基于混沌麻雀搜索算法的光伏MPPT控制MATLAB仿真

微❤关注“电气仔推送”获得资料&#xff08;专享优惠&#xff09; 模型简介 此模型主要研究光伏系统MPPT控制&#xff0c;通过将麻雀搜索算法引入至MPPT控制策略中&#xff0c;在模型中通过改变光照强度&#xff0c;来验证算法引入的有效性。模型中包含麻雀搜索算法MPPT与混…

单链表——随机链表的复制

深拷贝&#xff0c;就是将原链表彻底的拷贝&#xff0c;当我们观察这个链表时我们会发现&#xff0c;val与next都比较好拷贝&#xff0c;难点就是在random的拷贝&#xff0c;因为我们需要知被拷贝的节点的random指向的是哪个&#xff0c;所以我们很容易想到的方法就是从头遍历链…

从开题到答辩:ChatGPT超全提示词分享!(上)【建议收藏】

在浩瀚的知识领域中&#xff0c;提问的艺术是探索真理的钥匙。在这个信息爆炸的时代&#xff0c;深入探索知识的海洋&#xff0c;不仅需要热情和毅力&#xff0c;更需要正确的方法和工具。学术研究是一个复杂而严谨的过程&#xff0c;涉及从选题、文献综述到研究设计、数据收集…

网络层,数据链路层和应用层

1.网络层 网络层最主要的协议就是IP协议。 下图是IP协议的格式&#xff1a; 1.1 IP协议解析 &#xff08;1&#xff09;4位版本&#xff1a; 有两种&#xff1a;IPV4&#xff08;IP地址4个字节大小&#xff09;和IPV6&#xff08;IP地址16个字节大小&#xff09; &#xf…

推荐系统实战(八)-冷启动(上)

一、冷启动基本描述 &#xff08;一&#xff09;冷启动与新用户新物料 冷启动针对的是对缺少消费记录的新用户、新物料的推荐。 新用户不仅包含初次使用应用的用户&#xff0c;还包含安装很久但是处于低活跃状态的用户。 &#xff08;二&#xff09;部分经典算法无法支持新…

2024年【安全员-C证】新版试题及安全员-C证复审模拟考试

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 2024年【安全员-C证】新版试题及安全员-C证复审模拟考试&#xff0c;包含安全员-C证新版试题答案和解析及安全员-C证复审模拟考试练习。安全生产模拟考试一点通结合国家安全员-C证考试最新大纲及安全员-C证考试真题汇…

二叉搜索树进阶之红黑树

前言&#xff1a; 在上文我们已经学习了AVL树的相关知识以及涉及的四种旋转的内容&#xff0c;但是AVL树追求平衡导致旋转操作过多&#xff0c;一些情况下影响性能&#xff0c;由此我们就来了解一下二叉搜索树的另外一个分支&#xff0c;红黑树。 &#xff08;倘若对旋转知识…

詹娜奥尔特加看到自己青少年时期露骨AI照片后删除了推特:“这太恶心了”

詹娜奥尔特加看到自己青少年时期露骨AI照片后删除了推特&#xff1a;“这太恶心了” 2024-08-25 23:07 发布于&#xff1a;河北省 21 岁的奥尔特加承认她仍在学习如何保护自己&#xff0c;一种有帮助的方法是“尽可能避免使用手机”。 这位女演员表示&#xff0c;看到“剪…

算法: 双指针

题目&#xff1a;环形链表 题目讲解&#xff1a; 判断环 要判断链表是否有环&#xff0c;可以使用快慢指针的方法。快指针每次走两步&#xff0c;慢指针每次走一步。如果链表有环&#xff0c;快慢指针最终会相遇&#xff1b;如果没有环&#xff0c;快指针会先到达链表末尾。 …

该部署公钥无权限拉代码

从阿里云云效的代码库中执行git pull时报错如下&#xff1a; git pull该部署公钥无权限拉代码 fatal: Could not read from remote repository.Please make sure you have the correct access rights and the repository exists.原因是该代码库在云效上未启用密钥&#xff0c;…

【Material-UI】Select 组件中的 `Auto width`、`Small Size` 和 `Other Props` 详解

文章目录 一、Select 组件概述1. 组件介绍2. Select 组件的基本结构 二、Auto width 属性详解1. Auto width 的作用2. Auto width 属性的基本用法3. Auto width 的实际应用场景 三、Small Size 属性详解1. Small Size 的作用2. Small Size 属性的基本用法3. Small Size 的实际应…

三分钟总结开源流程表单的优势特点

实现流程化办公&#xff0c;可以借助低代码技术平台、开源流程表单的优势特点。作为当前较为理想的平台产品&#xff0c;低代码技术平台凭借够灵活、好操作、可视化界面的优势特点&#xff0c;得到了通信业、医疗、高校等很多行业客户朋友的喜爱与支持。今天一起来看看开源流程…

vue2.0纯前端预览附件方法汇总

vue2.0纯前端预览附件方法汇总 一、使用iframe预览1.使用 Office 在线查看器2.XDOC文档预览服务XDOC官网地址:[https://view.xdocin.com/](https://view.xdocin.com/) 二、vue-office具体效果可以参考: [https://501351981.github.io/vue-office/examples/dist/#/docx](https:/…