淬体归元,运营商资源域元数据管理

news2024/11/16 12:02:21

资源元数据是通信行业资源管理业务开展的基础性支撑要素,它定义了资源业务领域相关概念、关系和规则,即各种设施、缆线、设备、链路等网络资源的规格、属性、字典及相关存储模型等信息。高质量的元数据是提升业务效率、加强管理与分析能力的必要条件,构建资源元数据数据体系是提升资源数据质量的关键基础性工作。

运营商在多年的业务发展过程中,对资源域元数据的管理和使用逐步累积以下问题:

标准不一,体系松散

  • 抽象归纳不足,对资源规格的划分定义不一,规格粒度大小不均

  • 规格、属性的业务定义不精确,含义相似相近现象存在

  • 对比行业规范存在一定程度的差异

汇聚机制不足,不利于健全完善元数据

  • 元数据随项目落地后日渐失联,形成信息孤岛

  • 元数据存在独立演进情况,缺乏收敛汇聚,产品元数据全面性难以保障

分析能力不强,问题难发现

  • 缺少元数据分析能力,对元数据中数据关系缺乏可视化探查手段,数据不透明

  • 缺少质量稽核手段,元数据配置信息异常易造成业务功能出问题

价值挖掘乏力,数据变现难

  • 除定义业务数据的基本用法之外,元数据在业务功能、数据服务、数据质量、数据迁移等方面的使用价值还有待深挖

一套基础稳定、体系完善、数据准确的元数据,是业务系统稳定运行的前提,对元数据的治理是一项常态化任务。

本文将从以下四个方面介绍资源域元数据的管理思路。

构建元数据体系,有脉可循

构建标准的资源元数据体系,将把运营商的网络资源数据全面变成数字资产,通过对资源数据的使用、加工与分析,为业务的经营与发展提供支撑,确保运营商的数据资产发挥其业务价值。

以行业规范为基础框架,结合已有元数据,以统一业务定义、统一物理模型、统一信息项为目标进行标准化整理,形成资源元数据标准体系。

元数据体系构建过程

元数据体系中规格的梳理:从点、线、网、标识做顶层抽象,逐级分解定义业务对象的大类、细类、规格体系,将运营商网络资源纳入体系中具体位置,覆盖所有资源应用需求。

元数据体系中业务属性的梳理:梳理各类业务属性的标准术语,比如设备名称、设备编码、安置地点、设备容量、设备型号等,对这些业务术语进行目录化、标准化。并将业务属性映射至对应物理库表字段,包括字段名称、字段编码、字段取值范围、是否主键、是否唯一、是否非空等。

元数据体系中模型的梳理:运用大类建模思路,保持大类主表的稳定,通过继承大类加扩展表的方式实现灵活扩展。使用主表+扩展表+纵表,通过元数据封装实现业务对象的存储,规格间的关系集中在大类的主表上,确保模型收敛性和扩展性的平衡。

元数据体系(大类-细类-规格-属性)

产品元数据体系,从规格、属性等层面,兼顾共性与个性需求,实现并存管理。规格层面有标准(规范)规格、产品(扩展)规格、(项目)私有规格;属性层面,又区分标准属性、产品属性、项目私有属性。建立形成以行业标准为核心,产品可扩展的稳健元数据体系(大类-细类-规格-属性)。

大类:以点、线、网、标识作为顶层,根据几何形态和功能作为大类划分的依据,形成网络资源的大类实体。

细类:根据功能和特性,对大类进一步稳定划分,用于目录化的管理业务对象,提升管理效率,降低管理难度。

元数据大类-细类划分

规格:具体业务对象,表述业务具体特征的内容,根据归属细类进行体系化管理。在规格的定义过程中,除去行业规范已有的标准规格之外,产品根据需求,在大类-细类的体系框架内,扩展补充相关业务对象的规格定义,满足生产管理的需要。

属性:业务对象的业务属性。分为三类:标准属性、产品属性、私有属性,标准属性是符合行业规范的属性,产品属性是不属于行业规范但又具备一定通用性的属性,私有属性则属于某个项目所私有,这些业务属性将按属性分类和性质分别存于不同的表(主表、扩展表、纵表)。

汇聚完善元数据,聚沙成塔

作为行业核心数据的资源域元数据分散于各生产系统中,需要将分散的元数据采集清洗融合完成汇聚,不断完善产品元数据核心资产。

汇聚完善元数据过程

采集:从不同数据源中获取已有元数据,包括规格、属性、字典值等数据;

清洗:分析采集的元数据,根据一些业务原则(是否在用、是否合理、是否退网等)对规格、属性、字典值等进行判断,清洗采集来的元数据,元数据去伪存精,剔除无效\无用数据;

融合:根据元数据的划分定义原则,对清洗之后的规格、属性等数据进行分析融合,包括识别同类规格进行归并,识别定义不合理的规格重新定义,识别相近含义的属性进行统一定义,对相近含义的字典类型和字典值合并统一等;

汇聚:通过不断的汇聚过程,实现元数据的完备性、全面性,最终形成产品统一全面的元数据体系。

元数据管理分析,明察秋毫

正如开篇所述,高质量的元数据是提升业务效率、加强管理与分析能力的必要条件。通过对元数据进行统一管理,元数据资产的可视化,数据关系的分析等手段,使产品元数据不断得以提升和保障。

元数据管理分析

资产视图,一览数据全貌

元数据资产视图从宏观层面组织信息,力求以管理视角对信息资产进行综合,全局展现资产的宏观信息,有效挖掘信息的潜在价值。

资产视图展现产品、各项目的元数据概览情况:

数据总体概览:展示产品、项目落地的规格数量、属性数量、重点规格引用情况;展示规格的分类占比情况,包括标准规格占比、产品规格占比、私有规格占比信息;

配置横向分析结果:对项目落地的规格、属性跟产品元数据的横向比较结果展示,展示规格属性的配置一致性情况;

数据质量评价:根据元数据稽核正常数、标准规格使用率、标准属性使用率等信息,对元数据情况进行定性评价,发现元数据配置的短板问题和优化内容,推进元数据整体质量提升。

血缘分析,探查数据关系

血缘分析可以让使用者根据需要了解元数据间的关系,每种关系的具体内容,产生什么样的输出。从某一资源规格出发,深入追踪其元数据的几种内在关系:

  • 分析规格与项目的引用关系,掌握规格被各项目的使用情况、与产品对比分析项目中规格属性的配置差异性;

  • 分析规格与规格的关系,发现规格间关系的缺失情况,识别元数据中的关系引用高频次规格;

  • 分析规格属性与业务标签、API的引用关系,挖掘属性和API的关联情况,判断属性对业务逻辑的影响程度,为属性配置调整提供重要参考。

质量管理,提升数据准确性

元数据的本质决定了其质量影响范围较大,元数据的业务类、技术类配置信息项较多,而且不少信息项都是关键性配置信息,这些信息要么影响实例数据质量、要么影响系统功能逻辑,通过数据稽核手段,及时发现问题,保障相关元数据配置的准确性。

元数据稽核是对元数据本身合法性等方面检查的过程,通过稽核规则和执行稽核来实现对数据属性、数据属性关系、数据表关系的检查。

通过元数据稽核规则发现元数据配置问题,并提供清晰的异常修复提示,方便管理人员通过管理能力快速修复元数据问题。

元数据稽核规则示例

元数据价值体现,“数”尽其用

稳健统一的元数据体系,有利于平台服务层、核心数据层的统一,在此基础上形成统一版本的生产系统,支撑上层规建营维优的应用建设。此处将探讨一些高质量元数据的使用价值,在实际的应用过程相信能够发现更多的可能性。

基础功能元数据驱动

资源的基础维护功能(查询、新增、修改等)可基于元数据驱动快速实现。规格属性是需要界面的控件展现,属性的UI形态各不一样,有文本框、下拉框、日期框、大文本框等各种不一样的输入元素,通过引用HandleBars语义模板库,可根据配置数据生成前端view来快速生成某业务对象管理界面的web模板,将这一整套实现机制封装形成产品的属性组件、查询组件等基础能力,通过属性、查询等基础组件利用元数据配置简化业务功能的开发。

元数据驱动生成基础功能

从需求到功能的转换,则只需两步:首先分析需求并整理元数据,通过元数据管理能力进行配置;然后业务侧应用通过组件加载配置数据,自动生成查询、增加、修改的功能界面。摆脱硬代码实现的传统模式,使业务对象的基础管理功能能够灵活快速实现。

数据服务元数据驱动

基于资源数据的能力共享要求,需要提供统一标准对外的数据服务和业务服务能力。以元数据驱动,通过配置手段可快速提供面向资源规格的CRUD基础数据服务。

数据服务的定义,数据服务中所需的各实体规格的属性选择,确定数据服务的入参、出参、关联条件所需的属性。

数据服务涉及的规格属性选择

数据服务中逻辑的组装,对数据服务中的关联条件,进行设置:

  • 建立规格间属性的关联关系,对关联条件定义外关联等约束。如下图①、②所示,将规格A的属性A与规格C的属性A建立“=”的关联关系,形成条件1;对③、④两个属性进行组装,形成条件2;根据逻辑要求,可继续形成关联条件N;

  • 后续再对条件1、条件2、条件N根据数据服务的逻辑需要进行条件间关系(与、或等组合)的进一步组装;

  • 组装的条件最终都会根据元数据属性存储配置翻译为数据库层面表字段的关联。

数据服务的条件组装

通过元数据驱动生成数据服务,根据业务需求配置相关的资源规格和业务属性的关系,降低数据服务的开发难度,数据服务的标准化也容易得以保障。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/605275.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

多线程安全的案例展示与解决方案

一、概念 1. 什么是线程安全 当多个线程访问一个对象时,如果不用考虑这些线程在运行时环境下的调度和交替执行,也不需要进行额外的同步,或者在调用方进行任何其他的协调操作,调用这个对象的行为都可以获得正确的结果&#xff0c…

为什么HTTPS是安全的?

在谈论 HTTPS 协议之前,先来回顾一下 HTTP 协议的概念。 1. HTTP 协议 1.1 HTTP 协议介绍 HTTP 协议是一种基于文本的传输协议,它位于 OSI 网络模型中的应用层。 HTTP 协议是通过客户端和服务器的请求应答来进行通讯,目前协议由之前的 RFC…

Java程序设计入门教程--成员变量

成员的分类 实例成员 实例成员是属于对象的,即属于对象级别,包括实例成员属性(也称为实例成员变量)和实例成员方法,只有创建了对象之后才能访问实例成员属性和实例成员方法。 类成员 类成员属于类的,类成…

Stable Diffusion学习笔记

文章目录 参考资料△ 安装与环境配置○ 安装Python 人工智能真是厉害。。。 我也不能落后 虽然前面pytorch还没有学完,但是热点总是在变的嘛,现在大模型和生成式AI这么火,我也来蹭蹭热度。 就从学习怎么用AIGC工具生成 老婆 纸片人开始吧 …

app的动态导航栏及自定义图标的开发

效果展示 我的代码 <template><div class"nav-container"><!-- 动态底部导航栏 start--><div class"nav-content"><van-tabbar style"background-image: linear-gradient(135deg, #EE9AE5 10%, #5961F9 100%) !import…

防火墙之流量管理

防火墙流量管理 原理概述&#xff1a; 防火墙&#xff08;英语&#xff1a;Firewall&#xff09;技术是通过有机结合各类用于安全管理与筛选的软件和硬件设备&#xff0c;帮助计算机网络于其内、外网之间构建一道相对隔绝的保护屏障&#xff0c;以保护用户资料与信息安全性的一…

【Python 文本分析】零基础也能轻松掌握的学习路线与参考资料

Python 常用的文本分析工具有很多&#xff0c;如 Natural Language Toolkit (NLTK)、TextBlob、spaCy、Jieba等。本文将分别介绍这些工具及其对应的学习路线、参考资料和优秀实践。 Natural Language Toolkit (NLTK) Natural Language Toolkit (NLTK) 是 Python 中文本分析研…

记一次Java生成SQL脚本文件换行格式为window/unix的笔记

今天在做一个SQL脚本文件生成需求&#xff0c;其中&#xff0c;需要设置&#xff1a; 文件编码为&#xff1a;UTF-8文件换行格式为&#xff1a;UNIX UTF-8这个好说&#xff0c;因为java代码可以指定文件编码&#xff0c;如&#xff1a; 但是Unix换行格式就很神奇了&#xff0…

职场恶霸00后,看完这篇你就知道了

在程序员职场上&#xff0c;什么样的人最让人反感呢? 是技术不好的人吗?并不是。技术不好的同事&#xff0c;我们可以帮他。 是技术太强的人吗?也不是。技术很强的同事&#xff0c;可遇不可求&#xff0c;向他学习还来不及呢。 真正让人反感的&#xff0c;是技术平平&#x…

032:Mapbox GL实现卷帘功能,可开启、关闭

第032个 点击查看专栏目录 本示例的目的是介绍演示如何在vue+mapbox中实现地图卷帘功能,这里可以设置开启、关闭卷帘。根据参数的不同,可以配置相关的功能,请参考底部的API信息。本示例比较重要的一点是要知道如何引用mapbox-gl-compare插件。 直接复制下面的 vue+mapbox源…

SpringData 进阶篇-上

SpringData 一&#xff1a;背景介绍二&#xff1a;XML配置 与JavaConfig配置2.1 XML配置2.1.1 配置文件2.1.2 具体使用 2.2 JavaConfig配置2.2.1 配置类2.2.2 具体使用&#xff1a; 三&#xff1a;SpringDataJpa的CRUD3.1 接口代码3.2 具体使用3.3 其它方法3.4 分页方法 四&am…

【数据集处理】中国地面气候资料日值数据集(V3.0)

1 数据集介绍-中国地面气候资料日值数据集(V3.0) 中国地面气候资料日值数据集(V3.0)包含以下气象数据资料(包括降水、气温、风速等)。 2 数据处理 以湿度数据(RHU) 处理为例,数据文件如下: 2.1 步骤1:从文件中提取数据 首先提取所有需要的有效信息,查看【数据表格…

sql_server数据库入门学习(二)

&#x1f3ac; 博客主页&#xff1a;博主链接 &#x1f3a5; 本文由 M malloc 原创&#xff0c;首发于 CSDN&#x1f649; &#x1f384; 学习专栏推荐&#xff1a;LeetCode刷题集&#xff01; &#x1f3c5; 欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; 如有错误敬请指…

Java程序设计入门教程--创建对象

目录 声明对象 声明对象的格式 声明对象的作用 建立对象 创建一个对象 初始化对象 当我们创建了一个类&#xff0c;就等同于我们创建了一种新的数据类型&#xff0c;你可以像使用基本数据类型一样地使用类。 类定义好之后&#xff0c;我们将用该类定义一个实例&am…

【从零开始进行高精度手眼标定 eye in hand(小白向)2 Tsai轴角法与四元数法编程实现】

从零开始进行高精度手眼标定 eye in hand&#xff08;小白向&#xff09;2 Tsai轴角法与四元数法编程实现 前言Tsai标定方法原理推导轴角方法原理matlab编程实现 四元数方法原理matlab编程实现 前言 最近由于组内的相关工作需求&#xff0c;需要进行机器人的高精度标定。原始的…

Redis的常用数据结构之集合类型

集合元素的特点 集合中的元素无序&#xff0c;不可以重复无法通过某一个下标的方式获取元素单个集合最多可以存储2的32次方-1个元素redis支持对集合取交集&#xff08;共同兴趣点&#xff09;、并集&#xff08;两个开发团队擅长什么&#xff09;、差集 单个集合中的操作指令…

系统架构设计师教程(第2版)

系统架构设计师教程&#xff08;第2版&#xff09;作为全国计算机技术与软件专业技术资格&#xff08;水平&#xff09;考试指定用书&#xff0c;系统地介绍了系统架构设计师的基本要求&#xff0c;应具备的基础知识和需要掌握的知识。 全书分上、下两篇&#xff0c;共计 20 章…

Qt Quick系列(6)—动画

&#x1f680;作者&#xff1a;CAccept &#x1f382;专栏&#xff1a;Qt Quick 文章目录 前言1、简单动画代码示例 2、应用动画代码示例相关知识点 3、缓动曲线代码示例相关知识点 4、动画分组代码示例 5、嵌套动画代码示例 6、状态转换代码示例相关知识点 结语 前言 欢迎来…

安卓进阶(一)App性能优化

文章目录 性能优化的目的及方向流畅性启动速度页面显示速度响应速度 稳定性ANRCrash 资源节省性 布局优化选择耗费性能较少的布局减少布局的层级&#xff08;嵌套&#xff09;使用布局标签尽量少用布局属性wrap_contentincludemergeinclude与merge的区别ViewStub 内存泄露常见内…

计算机网络实验:交换机的Telnet远程登录配置

目录 前言实验目的实验内容实验过程画出拓扑图设置IP3&#xff0c;给交换机设IP&#xff0c;实际上相当于给VLAN 1 这个接口设置IP4&#xff0c;连网线5&#xff0c;测试网络是否连通6&#xff0c;通过telnet去管理配置交换机交换机的密码2、console密码3、telnet密码 总结 前言…