资源元数据是通信行业资源管理业务开展的基础性支撑要素,它定义了资源业务领域相关概念、关系和规则,即各种设施、缆线、设备、链路等网络资源的规格、属性、字典及相关存储模型等信息。高质量的元数据是提升业务效率、加强管理与分析能力的必要条件,构建资源元数据数据体系是提升资源数据质量的关键基础性工作。
运营商在多年的业务发展过程中,对资源域元数据的管理和使用逐步累积以下问题:
标准不一,体系松散
-
抽象归纳不足,对资源规格的划分定义不一,规格粒度大小不均
-
规格、属性的业务定义不精确,含义相似相近现象存在
-
对比行业规范存在一定程度的差异
汇聚机制不足,不利于健全完善元数据
-
元数据随项目落地后日渐失联,形成信息孤岛
-
元数据存在独立演进情况,缺乏收敛汇聚,产品元数据全面性难以保障
分析能力不强,问题难发现
-
缺少元数据分析能力,对元数据中数据关系缺乏可视化探查手段,数据不透明
-
缺少质量稽核手段,元数据配置信息异常易造成业务功能出问题
价值挖掘乏力,数据变现难
-
除定义业务数据的基本用法之外,元数据在业务功能、数据服务、数据质量、数据迁移等方面的使用价值还有待深挖
一套基础稳定、体系完善、数据准确的元数据,是业务系统稳定运行的前提,对元数据的治理是一项常态化任务。
本文将从以下四个方面介绍资源域元数据的管理思路。
构建元数据体系,有脉可循
构建标准的资源元数据体系,将把运营商的网络资源数据全面变成数字资产,通过对资源数据的使用、加工与分析,为业务的经营与发展提供支撑,确保运营商的数据资产发挥其业务价值。
以行业规范为基础框架,结合已有元数据,以统一业务定义、统一物理模型、统一信息项为目标进行标准化整理,形成资源元数据标准体系。
元数据体系构建过程
元数据体系中规格的梳理:从点、线、网、标识做顶层抽象,逐级分解定义业务对象的大类、细类、规格体系,将运营商网络资源纳入体系中具体位置,覆盖所有资源应用需求。
元数据体系中业务属性的梳理:梳理各类业务属性的标准术语,比如设备名称、设备编码、安置地点、设备容量、设备型号等,对这些业务术语进行目录化、标准化。并将业务属性映射至对应物理库表字段,包括字段名称、字段编码、字段取值范围、是否主键、是否唯一、是否非空等。
元数据体系中模型的梳理:运用大类建模思路,保持大类主表的稳定,通过继承大类加扩展表的方式实现灵活扩展。使用主表+扩展表+纵表,通过元数据封装实现业务对象的存储,规格间的关系集中在大类的主表上,确保模型收敛性和扩展性的平衡。
元数据体系(大类-细类-规格-属性)
产品元数据体系,从规格、属性等层面,兼顾共性与个性需求,实现并存管理。规格层面有标准(规范)规格、产品(扩展)规格、(项目)私有规格;属性层面,又区分标准属性、产品属性、项目私有属性。建立形成以行业标准为核心,产品可扩展的稳健元数据体系(大类-细类-规格-属性)。
大类:以点、线、网、标识作为顶层,根据几何形态和功能作为大类划分的依据,形成网络资源的大类实体。
细类:根据功能和特性,对大类进一步稳定划分,用于目录化的管理业务对象,提升管理效率,降低管理难度。
元数据大类-细类划分
规格:具体业务对象,表述业务具体特征的内容,根据归属细类进行体系化管理。在规格的定义过程中,除去行业规范已有的标准规格之外,产品根据需求,在大类-细类的体系框架内,扩展补充相关业务对象的规格定义,满足生产管理的需要。
属性:业务对象的业务属性。分为三类:标准属性、产品属性、私有属性,标准属性是符合行业规范的属性,产品属性是不属于行业规范但又具备一定通用性的属性,私有属性则属于某个项目所私有,这些业务属性将按属性分类和性质分别存于不同的表(主表、扩展表、纵表)。
汇聚完善元数据,聚沙成塔
作为行业核心数据的资源域元数据分散于各生产系统中,需要将分散的元数据采集清洗融合完成汇聚,不断完善产品元数据核心资产。
汇聚完善元数据过程
采集:从不同数据源中获取已有元数据,包括规格、属性、字典值等数据;
清洗:分析采集的元数据,根据一些业务原则(是否在用、是否合理、是否退网等)对规格、属性、字典值等进行判断,清洗采集来的元数据,元数据去伪存精,剔除无效\无用数据;
融合:根据元数据的划分定义原则,对清洗之后的规格、属性等数据进行分析融合,包括识别同类规格进行归并,识别定义不合理的规格重新定义,识别相近含义的属性进行统一定义,对相近含义的字典类型和字典值合并统一等;
汇聚:通过不断的汇聚过程,实现元数据的完备性、全面性,最终形成产品统一全面的元数据体系。
元数据管理分析,明察秋毫
正如开篇所述,高质量的元数据是提升业务效率、加强管理与分析能力的必要条件。通过对元数据进行统一管理,元数据资产的可视化,数据关系的分析等手段,使产品元数据不断得以提升和保障。
元数据管理分析
资产视图,一览数据全貌
元数据资产视图从宏观层面组织信息,力求以管理视角对信息资产进行综合,全局展现资产的宏观信息,有效挖掘信息的潜在价值。
资产视图展现产品、各项目的元数据概览情况:
数据总体概览:展示产品、项目落地的规格数量、属性数量、重点规格引用情况;展示规格的分类占比情况,包括标准规格占比、产品规格占比、私有规格占比信息;
配置横向分析结果:对项目落地的规格、属性跟产品元数据的横向比较结果展示,展示规格属性的配置一致性情况;
数据质量评价:根据元数据稽核正常数、标准规格使用率、标准属性使用率等信息,对元数据情况进行定性评价,发现元数据配置的短板问题和优化内容,推进元数据整体质量提升。
血缘分析,探查数据关系
血缘分析可以让使用者根据需要了解元数据间的关系,每种关系的具体内容,产生什么样的输出。从某一资源规格出发,深入追踪其元数据的几种内在关系:
-
分析规格与项目的引用关系,掌握规格被各项目的使用情况、与产品对比分析项目中规格属性的配置差异性;
-
分析规格与规格的关系,发现规格间关系的缺失情况,识别元数据中的关系引用高频次规格;
-
分析规格属性与业务标签、API的引用关系,挖掘属性和API的关联情况,判断属性对业务逻辑的影响程度,为属性配置调整提供重要参考。
质量管理,提升数据准确性
元数据的本质决定了其质量影响范围较大,元数据的业务类、技术类配置信息项较多,而且不少信息项都是关键性配置信息,这些信息要么影响实例数据质量、要么影响系统功能逻辑,通过数据稽核手段,及时发现问题,保障相关元数据配置的准确性。
元数据稽核是对元数据本身合法性等方面检查的过程,通过稽核规则和执行稽核来实现对数据属性、数据属性关系、数据表关系的检查。
通过元数据稽核规则发现元数据配置问题,并提供清晰的异常修复提示,方便管理人员通过管理能力快速修复元数据问题。
元数据稽核规则示例
元数据价值体现,“数”尽其用
稳健统一的元数据体系,有利于平台服务层、核心数据层的统一,在此基础上形成统一版本的生产系统,支撑上层规建营维优的应用建设。此处将探讨一些高质量元数据的使用价值,在实际的应用过程相信能够发现更多的可能性。
基础功能元数据驱动
资源的基础维护功能(查询、新增、修改等)可基于元数据驱动快速实现。规格属性是需要界面的控件展现,属性的UI形态各不一样,有文本框、下拉框、日期框、大文本框等各种不一样的输入元素,通过引用HandleBars语义模板库,可根据配置数据生成前端view来快速生成某业务对象管理界面的web模板,将这一整套实现机制封装形成产品的属性组件、查询组件等基础能力,通过属性、查询等基础组件利用元数据配置简化业务功能的开发。
元数据驱动生成基础功能
从需求到功能的转换,则只需两步:首先分析需求并整理元数据,通过元数据管理能力进行配置;然后业务侧应用通过组件加载配置数据,自动生成查询、增加、修改的功能界面。摆脱硬代码实现的传统模式,使业务对象的基础管理功能能够灵活快速实现。
数据服务元数据驱动
基于资源数据的能力共享要求,需要提供统一标准对外的数据服务和业务服务能力。以元数据驱动,通过配置手段可快速提供面向资源规格的CRUD基础数据服务。
数据服务的定义,数据服务中所需的各实体规格的属性选择,确定数据服务的入参、出参、关联条件所需的属性。
数据服务涉及的规格属性选择
数据服务中逻辑的组装,对数据服务中的关联条件,进行设置:
-
建立规格间属性的关联关系,对关联条件定义外关联等约束。如下图①、②所示,将规格A的属性A与规格C的属性A建立“=”的关联关系,形成条件1;对③、④两个属性进行组装,形成条件2;根据逻辑要求,可继续形成关联条件N;
-
后续再对条件1、条件2、条件N根据数据服务的逻辑需要进行条件间关系(与、或等组合)的进一步组装;
-
组装的条件最终都会根据元数据属性存储配置翻译为数据库层面表字段的关联。
数据服务的条件组装
通过元数据驱动生成数据服务,根据业务需求配置相关的资源规格和业务属性的关系,降低数据服务的开发难度,数据服务的标准化也容易得以保障。