大数据质量管制规范示例

news2024/11/13 14:47:44

大数据质量管制规范示例

  • 一、前提概要
  • 二、相关概念
  • 三、管理原则
  • 四、治理委员
  • 五、应用管理
  • 六、查验方式
  • 七、考核比率
  • 八、扣分标准
  • 九、责任划分
  • 十、追责范围
  • 十一、其它条例
  • 十二、总结

一、前提概要

在当今大数据信息时代,大数据平台(大数据平台开发规范示例)和大数据仓库(大数据仓库开发规范示例)的开发规范已成为组织和企业管理决策的重要基础。

随着数据量的不断增长和数据应用的广泛应用,确保数据质量成为了一个至关重要的问题。因此,有必要制定数据质量规范化管理制度来规范数据质量的管理和保证。

在这里插入图片描述

二、相关概念

  • 应用系统:是按照信息一体化的要求,用于处理我司经营管理的应用软件系统。
  • 数据:是指公司实施信息化管理过程中产生的所有电子数据。
  • 数据质量:是指数据的及时性、完整性以及准确性。

三、管理原则

数据质量管理应遵循以下原则:

  • 统一规范原则,各类应用系统采集和处理的数据,应符合各自应用系统所要求的数据标准。
  • 层级考核原则,各个业务信息系统对各自的数据质量管理工作进行严格的目标管理考核。

同时,数据质量应遵循真实、完整、规范、及时的原则:

  • 真实:应严格依据经营管理原始数据所记载的内容准确录入相关数据,如实反映,不得随意修改、增减。
  • 完整:要按照各类应用系统的有关要求进行数据采集,保证数据齐全,避免数据的缺失。
  • 规范:数据采集应按照应用软件系统的相关标准进行。
  • 及时:数据要在规定的时间内采集,确保应用系统数据及时反映经营管理实际。

四、治理委员

数据治理委员会是公司数据质量管理的牵头部门,主要负责:

  • 制定公司的数据质量管理的相关规章制度。
  • 对各应用系统管理部门的履职情况进行考核、监督。
  • 根据需要,参与对公司各应用系统数据质量管理的检查监督。
  • 对违反数据质量管理规定,造成数据错误、失真、延误、漏填等违规行为进行问责。
  • 向高管层报告我司数据质量管理执行情况。

五、应用管理

应用系统的管理部门,负责管理各自的应用系统,是本应用系统数据质量的主责任人,主要负责:

  • 贯彻落实公司制定的数据质量管理的相关规章制度。
  • 制定本应用系统录入、维护、审核的基本标准和规范性要求,并适时开展检查监督,保障数据管理符合规范性要求。
  • 制定本应用的数据质量监控指标体系,定期对本级数据质量评估分析,及时解决数据质量管理中出现的问题。
  • 提交本应用系统数据质量管理报告。

六、查验方式

数据检查采取应用系统使用部门自查和应用系统管理部门检查的方式。数据检查的方法有:

  • 在业务软件使用过程中对数据库中已有数据进行检查。
  • 用数据质量检查工具进行检查。
  • 抽取源表与ODS层数据进行对比。
  • 其它数据检查的方法。

检查的内容:

  • 数据的处理是否及时、正确、全面。
  • 数据的抽取是否规范、及时。

七、考核比率

考核的比率指标是:

  • 信息采集率:已经采集进入应用系统的信息与应该采集进入应用系统信息的比率。
  • 信息采集准确率:录入应用系统的正确信息与录入的所有信息的比率。
  • 信息传输及时率:规定时期内传输的信息与检查期限内所有传输信息的比率。
  • 信息处理率:考核期内处理的符合规定的信息与考核期内处理的所有信息的比率。

八、扣分标准

数量指标是指分级列出问题数据的数量,根据问题的严重程度,确定扣分标准,进行扣分。根据数据的重要程度具体分为四级:

  • 只影响数据本身的完整性而不影响其他数据。
  • 只影响本工作环节质量。
  • 不仅影响本工作环节质量,而且影响后面工作环节数据处理质量。
  • 数据质量错误造后面工作无法处理或无法工作。

九、责任划分

数据质量责任划分:

  • 数据采集的责任部门即为数据质量的责任部门。
  • 从数据库后台记录中确认的数据录入人员是数据质量的直接责任人。
  • 将自己的用户名、密码提供给他人使用,或因保管不善导致他人盗用、冒用用户名、密码的,用户名所有者是数据质量责任人。

十、追责范围

数据质量责任追究范围:

  • 因数据质量问题导致统计数据不能生成或生成错误的。
  • 因数据质量问题导致其他部门工作不能正常开展的。
  • 因数据质量问题影响经营决策行为的及时性、正确性的。
  • 因数据质量问题损害客户合法权益的。
  • 因数据质量问题造成财产、声誉损失的。

十一、其它条例

  • 数据维护是按照应用系统的有关规定对错误的数据进行数据修改的行为。
  • 数据维护由各应用系统管理部门按照各自应用系统的有要求,明确数据维护的权限和职责,制定数据维护的程序。凡是采集进入应用系统的数据,不得擅自修改、删除。
  • 数据维护前应做好相应数据和系统的备份工作。能够通过系统模块解决的,经过审批后按照各类应用系统的操作规范进行维护。需要通过技术手段解决的,由责任人提出申请,由相关业务部门和技术部门审核确认,经主管行领导审批同意后,方可进行数据维护。
  • 数据维护工作应严格备案,科技信息部对各应用系统管理部门报送的每项数据维护的时间、内容、维护原因、责任人等记录进行备案,涉及的书面材料必须登记存档。
  • 数据维护人员在进行数据维护时,必须认真负责,避免在数据维护过程中产生新的错误数据。
  • 数据检查是按照有关应用系统数据管理规定对数据及时性、完整性以及准确性进行的数据质量检查的行为。
  • 应用系统使用部门在业务软件使用过程中发现错误数据,必须及时告知相应的数据抽取的责任人或部门进行维护。

十二、总结

数据质量规范化管理制度可以帮助组织识别和解决数据质量问题。通过明确数据质量的标准和指标,并建立相应的数据质量监控机制,可以及时发现数据质量异常,并采取相应的纠正措施,以确保数据质量符合要求。

总而言之,梳理数据质量规范化管理制度是为了确保数据质量,从而提高决策的科学性、客户满意度、业务流程优化以及法规合规要求的满足。这对于组织和企业的长期发展具有重要意义。

规范示例仅作为参考,实施过程中需要根据组织架构、业务要求和应用场景进行调整适配。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1398624.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【ChatGPT】利用ChatGPT将图片转换成JSON文件

前言 我在创建自己的GPT时,通常会上传一些JSON文件作为知识库,我还制作了一些脚本工具,将PDF文件转换成JSON文件。但是在这个过程中产生一个问题,PDF文件中会有一些图表,JSON文件就不能存储和表达这些图表的内容了。那该怎么办呢?这里跟大家介绍一个方法,可以有效地将图…

【论文笔记】Fully Sparse 3D Panoptic Occupancy Prediction

原文链接:https://arxiv.org/abs/2312.17118 1. 引言 现有的3D占用预测方法建立密集的3D特征,没有考虑场景的稀疏性,因此难以满足实时要求。此外,这些方法仅关注语义占用,无法区分实例。 本文认为场景的稀疏性包含两…

查询指定日期是否为法定工作日的服务接口

在现代社会中,人们的工作与生活节奏日益加快,为了更好地规划工作与休息时间,在开发应用软件时,通过查询指定日期是否为法定工作日的服务接口是一个非常有用的功能。本文将介绍一个API接口,可以根据国家的放假安排来判断…

Schema Builder - Salesforce的图形化工具

Schema Builder这个工具最近几年接触Salesforce的宝们用到的很少,这里给大家简单介绍下: 1. Schema Builder是一个动态的环境,在这个环境里管理员能查看或更改组织内对象及对象之间的关联关系;如果一开始接触CRM可以通过这个图形…

JVM:垃圾收集器(7种)

垃圾收集器关系图: 如果两个收集器之间存在连线,就说明它们可以搭配使用。它们说在的区域则表示这个收集器属于新生代收集器还是老年代收集器。其中Serial(串行)、Parallel(并行) 1、Serial收集器 Serial收…

F - Digital Roots HUOJ

题目 The digital root of a positive integer is found by summing the digits of the integer. If the resulting value is a single digit then that digit is the digital root. If the resulting value contains two or more digits, those digits are summed and the pro…

Spring Boot 学习之——@SpringBootApplication注解(自动注解原理)

SpringBootApplication注解 springboot是基于spring的新型的轻量级框架,最厉害的地方当属**自动配置。**那我们就可以根据启动流程和相关原理来看看,如何实现传奇的自动配置 SpringBootApplication//标注在某个类上,表示这个类是SpringBoot…

大数据开发之Kafka(broker、消费者、eagle监控、kraft模式)

第 4 章:Kafka Broker 4.1 Kafka Broker工作流程 4.1.1 Zookeeper存储的Kafka的信息 1、查看zookeeper中的kafka节点所存储的信息 启动Zookeeper客户端 [atguiguhadoop104 zookeeper-3.5.7]$ bin/zkCli.sh 通过ls命令列出kafka节点内容 [zk: localhost:2181(CO…

Docker(六)数据管理

作者主页: 正函数的个人主页 文章收录专栏: Docker 欢迎大家点赞 👍 收藏 ⭐ 加关注哦! Docker 数据管理 这一章介绍如何在 Docker 内部以及容器之间管理数据,在容器中管理数据主要有两种方式: 数据卷&…

【Java】JDBC练习

JDBC练习 环境准备 -- 删除tb_brand表 drop table if exists tb_brand; -- 创建tb_brand表 create table tb_brand (-- id 主键id int primary key auto_increment,-- 品牌名称brand_name varchar(20),-- 企业名称company_name varchar(20),-- 排序字段ordered …

Flink处理函数(3)—— 窗口处理函数

窗口处理函数包括:ProcessWindowFunction 和 ProcessAllWindowFunction 基础用法 stream.keyBy( t -> t.f0 ).window( TumblingEventTimeWindows.of(Time.seconds(10)) ).process(new MyProcessWindowFunction()) 这里的MyProcessWindowFunction就是ProcessWi…

STM32 GD32 瑞萨 psoc 等单片机 无线wifi蓝牙最佳解决方案

新联鑫威一系列低功耗高性价比sdio wifi/蓝牙combo的模块CYWL6208 , CYWL6312, CYW6209等可以搭配stm32 各种型号例如以下,支持sta/ap/apsta,双模蓝牙的应用,支持rt-thread, freertos, Azure RTOS, Linux, Android系统. 稳定强,功耗低&#x…

从规则到神经网络:机器翻译技术的演化之路

文章目录 从规则到神经网络:机器翻译技术的演化之路一、概述1. 机器翻译的历史与发展2. 神经机器翻译的兴起3. 技术对现代社会的影响 二、机器翻译的核心技术1. 规则基础的机器翻译(Rule-Based Machine Translation, RBMT)2. 统计机器翻译&am…

[ELK] ELK企业级日志分析系统

一、ELK 概述 1.1 ELK 简介与组件 ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。 ●ElasticSearch:是基于Lucene(一个…

文献分享四:(基础)Pyroelectric drift of integrated-optical LiNbO3 modulators

文献来源——S. M. Kostritskii, Yu. N. Korkishko, V. A. Fedorov & A. V. Yatsenko (2021) Pyroelectric drift of integrated-optical LiNbO3 modulators, Ferroelectrics, 574:1, 170-178, DOI: 10.1080/00150193.2021.1888062 本文分析了我们之所以需要偏置电路的原因…

Lua 快速入门 · 教程笔记

Lua语言快速入门 教程笔记 前言1. Lua 语言介绍2. Lua 语言基础之基本语法声明变量声明方法使用 if - else使用 for使用 while 3. Lua 语言基础之表4. Lua 语言基础之数组插入元素移除元素获取表的长度全局表 5. Lua 语言面向对象之复制表的方式面向对象实现继承和重写父类方法…

鸿蒙开发-UI-布局-线性布局

鸿蒙开发-序言 鸿蒙开发-工具 鸿蒙开发-初体验 鸿蒙开发-运行机制 鸿蒙开发-运行机制-Stage模型 鸿蒙开发-UI 鸿蒙开发-UI-组件 鸿蒙开发-UI-组件-状态管理 鸿蒙开发-UI-应用-状态管理 鸿蒙开发-UI-渲染控制 鸿蒙开发-UI-布局 文章目录 前言 一、基本概念 二、布局子元素 1.子元…

【数据结构与算法】1.时间复杂度和空间复杂度

📚博客主页:爱敲代码的小杨. ✨专栏:《Java SE语法》 ❤️感谢大家点赞👍🏻收藏⭐评论✍🏻,您的三连就是我持续更新的动力❤️ 🙏小杨水平有限,欢迎各位大佬指点&…

Java设计模式-UML与设计原则(1)

大家好,我是馆长!在正式讲解Java设计模式之前,馆长先整理了一些概要信息,方便大家了解和学习。了解这些技术和理论信息,可以为设计模式的讲解更加的透彻与易学。 简介 统一建模语言(Unified Modeling Langu…

【react】创建react项目+项目结构

使用create-react-app快速搭建开发环境 create-react-app是一个快速创建React开发环境的工具,底层由Webpack构建,封装了配置细节 npx create-react-app react_hm执行命令后开始创建 创建好执行cd react_hm npm start 当看到webpack compiled successfu…