数据治理:概述

news2024/10/6 3:59:07

数据治理概述

  • 一.数据治理及其目标
  • 二.数据治理的不同阶段
    • 2.1数据集成阶段
    • 2.2数据管理阶段
    • 2.3成熟阶段
  • 三.什么是成功的数据治理
    • 3.1理想状态
    • 3.2现实意义
  • 四.数据治理工程师
    • 4.1数据梳理与建模
    • 4.2数据标准管理
    • 4.3元数据管理
    • 4.4主数据管理
    • 4.5数据质量管理
    • 4.6数据安全治理
    • 4.7数据集成与共享

一.数据治理及其目标

在这里插入图片描述
数据治理的目标:提高数据质量并赋能业务,以实现企业的业务和管理目标。为了实现该目标而开展的技术、业务和管理活动都属于数据治理

二.数据治理的不同阶段

2.1数据集成阶段

企业将不同IT系统统一到数据仓库进行管理,使人、财、物等资源信息能够在企业中集成共享。该阶段最应该做好的是数据梳理与建模,明确数据标准管理并无条件执行,通过元数据标准化、主数据标准化以及指标数据的标准化建立高质量的数据模型。

2.2数据管理阶段

企业高层意识到数据战略的重要性,企业的业务和管理决策开始以数据为重要依据,数据成为企业的重要资源。该阶段不能再“头痛医头脚痛医脚”,取而代之的应该有全面的数据治理体系,企业自上而下的数据治理实践。

2.3成熟阶段

数据治理必须作为一项企业长期业务来进行才是真正成功的。成熟阶段的数据治理不再被视为信息化的支撑体系,而是企业的一项常规业务,就如同企业的生成、销售、服务等业务一样。该阶段数据在企业管理决策中将起到决定性作用。
这种阶段可以理解为是一种理想状态,毕竟要摒弃技术是销售养的这种观念就是一种理想。

三.什么是成功的数据治理

3.1理想状态

成功的数据治理是自我驱动、自我进化、可持续发展和长效运营机制。随着提高数据质量有效举措的展开,数据利用率和数据价值均得到提高,与此同时达到了业务提升的目的,进而形成良性循环。最终数据在企业管理决策、业务创新中不仅起着支撑和参考的作用,而且还是驱动要素。数据不仅被作为企业的重要生产资料,甚至还可以重塑企业的商业模式

3.2现实意义

根据企业发展的阶段,制定合适的数据治理战略。对于大多数国内企业来说,能完成高质量数据的输出就是成功的数据治理。
个人认为起步或快速扩张的企业能做好数据模型就是最好的数据治理了,这个阶段不存在靠企业内部数据治理“弯道超车”,更多的是资源浪费;发展稳定的企业也要视能力、业务复杂性、市场要求而定,总之不同类型企业的数据治理策略绝对不能一概而论,成功与否更不能只有一个标准,做到什么程度更不应该成为标准。

四.数据治理工程师

虽说“不想当将军的士兵不是好士兵”,不过士兵还是要先做自己的本质工作。数据治理的战略、考核不是我等应该考虑的,工程师直接聚焦到技术实现上。那么工程师需要具备哪些能力。

4.1数据梳理与建模

无论是否自己团队做的数据建模,都应该先对当前的数据模型有清楚的认识,数据模型是企业数据治理中最核心的工具数据模型对上承载业务需求的元数据,对下是数据标准管理的内容,同时数据模型是数据质量指标和规则定义的起点,是主数据和参照数据设计的根本,是数据仓库和BI的核心,也是数据安全的管控对象

具体工作:模型版本管理、数据模型管理、数据模型分析等

4.2数据标准管理

数据标准主要包含三个方面的标准:

  1. 元数据标准
  2. 主数据标准
  3. 指标数据标准

数据标准的制定和应用及其重要,明确的命名规则、统一的码值标识、精确的数据维度都是高质量数据的开端

具体工作:数据标准的编制、审批、发布和使用等

4.3元数据管理

元数据管理管理的是数据资产所设计的源系统、数据平台、数据仓库、数据模型、数据库、表、字段以及字段和字段的关系,为数据提供了完整的血缘关系,可以追溯发生数据质量问题以及其他问题的根本原因。

具体工作:元数据采集、元数据管理、元数据分析等

4.4主数据管理

主数据是企业最基础、最核心的数据。通过主数据可以解决各异构系统的数据不标准、不一致的问题,保障业务连贯性及数据一致性、完整性、准确性,提高业务条线之间的协同能力。

具体工作:建模、编码、管理、清洗、集成等。

4.5数据质量管理

持续提升数据质量是企业数据治理的核心目标,数据质量管理的范围往往需要根据业务的需求和目标进行定制。

具体工作:数据质量指标管理、数据质量规则管理、数据质量评估任务、数据质量评估报告

4.6数据安全治理

数据安全治理贯穿数据采集、传输、存储、处理、交换和销毁的整个生命周期。数据安全涵盖操作系统安全、网络安全、数据库安全、软件应用安全等。

具体工作:身份认证、访问控制、数据授权、安全审计、数据脱敏、数据加密等

4.7数据集成与共享

数据集成与共享是为了更好的使用数据而提供的技术能力和手段。各种类型的数据应用项目,如数据分析挖掘、数据仓库、主数据管理、应用集成、数据资产管理等,都离不开数据集成。

工具:ETL工具、DB可视化工具、IDE等


声明:本文所载信息不保证准确性和完整性。文中所述内容和意见仅供参考,不构成实际商业建议,可收藏可转发但请勿转载,如有雷同纯属巧合

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1468900.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

1.手写IOC实现Bean创建过程

1.创建子模块 2.创建测试类 (service dao) 3.创建两个注解 Bean 创建对象 DI 属性注入 4.创建Bean容器接口ApplicationCOntext,定义方法 5.实现bean 容器接口,根据包规则扫描加载Bean,这是在实现Bean。对于Di来说…

134 Linux 系统编程11 ,readlink命令,文件目录rwx权限差异,目录操作函数

一 readlink 命令 前面知道,如果a.soft是一个软链接,我们使用 cat a.soft,会直接查看这个软链接指向的文件 那么我们就是想看这个软链接是啥,可以使用 readlink a.soft 二 获取工作目录 getcwd函数 获取进程当前工作目录 (卷3,标…

sentinel整合nacos在gateway中实现限流

sentinel整合nacos在gateway中实现限流 一、应用层面完成网关整合nacos和sentinel实现限流 前沿 启动nacos与sentinel的jar的启动,这里不细讲 sentinel官网 https://github.com/alibaba/Sentinel/wiki/%E4%B8%BB%E9%A1%B5 sentinel 下载地址 https://github.com/…

软考40-上午题-【数据库】-关系代数运算2-专门的集合运算

一、专门的集合运算 1、投影 示例: 可以用属性名进行投影,也可以用列的序号进行投影。 2、选择 例题 1、笛卡尔积 2、投影 3、选择 3、连接 第一步都要算:笛卡尔积。 3-1、θ连接 示例: 3-2、等值连接 示例: 3-3、自…

代码随想录day32--动态规划理论基础

什么是动态规划 动态规划简称DP,如果某一问题有很多重叠子问题,使用动态规划是最有效的。 所以动态规划中每一个状态一定是由上一个状态推导出来的,这一点一定要和贪心区别出来,贪心没有状态推导,而是直接从局部直接…

新版Java面试专题视频教程——虚拟机篇②

新版Java面试专题视频教程——虚拟机篇② 3 垃圾收回3.1 简述Java垃圾回收机制?(GC是什么?为什么要GC)3.2 对象什么时候可以被垃圾器回收3.2.1 引用计数法3.2.2 可达性分析算法 3.3 JVM 垃圾回收算法有哪些?——4种3.3…

消息中间件篇之RabbitMQ-高可用机制

一、怎么保证高可用性 在生产环境下,使用集群来保证高可用性,一般我们采用普通集群、镜像集群、仲裁队列。 二、普通集群 普通集群,或者叫标准集群(classic cluster),具备下列特征: 1. 会在集…

<网络安全>《50 网络攻防专业课<第十四课 - 华为防火墙的使用(3)>

7防火墙的防范技术(2) 7.1 DNS Flood攻击防范 攻击介绍 攻击者在短时间内通过向DNS(Domain Name System)服务器发送大量的查询报文,使得服务器不得不对所有的查询请求进行回应,导致DNS服务器无法为合法用户…

hbuilderx创建、运行uni-app

创建uni-app 在点击工具栏里的文件 -> 新建 -> 项目: 选择uni-app类型,输入工程名,选择模板,点击创建,即可成功创建。 uni-app自带的模板有 Hello uni-app ,是官方的组件和API示例。还有一个重要模…

K线实战分析系列之六:启明星——空方力量减弱信号

KK线实战分析系列之六:启明星——空方力量减弱信号 一、星线二、多种反转形态三、启明星形态四、启明星形态的总结 一、星线 星线在单根K线形态上是属于纺锤线,之所以被称为星线,主要是因为它在行情当中的相对位置,区别于其他纺锤…

HC595级联原理及实例 - STM32

74HC595的最重要的功能就是:串行输入,并行输出。其次,74HC595里面有2个8位寄存器:移位寄存器、存储寄存器。74HC595的数据来源只有一个口,一次只能输入一个位,那么连续输入8次,就可以积攒为一个…

H桥电流回路分析(单极性调制)

当Q7Q16导通时,是Q7高低电平切换,Q16一直导通 当Q7导通时,电感为左正右负(电感起到阻碍电流变化的作用)为红色线 当Q7关断的时候,电感(作为源)为左负右正,此时电流回路…

Stable Diffusion 3 发布及其重大改进

1. 引言 就在 OpenAI 发布可以生成令人瞠目的视频的 Sora 和谷歌披露支持多达 150 万个Token上下文的 Gemini 1.5 的几天后,Stability AI 最近展示了 Stable Diffusion 3 的预览版。 闲话少说,我们快来看看吧! 2. 什么是Stable Diffusion…

RHEL9安装Python2.7

RHEL9作为2022年5月新推出的版本,较RHEL8有了很多地方的改进,而且自带很多包,功能非常强大,稳定性和流畅度也较先前版本有了很大的提升。RHEL9自带python3.9,但是过高版本的python不可避免地会导致一些旧版本包地不兼容…

《Docker 简易速速上手小册》第1章 Docker 基础入门(2024 最新版)

文章目录 1.1 Docker 简介与历史1.1.1 Docker 基础知识1.1.2 重点案例:Python Web 应用的 Docker 化1.1.3 拓展案例 1:使用 Docker 进行 Python 数据分析1.1.4 拓展案例 2:Docker 中的 Python 机器学习环境 1.2 安装与配置 Docker1.2.1 重点基…

主机开机正常但是显示器不亮怎么办 电脑故障问题解答

随着科技的不断发展,电脑或许已经是我们日常生活中最常接触的设备之一了。但是设备毕竟是设备,用久了自然会出毛病,开机的时候,主机开了,但是电脑显示屏不亮,这时候我们该怎么处理呢?下面我就来介绍几种解…

ES坑-创建索引使用_下划线-黑马旅游搜不到

学ES的时候,星级过滤无效 找不到数据。 需要 但是我们在创建的时候使用的是keyword 通过研究发现,我们导入数据的时候应该默认的为starName 我get库时候发现有2个字段 所以通过star_name搜索因为都是空数据搜不到,而starName类型为text所以…

MFC由初值终值步长生成数值序列

matlab的冒号运算符可以生成数值序列; 下面来生成自己的数值序列; vc6新建一个对话框工程; 放几个控件;添加成员变量如下; void CMycolonDlg::OnButton1() {// TODO: Add your control notification handler code hereUpdateData(TRUE);double d1, d2;CString str1, …

Qt MDI应用方法:QMdiArea和QMdiSubWindows类

重点: 1.使用MDI应用程序,需要在主窗口的工作区放置一个QMdiArea组件。 并将QMdiArea组件设置成中心窗口 2.MDI有两个显示模式:Tab多页显示模式和子窗口显示模式 子窗口显示模式有两种显示方法:窗口级联展开和平铺展开 窗口级联…

[electron]官方示例解析

官方例子 github链接 main.js const { app, BrowserWindow } require(electron)说句实话这里的语法是有部分看不懂的。导入模块虽然electron有很多模块。但是这里只是用到了app 和 BrowserWindow function createWindow () {// Create the browser window.const mainWindo…