传统数据治理的常见陷阱有哪些?

news2024/9/27 7:21:17

一、传统的数据治理

传统的数据治理是一种数据优先的治理方法。这种传统方法缺乏响应数据用户需求的流动性——或者在新法规出现时适应新法规的灵活性。传统方法概述角色、创建数据标准、分配责任并创建公司范围的数据策略。因为它强调对数据的控制,这种方法威胁工作文化的情况并不少见。

这种对数据控制的传统关注削弱了社区协作。事实上,这种传统的治理模式制定了僵化的政策,常常疏远甚至吓倒数据工作者。在使用任何特定数据集之前,人们必须参考文档。类似一揽子的政策会产生额外的任务,从而降低整体效率。人们被要求遵守复杂的规则,“否则”在这种恐惧的气氛中,人们做出“战斗或逃跑”的反应并不罕见。许多人没有遵循复杂的数据集使用规则,而是完全放弃了该数据。其他人可能会在数据方面变得咄咄逼人。许多人将传统方法称为“命令和控制”风格是有原因的。

什么决定了被动/传统模型与主动治理模型是否最好?需求因业务而异。有一点是肯定的:传统方法是一种广泛的、孤立的方法,不会将数据用户带入涉及治理的领域。

数据不是一成不变的。它必须在一个连续的过程中进行改进。同样,有效的数据治理必须随着时间的推移进行调整和改进。今天的数据治理必须采用敏捷的 DevOps 思维并建立在机器学习的基础上,这样随着时间的推移,它会以更少的努力变得更好。

二、数据治理的四大障碍

  1、数据孤岛

  由于传统数据库架构缺乏弹性,当节点数超过一定规模后,再继续扩容往往反而会出现严重损害整个数据库系统性能的尴尬情况,使企业不得不设立多个集群来分别存储、分析数据。这种结构严重阻碍了整个企业中信息的共享和传播,甚至造成了不同业务板块之间的数据隔离。

  无论是追踪数据沿袭、对数据进行分类,还是在系统中应用安全模型等,这一系列的数据治理行动在相互孤立又趋于混乱的数据系统中都是无法实现的。

  2、数据质量差

  数据质量差是数据治理过程中非常典型的问题之一。数据的可信度是数据驱动型企业的基石,这些企业需要来自众多不同渠道的海量数据,作为决策的参考和依据。

  数据质量差可以分为两个层面:一是原始数据在从业务场景中获取时不够规范,出现的数据缺失、重复、损坏等。二是在进入数据库之后,需要数据库支持事务、高可用、强一致性等功能来保证数据的质量。

  数据质量的好坏,一般表现在数据准确性、一致性、即时性、可用性和完整性五个方面。

  3、数据不透明

  你的企业有哪些数据?这些数据分别被存储在哪里?谁对什么样的数据拥有访问权限?这些个人或团队将通过特定种类的数据实现何种作业?回答好以上问题,才谈得上实现了数据的透明。

  数据治理要求企业实现数据透明,而部分数据库难以直接调取内部数据,只能通过对外接口进行访问,在进行诸如数据分析、血缘分析、数据建模等上层应用时,被大大限制了灵活性,一些需要使用原始数据的场景无法实现,数据的价值也就无法发挥出来。

  实际上,在很多企业的数据库中,这些问题的答案,被架构等历史遗留因素“埋藏”了起来。想要找出它们,需要通过数据管理过程对数据进行有效的收集、存储、处理和应用。

三、主动数据治理

主动数据治理通过在使用点显示策略和护栏来取得成功。这种非侵入性方法意味着人们在处理数据时了解治理最佳实践。此外,机器学习检测人类行为模式,这些模式表明工作中的数据治理过程。管理员会注意这种模式,他们可以反过来提醒他们的团队,因为他们正式制定了一个已经在实践中的流程。

通过将数据用户纳入决策制定,整体购买增加,这导致治理人员和前端用户之间加强合作。这允许一组自适应策略,可以随着业务需求的变化而持续优化。实际上,从传统数据治理到主动数据治理的转变将您的治理方法从被动变为主动。

随着治理成为一种负担,分析师的工作效率会下降,这通常会导致数据质量下降。然而,实施正确的治理模型可以在支持企业发展方面发挥重要作用。如果分析师和其他数据用户得到与他们一起工作的治理策略的支持,则可以在收集、存储和分析的整个周期内保持数据质量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/97424.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java程序接入ChatGPT

Java程序接入ChatGPT0 前言1 还想体验的小伙伴可以试试2 Java接入前准备3 官方支持接入语言4 调用费用5 接口调用说明6 代码实现6.1 postman调用6.2 Java调用7 小结0 前言 之前文章中我们聊过怎么注册使用最近很火的ChatGPT?这期我们来看看怎么在Java中调用ChatGPT…

openssl aes加密例子

openssl OpenSSL 是一个安全套接字层密码库,囊括主要的密码算法、常用的密钥和证书封装管理功能及SSL协议,并提供丰富的应用程序供测试或其它目的使用。 首先,要安装 openssl: centos命令: sudo yum install openssl-devel ubuntu命令&#x…

重学webpack系列(一) -- 前端模块化的演变历史

前言 任何事物的产生都有他的必然性,就像是冥冥之中注定了一样,在JavaScript刀耕火种的时代,前端是被定义为切图的一项工作,页面逻辑与交互全部由服务端工程师完成,前端开发几乎不受服务端开发重视,那时候…

免费教你如何设计商品主图,手把手教学!

好看的电商主图都是怎么设计出来的?有什么办法能快速设计出爆款的同款商品主图吗?跟着小编的教学步骤,教你轻松在线设计,不需要任何门槛也能掌握的电商设计工具,轻松搞定各种类型的商品主图,下面跟着小编的…

Spring BOOT 手写一个starter并使用这个starter

1、stater工程的命名 starter 是一个开箱即用的组件,减少不必要的重复代码,重复配置。例如,在mavne项目进行配置的时候,我们需要引用 spring-boot-starter-parent。 Spring 官方定义的 starter 通常命名遵循的格式为 spring-bo…

Linux——日志管理

基本介绍 日志文件是重要的系统信息文件,其中记录了许多重要的系统事件,包括信息的登录信息、系统的启动信息、系统的安全信息、邮件相关信息、各种服务相关信息等;日志对于安全来说也很重要,它记录了系统每天发生的各种事情&…

ASP.NET Core —选项系统

ASP.NET Core — 选项系统1. 选项2. 选项配置方式2.1 手动绑定2.2 依赖注入配置2.2.1 配置文件节点转换选项2.2.1 硬编码配置选项2.2.3 使用DI服务配置选项2.2.4 命名选项2.2.4 后期配置3. 使用3.1 IOptions<TOptions>3.2 IOptionsMonitor<TOptions>3.3 IOptionsSn…

零基础小白:为什么要学习编程?如何入门编程?!

这篇文章回答以下几个问题&#xff1a; ★我们为什么要学习编程&#xff1f; ★非计算机学生&#xff0c;如何对编程产生兴趣&#xff1f; ★零基础&#xff0c;如何入门编程&#xff1f; 第一个问题&#xff1a;我们为什么要学习编程&#xff1f; 如果说和编程有关的最经常收…

QT mysql 数据库的使用

1.首先我是用的是 网上的免费的mysql 数据库 &#xff0c; 1.申请步骤 2.链接 &#xff1a;SQLPub - 免费的MySQL数据库 2..测试数据库是否可以使用 头文件&#xff1a; #include <QSqlDatabase>//数据库 #include <QDebug>//输出 #include <QStringList&g…

【原创】Unity结合OpenAI官方api实现类似chatGPT的AI聊天机器人

一、什么是ChatGPT 最近chatGPT爆火&#xff0c;网络铺天盖地的各种文章视频&#xff0c;各种牛逼之声。倒算不上第一时间使用&#xff0c;发布隔了一周多&#xff0c;才从同事那里听说了这么个神奇的技术。这周阳了&#xff0c;持续发烧在家&#xff0c;忙着养病也没时间去了解…

[oeasy]python0030_设置路径_export_PATH_zsh_系统路径设置_export

放入路径 回忆上次内容 我们要在任意路径下直接执行 sleep.py 把 sleep.py 放在 /usr/bin/ 下面最终可以在任意位置执行程序sleep.py 但是 /usr/bin 里面放的一般都是二进制命令文件命令实在是太多太乱最终还是删除了sleep.py 我想 把宿主目录添加到系统变量 $PATH 中这样有可…

winform中使用SqlSugar和SQLite

winform虽然是老古董了&#xff0c;但是在开发桌面方面&#xff0c;还是得心应手的&#xff0c;比如开发一个小工具&#xff0c;小demo之类的。接下来&#xff0c;我们使用SqlSugar和SQLite数据库&#xff0c;在winform中运用。 1.首先建立一个程序 2.安装 System.Data.SQLite…

宿舍管理系统的设计与实现

开发工具(eclipse/idea/vscode等)&#xff1a; 数据库(sqlite/mysql/sqlserver等)&#xff1a; 功能模块(请用文字描述&#xff0c;至少200字)&#xff1a; 1登录&#xff1a;学生进行用户登陆密码核对&#xff0c;并可对自己的信息进行修改。 2.宿舍水电费管理&#xff1a;学生…

CloudCompare配置介绍

和前面系列博客一样&#xff0c;咱们还是从官网介绍先去了解新东西。官网网址如下&#xff1a; CloudCompare - Open Source project 顶部菜单中提供了下载&#xff0c;手册查找入口&#xff0c;github路径如下&#xff1a; GitHub - CloudCompare/CloudCompare: CloudCompar…

想辞职转行做程序员,需要学习哪些内容?

第一步&#xff0c;还是要明确具体的职业方向。 程序员是个统称&#xff0c;写代码的都叫程序员&#xff0c;但Java程序员&#xff0c;或是Python程序员&#xff0c;这才是职业。就好像很多大学生&#xff0c;专业是软件工程&#xff0c;这玩意儿并不是职业&#xff0c;学的内…

工作3年才8K,新招的测试一来就是14K,凭什么?

最近朋友给我分享了一个他公司发生的事&#xff0c;大概的内容呢&#xff1a;公司一位工作3年的测试工资还没有新人高&#xff0c;对此怨气不小&#xff0c;她来公司辛辛苦苦三年&#xff0c;三年内迟到次数都不超过5次&#xff0c;每天都是按时上下班&#xff0c;工作也按量完…

5_MyBatis代理模式开发-1_使用Mapper代理方式实现查询

前面已经使用MyBatis完成了对Emp表的CRUD操作&#xff0c;都是由SqlSession调用自身方法发送SQL命令并得到结果的&#xff0c;实现了MyBatis的入门。 但是却存在如下缺点&#xff1a; 1. 不管是selectList()、selectOne()、selectMap()&#xff0c;都是通过SQLSession对象…

SAP Gateway 上的 Metadata Cache

SAP Gateway Foundation 缓存服务的元数据信息以显着提高性能。 SAP 提供了三种类型的缓存&#xff1a; 在 hub 上缓存。 在 Hub 系统上缓存了元数据模型、注释模型以及服务的注释文本。 在后端缓存。 在后端仅缓存元数据模型和注释模型。 后端不需要注释文本来进行服务实例…

ubuntu开启TFPT

一、开启tfpt&#xff1a; sudo apt-get install vsftpd 对 vsftpd 进行配置&#xff0c;输入命令&#xff1a; sudo gedit /etc/vsftpd.conf 主要做以下修改&#xff0c;使以下设置生效&#xff1a; anonymous_enableNO local_enableYES write_enableYES 重新启动 vsftpd 服务…

【C语言】实用调试技巧

目录 1.什么是bug&#xff1f; 2. 调试是什么&#xff1f;有多重要&#xff1f; 2.1 调试是什么&#xff1f; 2.2 调试的基本步骤 2.3 Debug和Release的介绍 3. Windows环境调试介绍 3.1 调试环境的准备 3.2 学会快捷键 3.3 调试的时候查看程序当前信息 3.3.1 查…