数仓建设:为什么我们的数据容易被业务方质疑?

news2024/11/23 7:24:55

目录

0 问题背景

1 问题产生的原因

2 问题解决方案

3 小结

数字化建设通关指南专栏原价99,现在活动价39.9,按照阶梯式增长,直到恢复原价


0 问题背景

 在数字化建设进程中,无论是处于数据产品的你,或是数据开发的你,还是数据分析的你,相信对这一问题并不陌生,或多或少都会被业务方质疑过数据可信度的问题,有时候一个BI项目很难被认可或是推广下去,其很大一部分因数就是遭到业务方对数据的质疑,或是数据驱动决策的质疑。下面我将从不同的角度分析产生这一现象的原因和解决方案

问题产生的原因

(1)产品视角:数据优先级低

产品在制定需求时,往往更重视直接影响用户体验的功能,而将数据统计需求放在较低的优先级。主要体现在:

  • 1)在一个快速迭代的公司中,产品为了尽快推出新功能,决定推迟实现用户行为数据收集的功能,结果导致后期无法准确评估功能的影响力。

  • 2) 一款应用在发布后,产品发现比如用户流失率这一指标异常升高时,但由于没有及时的数据支持,难以快速定位问题和解决。

  • 3)产品经理在需求文档中将数据需求放在最后,开发周期内由于时间不足,这部分需求被忽略,导致产品上线后没有有效的数据支持决策。

(2)开发者视角:数据任务缺乏技术挑战

  对于开发者而言,他们更倾向于技术含量高的任务,而认为数据上报等是繁琐且缺乏技术挑战的工作。在职场上技术开发人员往往都有个通病就是喜欢技术含量较高的工作,而不喜欢一些繁琐的琐事和技术含量较低的工作,喜欢挑活干,而对于技术含量较低的工作,往往表现的态度不端正,过于浮躁,想尽快了事。这样便会导致以下几个问题

1)数据埋点缺乏耐心

 一位开发者在进行数据埋点时,由于感觉任务重复且简单,导致没有仔细检查代码,引发数据错误。

2)使用过于复杂的技术架构(杀鸡往往用牛刀)

    开发团队在一个复杂的数据处理功能中,为了追求技术的挑战,采用了过于复杂的架构,结果导致后期维护困难,数据常常出错。

3)忽略数据的准确性

一个经验丰富的开发者在实现一个数据分析模块时,主要集中在如何提高系统性能上,追求技术上的快感,而忽视数据的准确性和完整性。

(3)测试人员视角:数据的不可见性和逻辑复杂性

测试数据需求时,由于数据的不可见性和逻辑的复杂性,很难保证数据的准确性和完整性。主要体现在:

1)数据校验困难

 一个测试工程师在测试一个复杂的报表生成功能时,由于缺乏有效的数据校验工具,无法确保报表的数据准确性。

2)数据追踪困难

在进行数据迁移测试时,由于缺乏透明的数据验证过程,数据在迁移过程中出现错误,但测试人员难以追踪到具体问题。

3)大数据量面临的挑战

 测试团队在测试一个大数据平台的数据准确性时,由于数据量巨大且复杂,缺乏高效的测试工具,导致测试结果不可靠。

(4) 公司组织文化视角:缺乏数据意识

在很多组织中,由于缺乏对数据价值的认识,导致数据被忽视或错误处理,这种文化背景会影响到整个团队对数据的态度和信任。管理层不愿意数据投资工具,团队对数据不信任,最终导致决策依赖于个人经验而非数据分析。

主要体现在:

1)管理层的认知

数据分析是额外成本。这一点特别在传统制造业中体现的尤为突出,管理层认为数据分析是额外的成本,不愿意投资数据平台和工具,导致数据无法得到有效利用。

2)团队的态度

业务方的不配合或不愿意改变。业务方不愿意用新的工具,新的平台来填报数据,只愿意用自己熟悉的工具或方式解决问题,导致系统数据存在丢失,不完整。比如,一个销售团队不愿意使用CRM系统记录销售活动,导致数据不完整,进而影响销售策略的制定。

3)决策依赖

对数据不信任、倾向于个人经验。在一个项目回顾会议上,由于团队成员对数据的不信任,他们倾向于依赖个人经验而非数据分析来评估项目的成功与否,导致重复过去的错误。

问题解决方案

通过上面的分析,我们可以看到造成数据不信任的原因有多种。对于大数据开发者来说,提高对数据重视的意识,优化数据处理流程,是建立数据信任的关键步骤。

(1)从组织及数据文化层面来看

提升管理层和员工对数据的认知是第一步,其次建立数据驱动决策的有效机制和奖惩体系是提升数据信任的关键所在,比如可以构建数据治理委员会,权责到个人,构建部门业务目标及kpi,将kpi拉入到季度考核及年度考核中是部门行动的动力所在。

(2)技术工具视角:提升数据的透明度和可访问性

使用先进的技术工具来增强数据处理的透明度和可访问性,可以有效提高团队对数据的信任。主要体现在

1)实时数据监控

通过实现一个实时数据监控系统,团队能够即时看到自己工作的影响,这增加了他们对数据处理系统的信任。

2)数据质量管理

引入数据质量管理工具,自动检测和修正数据错误,极大提升了数据的准确性,从而增强了团队成员对数据的信任。

3)用户友好查询

 开发一个用户友好的数据查询界面,使非技术背景的团队成员也能轻松访问和利用数据,从而提高整个组织的数据利用率。

通过这些改进措施,组织可以逐步构建一个数据友好的环境,其中每个成员都理解数据的价值,能够准确和自信地使用数据支持决策。这种文化和技术的双重改进不仅提升了数据的可靠性,也增强了整个团队对数据的信任。

小结

本文从多个角度分析了数据容易被业务方质疑,不被信任的原因,并给出了相应的解决方案,其关键在于提高组织文化中的数据意识,及采用可视化分析、数据质量管理等技术工具,增强数据的透明度和可访问性。

本文主要从五个不同的角度进行分析:

(1)产品视角: 数据需求通常被排在低优先级,导致在项目进度压力下容易被忽略。

(2)开发视角: 开发者可能因为数据任务缺乏技术挑战而不重视。

(3)测试视角: 数据的不可见性和逻辑复杂性使得测试困难。

(4)组织视角:缺乏数据意识的组织文化会导致数据被忽视。

(5)工具视角: 引入先进的技术工具可以增强数据处理的透明度和可访问  性,从而提高团队对数据的信任。

原文链接:数字化建设:为什么我们的数据容易被业务方质疑?

如果觉得本篇文章对你还有点帮助,那么不妨也可以选择去看看我的博客专栏文章,里面内容更精彩。具体专栏内容如下(部分展示):

数字化建设通关指南专栏原价99,现在活动价39.9,按照阶梯式增长,直到恢复原价

主要内容包括:
1 SQL进阶实战技巧

可以参考如下教程,具体链接如下

SQL很简单,可你却写不好?也许这才是SQL最好的教程

上面链接中的文章及技巧会不定期更新。

2 数仓建模实战技巧和个人心得

文章部分标题展示如下:
       1)新人入职新公司后应如何快速了解业务?

       2)以业务视角看宽表化建设?

       3)  维度建模 or 关系型建模?

       4)业务模型与数据模型有什么区别?业务阶段的模型该如何建设?

       5)业务指标体系该如何建设?指标体系该如何维护?指标平台应如何建设?指标体系                           该由谁来搭建?

       6)如何优雅设计DWS层?DWS层模型好坏该如何评价?

       7)指标发生异常,该如何排查?应从哪些方面入手寻找问题点?

       8) 数据架构的选择,mpp or hadoop?

       9)数仓团队应如何体现自己的业务价值,讲好数据故事?

       10)BI与大数据有什么关系?BI与信息化、数字化之间有什么关系?BI与报表之间的关                          系?

       11)数据部门如何与业务部门沟通,并规划指引业务需求?

文章不限于以上内容,有新的想法也会及时更新到该专栏。

具体专栏链接如下:

数字化建设通关指南_莫叫石榴姐的博客-CSDN博客

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2134918.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ModbusTCP/RTU转Ethernet/IP(CIP)-Modbus设备与罗克韦尔AB的PLC之间通讯

IGT-DSER智能网关模块支持西门子、三菱、欧姆龙、罗克韦尔AB等各种品牌的PLC之间通讯,同时也支持PLC与Modbus协议的工业机器人、智能仪表、变频器等设备通讯。网关有多个网口、串口,也可选择WIFI无线通讯。无需PLC内编程开发,只要在IGT-DSER智…

Python 数学建模——Vikor 多标准决策方法

文章目录 前言原理步骤代码实例 前言 Vikor 归根到底其实属于一种综合评价方法。说到综合评价方法,TOPSIS(结合熵权法使用)、灰色关联度分析、秩和比法等方法你应该耳熟能详。Vikor 未必比这些方法更出色,但是可以拓展我们的视野。…

从GreaterWMS学习仓库管理系统

前言 客户并不知道(确切地)他们需要什么? 需要通过需求分析工具和技术,利用宽进严出的需求池,需求验证使用原型测试,场景分析,专家评审,交叉检查等手段,经过充分验证的需…

牛耕分解+形态学分割 全覆盖路径规划(二)Part1. 分割

书接上文:牛耕分解形态学分割 全覆盖路径规划(一) 前置文章1:房屋区域分割算法 Morphological Segmentation 前置文章2:牛耕覆盖算法 Boustrophedon Coverage Path Planning 项目地址:ipa320 / ipa_cove…

基于Kubernetes部署Spark:spark on kubernetes

什么是spark? spark是一种基于内存的快速、通用、可扩展的的数据分析计算引擎。 Hadoop、Hive、Spark是什么关系? 大数据技术生态中,Hadoop、Hive、Spark是什么关系?| 通俗易懂科普向_哔哩哔哩_bilibili Hadoop 与 HDFS (Hado…

【腾讯云】AI驱动TDSQL-C Serveress 数据库技术实战营-如何是从0到1体验电商可视化分析小助手得统计功能,一句话就能输出目标统计图

欢迎来到《小5讲堂》 这是《腾讯云》系列文章,每篇文章将以博主理解的角度展开讲解。 温馨提示:博主能力有限,理解水平有限,若有不对之处望指正! 目录 背景效果图流程图创建数据库基本信息数据库配置设置密码控制台开启…

腾讯联合多所高校出品!AI游戏生成模型 GameGen-O 轻松生成高质量游戏元素

最近,香港和中国的几所大学与腾讯联合研发了一个名为 GameGen-O 的 AI 模型,专门用于创建开放世界视频游戏的模拟。 GameGen-O 的功能不仅仅限于生成高质量的游戏内容,它还模拟了多种游戏引擎的特性,能够创造出丰富多样的游戏元素…

字符分类函数和字符串函数

Hello~,欢迎大家来到我的博客进行学习! 目录 1.字符分类函数😘1.1解释以及使用🤯1.2将字符分类函数组合使用👻2 .字符转换函数🧐 1.字符分类函数😘 1.1解释以及使用🤯 在键盘上敲的字符有许多…

揭秘高效日志管理:解锁数据宝藏,驱动业务精准决策

作者简介:我是团团儿,是一名专注于云计算领域的专业创作者,感谢大家的关注 座右铭: 云端筑梦,数据为翼,探索无限可能,引领云计算新纪元 个人主页:团儿.-CSDN博客 目录 前言&#…

duckdb 连接postgres 和 jdbc 的使用

why? 主要是特别快 嵌入式,不需要服务器,使用超级方便 扩展机制灵活,可以直接读取CSV、JSON、Parquet等文件 Parquet文件格式详解(含行、列式存储区别)_parquet格式-CSDN博客 采用列式存储(用…

边缘计算网关:连接中心计算与边缘设备的重要桥梁-天拓四方

一、边缘计算网关:重新定义信息高速公路的“路标” 边缘计算网关,作为边缘计算生态系统中的核心组件,不仅承载着数据传输的功能,更是智能信息处理的关键节点。它通过分布式计算架构,将数据处理任务前置到网络边缘&…

JDK 收费了,怎么应对?难道 JDK 8 一直用下去吗?

最近遇到一个问题:Oracle JDK 8 在 ARM 机器上性能特别差! 我的第一直觉就是是不是 JDK 8 在 ARM 不兼容? 为了研究这个问题,我探究了一圈,主要是找找有没有同行遇到这个问题,在找的过程中呢,发…

基于vue框架的宠物领养系统l3a76(程序+源码+数据库+调试部署+开发环境)系统界面在最后面。

系统程序文件列表 项目功能:用户,宠物信息,宠物领养,宠物品种,团队信息,入团申请,团队活动 开题报告内容 基于Vue框架的宠物领养系统开题报告 一、引言 随着宠物文化的普及和人们对宠物情感的日益加深,宠物领养已成为社会关注的热点之一。然而&#…

# 大模型的第一个杀手级应用场景出来了

大家终于都意识到大模型首先改变的是软件行业自己,而软件的根基是代码生成。代码生成第一波就是AI辅助开发,这个会是大模型第一个杀手级应用。大家苦苦逼问自己的大模型杀手级应用,为什么会是辅助编程,这里说下什么: 必…

利用shuji还原webpack打包源码

0 前言 前段时间做一个银行的项目,是在别人已经打过好多次的基础上继续打,而且时间很短,也是没办法要有产出,这个银行很多站点都是webpack打包,就新学了一个点:利用shuji获取webpack打包站源码&#xff08…

2025届京东校招薪酬全面上调,加薪20%!

就在近日京东官方发布声明,今年 2025 届校招岗位的薪资将全面上调,再次加薪!其中,采销、技术、产品等核心岗位薪酬上调不低于20%,产研类岗位更狠,算法岗平均起薪涨幅超75%,硬件和设计等岗位起薪…

2024年06月中国电子学会青少年软件编程(图形化)等级考试试卷(一级)答案 + 解析

青少年软件编程(图形化)等级考试试卷(一级) 分数:100 题数:37 一、单选题 音乐Video Game1的时长将近8秒,点击一次角色,下列哪个程序不能完整地播放音乐两次?&#xff0…

java实现根据延迟法定退休政策计算退休年龄

一、计算规则 从2025年1月1日起,男职工和原法定退休年龄为五十五周岁的女职工,法定退休年龄每四个月延迟一个月,分别逐步延迟至六十三周岁和五十八周岁;原法定退休年龄为五十周岁的女职工,法定退休年龄每二个月延迟一…

应急响应实战---是谁修改了我的密码?

前言:此次应急响应为真实案例,客户反馈无法通过密码登录服务器,疑似服务器被入侵 0x01 如何找回密码? 客户服务器为windows server2019,运维平台为PVE平台;实际上无论是windows系统或者是linux系统&#…

从简单分析到智能问数,Smartbi AIChat让数据回归业务

大数据产业创新服务媒体 ——聚焦数据 改变商业 在某科技公司,资深数据分析师李晨(化名)正忙于分析新产品的市场表现。面对传统自助式BI工具,李晨在功能界面中手动设置各种查询条件,进行了一番复杂的拖拉拽操作&#…