十一、数据仓库详细介绍(应用)

news2025/1/4 17:18:04

这是数据仓库详细介绍的最后一篇,后续还会在补充一些,把遗漏的或者没讲清楚的追加进来。

1. 前言

数据仓库是一种数据管理的方法论,理论概念很早就提出来了,而且各个行业都有广泛深入的应用。因此到目前为止该方法论的理论和实践体系已经非常完善了。深入了解过数仓而且有一定实践经验的人,应该能够在数据中台、数据治理、数据资产管理、数据中心,以及 DAMA、DCMM 等知识体系中,看到许许多多的数据仓库的知识。

任何的数据管理活动都应该是带有功利性的,企业不可能铺好多人力耗费很多资源,然后花上好几年,却看不到与之匹配的产出(部分项目制的项目除外,有的甲方建数仓目的就是提前的把数据归集管理起来然后象征性的出些低频使用的报表或者大屏)。

因此,不管数据应用是否属于数据仓库范畴,做为数据仓库从业者都要把数据应用摆在最最重要的位置,所有数据管理工作也都应该优先服务于上层的数据应用。

数据仓库详细介绍(二.架构)

通用的数仓业务架构

左边的资产管理我们后续会专门补一篇,本篇我们主要分类介绍下右边的数据应用。

主要分两个角度展开:

  1. 数据如何发挥价值?

  2. 常见的数据应用有哪些?

2. 数据如何发挥价值

了解现状

主要是通过各种运营分析报表以及对应的图表展示,报表主要是各种维度下的日周月季年汇总,图表主要是占比分析、同比环比趋势分析等。

辅助决策

经典案例就是“啤酒尿布的故事”。上世纪 90 年代(大概 1993-1995 年之间吧),沃尔玛尝试将 Aprior 算法引入到 POS 机数据分析中(实际上是一种商品的关联分析算法),当时发现跟尿布一起购买最多的商品竟然是啤酒,最后经过进一步市场调研发现,美国的太太们经常叮嘱她们的丈夫下班后为小孩买尿布,而丈夫在买完尿布后又随手带回了他们喜欢的啤酒。后来,沃尔玛把尿布与啤酒放到相邻的货架上从而实现了啤酒与尿布销量的双双增长。

预测未来

通过对现有数据的分析挖掘,有时候是可以预测出通过改变某个变量后对结果的影响的。

比如通过对商品价格的调整,会引起销量的变化,最终通过合理的定价达到利润或销售额最大化的目的。

我刚毕业时候也做过一个案例:废水经过污水处理厂处理后最终都会流到附近的某条河里,污水处理厂的出口会有水质检测设备,每条河流上也会有若干个水质检测站,因为水质的自然净化因素,距离检测站点越远对水质检测结果的影响越小。当时我们通过一个数学模型去预测想要保证某个检测站点主要污染物含量达标,结合其上游临近的若干个污水处理厂的距离,反推各个污水处理厂出口需保证的水质标准。

后来我们也在院线行业做过一个案例:总部需要根据不同影片的热度、放映天数、影片引入协议条款、相似影片历史票房走势等预测影片大致票房,用于辅助影院经理日常的排片决策。

精细化运营

推荐系统将合适的信息推荐给合适的人提高用户体验增强用户粘性。

用户画像在用户运营的整个生命周期(拉新、活跃、付费、留存、召回等)都起到关键性的作用。

策略分析对大量的底层数据进行分析挖掘,指导产品设计和用户交互设计等。

商业化变现

在之前的传统数仓时,就有人考虑拿自己的数据去跟其他团队去做交易,以换取自己需要的其它数据,或者在保证数据安全的前提下把多个不同组织的数据汇集到一个权威公立的平台,进行联合建模,大家各取所需。

移动互联网时代,天上真的会掉馅饼了,最直观的感受就是,出现了很多“免费”的午餐。新兴互联网公司通过这种免费的手段,一方面通过砸钱快速占领市场,另一方面搜集尽可能多的用户数据。他们通过市场占有率和海量的数据都得到了天价的估值。

海量的数据搜集进来后,很多公司会基于这些数据做深入的分析加工,提炼出有价值的信息,在数据合规的前提下进行售卖,比如分析报告、标签结果,或者对外直接提供数据营销服务帮助广告主获客。

3. 常见的数据应用有哪些

运营分析系统

数据应用特别是数仓应用,大家首先想到的都是先做一批报表,方便一线业务、各级别领导及时的查看业务发展。我们需要深入的与相关负责人沟通确认需求,尽量让他们参与进来。

完成经营分析系统需求的同时,我们也需要面向中短期规划,完成数据仓库底层能力的建设。

上图的黄色和蓝色部分是该阶段的重点实现目标,运营监控和部分数据服务也可以做一些,这些需要根据业务那边的优先级去做取舍,数仓er切不可想当然。

专题分析

我们需要带着目的去做专题分析,将业务目标拆解成一个个可量化的业务指标,抓住核心指标努力去提升它,从而带动业务增长,实现精细化运营。

下边是一张电商行业的专题分析总图:

下边两张是专题分析总图里,网站运营分析的细化:

综合发布系统

        我刚毕业做的那个项目就叫做“***数据中心和综合分析发布系统”,今年杭州市也对外开放了部分政务数据,凡是符合条件的公司都可以到该平台获取数据。

该系统会做为统一的对外数据出口,展现形式可以是表格、文件、接口、数据报告等等。

用户画像

        用户画像就是分析用户群体的物理属性、行为数据等,给相似的用户群体打上一系列标签,以便我们更深入的了解客户偏好和行为习惯,从而更加精准的开展获客和运营,拿更少的投入取得更大的增长。

4. 最后的话

        以上介绍的,只是我过去项目上的经验,相信其它公司也会有别的更好的数据应用。

我接下来也希望能在这方面做点事情,希望能与广大网友做更深度的连接,我们共同成长。

到此“数据仓库详细介绍”系列终于更新完了,后续我还会再补充两篇:数据资产管理、数仓建模-维度和事实介绍。

原文链接:数仓架构 (yuque.com)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/562070.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Taro小程序富文本解析4种方法

1. Taro组件rich-text 优点:使用极其方便,引用一下就行了。缺点:不支持视频,放弃!2. wxParse https://github.com/icindy/wxParse 优点:支持样式,视频缺点:进入页面图片会有由大变正常,太影响了吧。3. taro-parse https://taro-ext.jd.com/plugin/view/5e61f2acb33351…

【Netty】Netty 概述(一)

文章目录 前言一、Java原生API之痛二、Netty的优势2.1 非阻塞 I/O2.2 丰富的协议2.3 异步和事件驱动2.4 精心设计的API2.5 丰富的缓冲实现2.6 高效的网络传输 三、Netty 核心概念3.1 核心组件3.1.1 事件模型3.1.2 字节缓冲区3.1.3 通信API 3.2 传输服务3.2.1 NIO3.2.2 epoll3.2…

让数据背后的那些话创造价值 | 数据增长

从行业背景而言,流量红利逐渐消失,野蛮生长的互联网时代接近尾声。传统的烧钱模式、靠体力投放的形式日渐乏力。但是,企业总是要追求增长的。所以在行业大背景下,依靠技术和数据的力量寻求更科学、更高效的方法达成营销目标&#…

Windows系统数据结构——最小生成树、Prim算法和Kruskal算法

我是荔园微风,作为一名在IT界整整25年的老兵,今天总结一下Windows系统数据结构——最小生成树、Prim算法和Kruskal算法。 我在各在论坛看了很多相关帖子,发现一个简单的问题都被复杂化了。最小生成树、Prim算法和Kruskal算法真的没有大家想的…

【JavaSE】Java基础语法(五):数组详解

文章目录 🍸1.1 数组介绍🍸1.2 数组的动态初始化1.2.1 什么是动态初始化1.2.2 动态初始化格式🍸1.3 数组元素访问1.3.1 什么是索引1.3.2 访问数组元素格式1.3.3 示例代码 🍸1.4 内存分配1.4.1 内存概述1.4.2 java中的内存分配 &am…

Ubuntu crontab 遇到的sh脚本一些问题(手动执行可以,自动执行不行)

问题一: 问题描述: 在写一个脚本循环时候,出现“let:not found”,这是因为在ubuntu默认是指向bin/dash解释器的,dash是阉割版的bash,其功能远没有bash强大和丰富.并且dash不支持let和i等功能. 解决办法: 打开一个终端输入&#xf…

springboot基于Java的校园二手物品交易平台jspm9qw4i

本基于Java的校园二手物品交易平台采用Java语言和Jsp技术,框架采用SPRINGBOOT,搭配Mysql数据库,运行在Idea里。本系统针对校园二手商品的交易而开发,提供管理员、学生、学生二手三种角色的服务。总的功能包括商品的查询、商品的购…

基于html+css的图展示89

准备项目 项目开发工具 Visual Studio Code 1.44.2 版本: 1.44.2 提交: ff915844119ce9485abfe8aa9076ec76b5300ddd 日期: 2020-04-16T16:36:23.138Z Electron: 7.1.11 Chrome: 78.0.3904.130 Node.js: 12.8.1 V8: 7.8.279.23-electron.0 OS: Windows_NT x64 10.0.19044 项目…

【六袆 - Redis】Redis内存数据库;redis数据结构;redis文档

Redis 关于redis 官方文档: https://redis.io/docs/about/ https://redis.com/redis-enterprise/data-structures/ 关于redis Redis: 是一个开源(BSD 许可)内存数据结构存储,用作数据库、缓存、消息代理和流引擎。Redis提供数据结…

CNVD - 5000w通用产品的收集方法

本文转载于:https://mp.weixin.qq.com/s?__bizMzg5OTY2NjUxMw&mid2247507214&idx1&sn0e6df46ee930cb35ab0650867cef8af5&chksmc04d5a30f73ad3261a6fa6a8cb8c4ddc4ee8fac2a58f495c05030adc2d27e3ead65264f24f75&mpshare1&scene23&srcid…

MySQL业务并发减数量,数量未减

业务背景 最近在折腾老系统,折腾了好久,发现一个数据库问题,用户点赞数量,如果用户取消点赞情况下,正常情况10次取消数据库都返回成功,但其中有2次没有取消。 数据库场景 在MySQL中看下面一个场景。 业务…

jQuery操作练习-隔行变色

<!DOCTYPE HTML> <html> <head> <meta http-equiv"Content-Type" content"text/html; charsetUTF-8"> <title>jQuery操作练习-隔行变色</title> <script type"text/javascript&q…

越来越好玩,用ChatGPT+Python 做有声小说!

菜鸟学Python-第623篇原创 现在我们几百人的会员群已经玩的越来越高级了&#xff0c;利用chatgpt花色玩法&#xff01;有玩百度问一问每天早上6点多起来抢单的&#xff0c;有玩微信机器人帮人部署接单的&#xff0c;也有玩咸鱼去给大学生指导论文的&#xff01; 利用chatgpt4玩…

USB设备连接和枚举

https://space.bilibili.com/489340606/channel/collectiondetail?sid896957 以下图片来自于沁恒微电子蔡亮工程师的讲课&#xff0c;对USB开发入门很有好处。 1. USB主设备和从设备 2. USB设备按功能分类 3. USB功能设备内部架构 可以有多个配置&#xff0c;但同一个时间只…

华为OD机试真题 Java 实现【字母组合】【2023Q1 200分】

一、题目描述 每个数字对应多个字母&#xff0c;对应关系如下&#xff1a; 0&#xff1a;a,b,c 1&#xff1a;d,e,f 2&#xff1a;g,h,i 3&#xff1a;j,k,l 4&#xff1a;m,n,o 5&#xff1a;p,q,r 6&#xff1a;s,t 7&#xff1a;u,v 8&#xff1a;w,x 9&#xff1a;y, z …

PostGIS的10个最佳实践

PostGIS 是一个功能强大的开源空间数据库&#xff0c;可用于存储、查询和分析地理空间数据。 对于需要存储和分析大量地理空间数据的组织来说&#xff0c;这是一个流行的选择。 但是&#xff0c;正确使用 PostGIS 以充分利用它很重要。 在本文中&#xff0c;我们将讨论 10 个 …

Mit6.006-lecture09-Breadth-First-Search

一、新单元&#xff1a;图 Quiz 1包含lecture01到lecture08&#xff0c;关注数据结构和排序 今天开始新单元&#xff0c;lecture09-lecture14&#xff0c;关注图算法 二、图应用 图无处不在 任何网络系统都存在有向连接图 比如&#xff1a;路网、计算机网络、社交网络 任…

1146 Topological Order(31行代码+详细注释)

分数 25 全屏浏览题目 作者 CHEN, Yue 单位 浙江大学 This is a problem given in the Graduate Entrance Exam in 2018: Which of the following is NOT a topological order obtained from the given directed graph? Now you are supposed to write a program to test …

Elasticsearch:在 Elastic 中访问机器学习模型

作者&#xff1a;Bernhard Suhm, Josh Devins Elastic 支持你需要的机器学习模型 Elastic 让你可以应用适合你的用例和 ML 专业水平的机器学习 (ML)。 你有多种选择&#xff1a; 利用内置的模型。 除了我们的可观察性和安全解决方案中针对特定安全威胁和系统问题类型的模型外…

Ubuntu crontab定时任务

1. crontab 相关的命令&#xff1a; 安装&#xff1a;apt-get install cron 启动&#xff1a;service cron start 重启&#xff1a;service cron restart 停止&#xff1a;service cron stop 检查状态&#xff1a;service cron status 查询cron可用的命令&#xff1a;service …