数据仓库是什么

news2024/11/18 23:30:35

写在前面

刚接触大数据的新手小白可能会对数据仓库这个词比较陌生,本文将介绍数据仓库的主要特征及OLTP&OLAP的区别,帮助读者更好理解数据仓库。

一、什么是数据仓库

数据仓库,简称数仓,是一个对数据进行加工,集成,计算,并最终用于存储、分析、报告的数据系统。

数据仓库接收来自各个外部系统的数据,加工处理后,提供给各个外部应用使用。从数据流向上看,数据在业务系统产生,流转到数据仓库,进行处理后,流向各个数据使用方。

在这里插入图片描述

二、数据仓库的主要特征

数据仓库是面向主题的、集成的、稳定的,反映历史变化的数据集合,用以支持管理决策。

2.1 面向主题的

业务系统更加关注面向业务过程的事务处理(OLTP),并且不同业务系统之间可能是相互隔离的,与业务系统不同的是,数据仓库关注面向主题的数据分析,在数仓中,数据是按照不同的主题区分的。主题是一个相对抽象的概念,是在一个较高的层面对企业级数据综合,归类并加以分析的抽象体,它对应的是企业中某一具体分析领域中所涉及的分析对象。

在这里插入图片描述

2.2 集成的

各个业务系统之间可能是相互隔离的,数据彼此分散,独立,异构,当需要分析一个主题的数据而该主题数据又分散在不同的业务系统中时,对数据进行集成就很有必要了,集成是将各个业务系统的数据进行抽取、清洗、转换和汇总,这是数据仓库建设中最关键,最重要,最复杂的一个环节

2.3 稳定的

数据一旦进入数据仓库,它便稳定且不会改变,每次相同条件的查询结果都是一致的。在数据仓库中,对数据进行的操作主要是查询,目的是对数据进行分析,发现数据中的规律,像修改和删除这种操作是很少的,并且进入到数据仓库的数据一般会保留比较长的时间。

2.4 反映历史变化的

数据仓库包含各种粒度的历史数据,这些数据可能与日期、月份、季度或者年份等时间属性。

与业务系统只关系数据当前状态不同,数据仓库侧重点是分析,因此,它在关注数据当前状态的同时也会关注数据的历史状态。

数据仓库的数据随时间而变化主要体现在以下几个方面:
(1)数据仓库的数据时限一般要远远长于操作型数据的数据时限。
(2)操作型系统存储的是当前数据,而数据仓库中的数据是历史数据。
(3)数据仓库中的数据是按照时间顺序追加的,它们都带有时间属性。

三、OLTP与OLAP

在这里插入图片描述

OLTP

联机事务处理(On-Line Transaction Processing)

重点在事务处理,针对业务系统中的具体业务在数据库中的日常操作,一般是对少数记录进行查询,修改,更新。用户更关心的是操作的响应时间、数据安全、完整和支持并发等生产安全相关的问题。RDBMS是OLTP系统的典型应用,即是我们俗称的数据库,当然这里强调的是关系型数据库如MySQL。

OLAP

联机分析处理(On-Line Analytical Processing)

重点在于分析,这类主要是对数据进行集成,汇总,并通过复杂多维度的处理分析,以达到支持管理决策的目的。

现代OLAP系统一般以数据仓库作为基础,即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储器中供前端分析工具读取,在多维度的分析中,发现数据中的规律。

总结

实际上OLTP和OLAP是两种处理数据的方式,他们各有优劣,各有侧重点。而OLAP作为数据仓库的主要应用,在企业管理决策中发挥着越来越重要的作用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1629609.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

信息系统项目管理师0073:网路集成(5信息系统工程—5.3系统集成—5.3.2网路集成)

点击查看专栏目录 文章目录 5.3.2网路集成5.3.2网路集成 计算机网络系统集成不仅涉及技术问题,而且涉及组织的管理问题,因而比较复杂,特别是大型网络系统更是如此。从技术角度讲,网络集成不仅涉及不同厂家的网络设备和管理软件,也会涉及异构和异质网络系统的互联问题。从管…

【算法学习】day1

文章目录 双指针算法移动零复写零 双指针算法 移动零 思路:通过定义两个下标作为双指针,cur从开始对整个数组进行遍历,而我们的dest代表的是非零元素的最后一个位置,cur位置为0的时候就cur,不为0元素的时候就交换dest…

STM32单片机C语言模块化编程实战:按键控制LED灯详解与示例

一、开发环境 硬件:正点原子探索者 V3 STM32F407 开发板 单片机:STM32F407ZGT6 Keil版本:5.32 STM32CubeMX版本:6.9.2 STM32Cube MCU Packges版本:STM32F4 V1.27.1 之前介绍了很多关于点灯的方法,比如…

设计模式学习笔记 - 项目实战一:设计实现一个支持各种算法的限流框架(实现)

概述 上篇文章,我们介绍了如何通过合理的设计,来实现框架的功能性需求的同时,满足易用、易扩展、灵活、低延迟、高容错等非功能性需求。在设计的过程中,我们也借鉴了之前讲过的一些开源项目的设计思想。比如 Spring 的低侵入松耦…

【ETAS CP AUTOSAR工具链】RTE层基本概念与开发流程

本篇文章续接上篇文章【ETAS CP AUTOSAR工具链】基本概念与开发流程,继续按上篇文章描述的ETAS CP工具链进行开发的基本框架,讲述了“RTE集成与配置”这部分的基本概念与开发流程。 RTE(Runtime Environment)处于应用层与基础软件…

Web前端开发 小实训(一) 成绩分类统计

用于学生web前端开发课程实训练习,掌握基本语法和数据类型 实训目的 使用分支语句,完成分数统计与等级对比,通过输入框输入分数,可以根据分数多少划分等级。 参考思路: 分析题目:根据输入分数进行等级划分。 操作过…

声光控路灯控制系统设计与仿真

目录 前言 一、设计任务 二、系统组成及工作原理 1、总体设计思路 2、电路各模块设计简介 (1)光控电路 (2)声控电路 (3) 逻辑控制电路 (4) 延时电路 三、系统中电源模块的设计 1、方案比较和确定 2、 设计思路 3、直流…

自定义View-旋转变色圆角三角形的绘制

本文字数:3151字 预计阅读时间:20分钟 在现代设计中,动效图在APP的UI界面中所起到的作用无疑是显著的。相比于静态的界面,动效更符合人类的自然认知体系,它有效地降低了用户的认知负载,UI动效俨然已经成为了…

利用ENVI SPEAR工具和WV-2卫星影像数据量测水深

ENVI的SPEAR工具集((Spectral Processing Exploitation and Analysis Resource))是将很多的遥感图像处理过程集成为流程化的操作方式,使得遥感图像处理知识相对薄弱的非专业人员也能利用流程化的工具进行图像处理,图像处理速度也有…

自动驾驶框架 UniAD环境部署

感谢大佬们的开源工作 UniAD-github地址-YYDS更多bev算法部署参考如果您觉得本帖对您有帮助,感谢您一键三连支持一波^_^ 统一自动驾驶框架 (UniAD) ,第一个将全栈驾驶任务整合到一个深度神经网络中的框架,并可以发挥每个子任务以及各个模块的…

[每周一更]-(第94期):认识英伟达显卡

英伟达显卡:引领图形计算的领先者,显卡也常称为GPU(图形处理器 Graphics processing unit),是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上执行绘图运算工作的…

【STM32+HAL】三轴按键PS2摇杆

一、准备工作: 有关CUBEMX的初始化配置,参见我的另一篇blog:【STM32HAL】CUBEMX初始化配置 有关定时器触发ADC模式配置,详见【STM32HAL】ADC采集波形实现 二、所用工具: 1、芯片: STM32F407VET6 2、CUBE…

大数据面试题 —— Spark数据倾斜及其解决方案

目录 1 调优概述2 数据倾斜发生时的现象3 数据倾斜发生的原理4 如何定位导致数据倾斜的代码4.1 某个 task 执行特别慢的情况4.2 某个 task 莫名其妙内存溢出的情况5 查看导致数据倾斜的 key 的数据分布情况6 数据倾斜的解决方案6.1 使用 Hive ETL 预处理数据6.2 过滤少数导致倾…

Ubuntu中的 Everything 搜索软件 ==> fsearch

本文所使用的 Ubuntu 系统版本是 Ubuntu 22.04 ! 在 Windows 中,我经常使用 Everything 来进行文件搜索,搜索效率比 Windows 自带的高出千百倍。 那么在 Ubuntu 系统中,有没有类似的软件呢?那必须有,它就是 FSearch 。…

JavaScript-Web API基本认知-什么是DOM和BOM

基本认知 var、let、const选用Web API作用和分类什么是DOM什么是DOM树DOM对象(重要)什么是BOM var、let、const选用 var or let or const ? 首先var 先排除,老派写法,问题很多,可以淘汰掉… let or const …

Docker 的数据管理 与 Docker 镜像的创建

目录 一、Docker 的数据管理 1.1.数据卷 1.2.数据卷容器 1.3.容器互联(使用centos镜像) 二、Docker 镜像的创建 2.1.基于现有镜像创建 2.2.基于本地模板创建 2.3.基于Dockerfile创建 2.3.1联合文件系统(UnionFs) 2.3.2…

多线程模型浅谈

优质博文:IT-BLOG-CN 笔者近期在维护的项目中发现了一些比较随机的问题,时有时无的,排查之后发现是使用多线程导致的,恍然之下研究了下多线程的底层模型相关知识,现不大家简要分享下。 一个程序进程可包含多个线程&am…

全志ARM-超声波测距

超声波测距模块是用来测量距离的一种产品,通过发送和收超声波,利用时间差和声音传播速度, 计算出模块到前方障碍物的距离 1.测距原理: 给Trig端口至少10us的高电平发送声波,Echo信号,由低电平跳转到高电平…

【语音识别】搭建本地的语音转文字系统:FunASR(离线不联网即可使用)

参考自: 参考配置:FunASR/runtime/docs/SDK_advanced_guide_offline_zh.md at main alibaba-damo-academy/FunASR (github.com)参考配置:FunASR/runtime/quick_start_zh.md at 861147c7308b91068ffa02724fdf74ee623a909e alibaba-damo-aca…

绘唐科技AIGC怎么激活

绘唐科技AIGC怎么激活绘唐科技AIGC怎么激活绘唐科技AIGC怎么激活绘唐科技AIGC怎么激活 这里激活免费3天体验 Docshttps://qvfbz6lhqnd.feishu.cn/wiki/D3YLwmIzmivZ7BkDij6coVcbn7W