大数据测试之数据仓测试怎么做(上)

news2025/2/3 2:46:41

前面的文章我们为大家介绍了大数据测试平台和大数据系统的测试方法,接下来我们重点来讲一下数据仓库测试,首先看一下它的定义。 

数据仓库(Data Warehouse):一个面向主题的(Subject Oriented)、集成的 (Integrated)、相对稳定的(Non-Volatile)、反映历史变化的(Time Variant)数据集合,用于支持管理决策和信息的全局共享。


从上面这个图中我们可以看到,穿插了一个“ETL”的概念。什么是“ETL”呢?ETL是指从数据源提取数据,经过清洗、转化、加载,并最终存储到目标数据仓库的过程。

也就是图中表示的,从数据抽取到数据加载的整个过程,我们称之为“ETL”。

了解完整体概念后,我们一起来了解一下中通数据仓库的框架


ODS:源数据层,和业务数据保持一致,保留最近七天的数据。
DW:明细数据层,数据经过了清洗转化,明细模型数据。
DM:数据仓库层,根据业务主题、颗粒多不同做汇总,形成宽表。
DIM:数据维度层,提供基础配置信息、用户信息。
ST:数据应用层,为数据产品提供结果数据。

可能这个图片上的有一些名称大家看起来有些陌生,因为不同的公司可能在命名的时候会有所不同,包括分层也会有所差别,但是整体的思想都是差不多的。

首先我们来看一下操作数据层,它主要存储的是从业务操作系统抽取过来的数据,是保持不变的,在中通这边ODS层(操作数据层)一般会保留7天。

然后对操作数据层的数据进行清洗、转化之后,会把数据存到DW层。DW层主要做两个事情,第一个是存储经过清洗和转换的数据,第二点就是可能会有一些公共的明细数据需要在这里做一个明细的模型,主要是做这两块。

再上面一层是汇总数据层,主要是对共有的一些属性维度去进行汇总。然后在这个图里我们还可以看到有一个维度层,维度层主要是提供的基础的配置信息、用户信息,一般是配合其他层的数据来使用的。最上面一层是ST数据应用层,是各种指标的数据汇总展示。

后面的文章我们会将整个架构打平来展示,通过流程图的方式继续为大家介绍数据仓以及数据仓的测试方法。

(本系列文章根据《优品软件培育计划》公益直播内容整理,观看直播回放可以私信我获取观看链接。)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/762318.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

给学弟妹们的 10 个秋招建议!

大家好,我是鱼皮。最近很多大公司的提前批陆陆续续开启了,说明秋招已经拉开了序幕,大家要准备起来了。 所以我也赶紧写了一篇文章,结合自己曾经大厂求职的经验,并且从招聘方的角度,给学弟妹们一些秋招找工…

机器人架构设计和中间件

一.引言 在无人驾驶与机器人领域,算法一直都是研究的核心。无论是导航技术、控制技术,还是识别技术都是构成其技术栈的重要组成部分。但是,随着技术的发展,开发者们逐渐认识到一个问题,即程序本身的组织架构…

善用AI; AI生成美女图片中隐藏汉字,光影艺术引爆网络讨论

🦉 AI新闻 🚀 AI生成美女图片中隐藏汉字,光影艺术引爆网络讨论 摘要:近期,一组AI生成的美女图片在网络上疯传,用户发现这些图片中隐藏了汉字。这种光影艺术效果引起了广泛关注和讨论。AI绘画工具ControlN…

红外雨量计(光学雨量传感器)在小型气象站的应用

红外雨量计(光学雨量传感器)在小型气象站的应用 红外雨量计是一种常见的气象测量设备,也是小型气象站中一个重要的组成部分。随着现代科技的发展,红外雨量计逐渐取代了传统的测雨器,成为广大气象从业人员的首选设备。…

新建Proteus工程文件以及51单片机的最小系统的绘制和简单介绍

一、新建Proteus工程 1.创建一个新的文件夹存放工程 2.打开Proteus 8软件,界面如图所示 3.点击【新建工程】 4.填写工程名称,选择工程保存路径(步骤1中创建的新文件夹)后点击【Next】 5.选择【从选中的模板中创建原理图】,选择具体…

startqueue(模拟实现及底层原理)

目录 容器适配器 STL标准库中stack和queue的底层结构 ​deque deque的原理 deque的缺陷 为什么选择deque作为stack和queue的底层默认容器 stack stack的介绍 stack的函数 stack的模拟实现 queue queue的介绍 queue的函数 queue的模拟实现 priority_queue prior…

opencv基础09-图像运算之-加法运算(图像增强预处理)

opencv基础09-图像运算 什么是图像运算? 在图像处理过程中,经常需要对图像进行加法运算。可以通过加号运算符“”对图像进行加法运算,也可以通过 cv2.add()函数对图像进行加法运算。 通常情况下,在灰度图像中,像素用…

美颜滤镜SDK:打造个性化直播体验的关键工具

时下,美颜滤镜SDK则成为了打造个性化直播体验的关键工具。美颜滤镜SDK,顾名思义,就是一种可以为直播画面添加美颜效果的软件开发工具包。通过该SDK,用户可以在直播过程中使用各种美颜滤镜,让自己的肌肤更加细腻、光滑&…

云原生之深入解析K8S中Ceph的部署与功能测试

一、前言 Ceph 在 k8s 中用做共享存储还是非常方便的,Ceph 是比较老牌的分布式存储系统,非常成熟并且功能也强大,支持三种模式(快存储、文件系统存储、对象存储),那么如何在 k8s 使用 ceph 呢?…

横向滚动日期显示对应周几

common.js: //获取当前时间&#xff0c;格式YYYY-MM-DD HH:MM:SS const GetNowTime time > {var date time,year date.getFullYear(),month date.getMonth() 1,day date.getDate(),hour date.getHours() < 10 ? "0" date.getHours() : date.getHours…

前端学习——ajax (Day1)

AJAX 概念和 axios 使用 axios 使用 练习 <!DOCTYPE html> <html lang"zh-CN"><head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" …

docker-compose安装redis高可用哨兵集群(一主二从三哨兵)

以redis 7.0为例子 直接上代码 docker-compose.yaml version: 3.3 services:master:image: redis:7.0container_name: redis-master#restart: alwayscommand: redis-server --port 6379 --requirepass root --appendonly yes --masterauth root --replica-announce-ip 192.1…

什么是 TCP 和 UDP?Java 中如何实现 TCP 和 UDP 协议

在计算机网络中&#xff0c;TCP&#xff08;传输控制协议&#xff09;和UDP&#xff08;用户数据报协议&#xff09;是两种最常用的传输层协议。它们都用于在网络上传输数据&#xff0c;但是它们之间有很多不同之处。本文将介绍TCP和UDP的基本概念&#xff0c;以及在Java中如何…

一、基础-4、MySQL启动和客户端连接

一、启动 方法一&#xff1a; 1、winR&#xff0c;输入services.msc&#xff0c;按回车 2、找到MySQL&#xff0c;右键-启动/停止 MySQL安装后&#xff0c;默认已启动。 方法二、 1、winR&#xff0c;输入cmd&#xff0c;打开命令行 2、输入启动与停止命令 二、客户端连接 …

港联证券-“肉签”频出!这周打新看TA们→

近期&#xff0c;新股市场有所回暖&#xff0c;“赚钱效应”随之提高。Choice数据显现&#xff0c;上星期8只新股的上市首日均匀涨幅为56%&#xff0c;呈逐周上涨态势。其中&#xff0c;赛维年代首日大涨115.11%&#xff0c;中一签约可赚1.2万元&#xff1b;昊帆生物、英华特、…

ShardingSphere项目实战集群环境准备

&#x1f680; ShardingSphere &#x1f680; &#x1f332; 算法刷题专栏 | 面试必备算法 | 面试高频算法 &#x1f340; &#x1f332; 越难的东西,越要努力坚持&#xff0c;因为它具有很高的价值&#xff0c;算法就是这样✨ &#x1f332; 作者简介&#xff1a;硕风和炜&…

React06-简单实战案例

一、计时器 1. 案例场景 计时器在很多网站中都有使用&#xff0c;以时分秒的格式展示当前时间&#xff0c;每秒刷新一次。 2. 案例展示 展示的时间将随着系统时间&#xff0c;每秒刷新一次。 3. 案例代码 import { useState, useEffect } from react;export default func…

golang中的【数组】相关知识点

目录 数组含义数组定义形式数组的声明初始化方式数组变量的类型 arr的特征数组的遍历遍历的用法二数组的值传递数组的引用&取地址 传送二维数组的相关操作定义二维数组初始化遍历 Golang是一种高效的编程语言&#xff0c;具有很多特性和优点&#xff0c;其中之一就是其对数…

查看服务器GPU使用情况,以及使用GPU的用户

查看服务器GPU使用情况&#xff0c;以及使用GPU的用户 1.查看gpu使用情况 nvidia-smi2.查看是谁在占用gpu ps -f -p PID例如 ps -f -p 1986875就可以看到是谁在用了

谷歌发布ALBERT V2和中文模型

2019年9月推出时&#xff0c;谷歌的ALBERT语言模型在GLUE、RACE和SQuAD 2.0等流行的自然语言理解&#xff08;NLU&#xff09;基准上取得了SOTA结果。谷歌现在发布了一个主要的V2 ALBERT更新和开源的中国ALBERT模型。 正如全名“A Lite BERT”所示&#xff0c;ALBERT是该公司B…