数据时代,漫谈数据建模

news2025/1/10 19:17:01

不管什么样的模型都可以理解为一种预设,比如像一张大宽表,它的维度和指标在大宽表中就是固定的,只是维度列多一些,指标多一些,给了用户更多的一种组合维度和指标的可能,并不是说就没有模型的概念。

在理解了这个概念之后,我们再来讲下什么是商业智能BI的前端建模和后端建模,它们有什么区别和联系。

可视化分析 - 派可数据商业智能BI可视化分析平台

什么是数据模型

数据模型是现实世界或业务逻辑在数据层面的投影,是将数据元素以标准化的模式组织起来,用来模拟现实世界的信息框架和蓝图。

商业智能BI的前端建模

商业智能BI的前端建模可以理解为我们通过BI的前端可视化分析工具来完成数据分析的建模过程。

一种方式是加载一些文本文件比如常用的EXCEL表,可以将文本类型的字段自动转化成分析的维度Dimension,将数值类型的自动转化为被分析的数据就是度量Measure,用户就可以通过BI分析工具自由的拖拉拽完成维度和度量的组合,进行数据的可视化展示或者分析,这种维度和度量的这种组合就构成了一个最简单的分析模型。

商业智能BI的后端建模

那么在数据仓库中建模的方式就叫后端建模,就是在数据仓库中预先把维度表Dimension Table和事实表Fact Table 先处理好存储起来,这些维度表和事实表本身就可以通过维度字段的关联形成星型和雪花型模型。

星型模型 - 派可数据商业智能BI可视化分析平台

雪花型模型 - 派可数据商业智能BI可视化分析平台

在构成维度表和事实表之前,底层的ETL要做大量的数据抽取、转化和加载的工作,这也是整个BI项目建设的核心,开发工作量最大的一部分,差不多要占到项目开发80%左右的时间和精力。

商业智能BI项目架构

所以,一个企业级的、完整的最佳实践的BI项目架构应该是什么样的?就是利用BI数据仓库的建模,即后端建模将大部分的、标准的、高度可复用的分析模型预先设计好沉淀出来,形成标准的维度和事实表存储起来。

可视化分析 - 派可数据商业智能BI可视化分析平台

之后再通过BI前端可视化分析工具来连接到数据仓库数据库,访问这些可以构成各种分析模型的表,进行可视化分析。遇到特别的分析场景,底层数据仓库的后端模型不能够满足分析场景需要的时候,就可以借助商业智能BI可视化工具的前端建模能力来扩展一些分析模型,完成前端建模和可视化分析的工作。

数据模型的作用

方便人与人之间信息的传递和沟通。

方便人们通过数据模型去理解现实世界。

计算机通过算法模型、规则模型,可以预测客观虚拟事物的发展或轨迹。

现实世界的虚拟事物,抽象到信息世界逻辑模型,再转换成计算机世界的数据模型,而计算机能够存储和识别的是物理模型。

可视化分析 - 派可数据商业智能BI可视化分析平台

数据模型的用途

以一种结构化、方便理解特定事实的组织方式呈现给人,比如BI模型、分析模型。

帮助更好的理解业务,比如业务模型、概念模型、领域模型、逻辑模型。

根据对样本数据或人的经验猜想,构建模型,去预测其它同类事物或场景,比如算法模型。

将现实世界的信息转化成数据模型,呈现给计算机,可以用于存储或计算,比如物理数据存储模型

根据数据模型用途的不同,建模方法也大相径庭。所以我们在做数据建模前,一定要先想清楚所建模型的具体用途和场景。

我们所说的数仓建模,实际上就是构建一种数据存储模型,用于结构化存储我们日常业务行为或信息化系统存储下来有价值的数据。

数据仓库 - 派可数据商业智能BI可视化分析平台

数据建模意义

降低的存储成本,同时提高的查询效率

可以清晰明了的数据结构方便理解和使用

简化了ETL的处理逻辑

为数据质量提供保障,包括数据的一致性、准确性、完整性、时效性

可以更灵活的应对变化并且可以满足客户需求

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/75401.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python实战案例,PyQt5模块,实现疫情信息快速查看工具(附源码)

前言 今天给大家介绍的是Python疫情信息快速查看工具,在这里给需要的小伙伴们代码,并且给出一点小心得。 PyQt概述 PyQt5是Qt框架的Python语言实现,由Riverbank Computing开发,是最强大的GUI库之一。PyQt提供了一个设计良好的窗…

springcloud3 EurekaClient单机搭建2

一 EurekaClient-provider提供者搭建 工程架构 1.1 搭建步骤 1.1.1 复制模块 复制mscloud-provider模块变成 mscloud-provider8004 1.1.2.修改pom 新增eureka-client的依赖 完整代码 <dependency><groupId>junit</groupId><artifactId>junit</…

Pluggy源码解读----pluggy源码解读基础准备

【原文链接】Pluggy源码解读----pluggy源码解读基础准备 解读pluggy源码&#xff0c;直接使用pytest环境中安装的pluggy即可&#xff0c;比如这里安装的pluggy版本是1.0.0&#xff0c;为了更好的理解源码&#xff0c;这里首先使用如下应用代码作为应用实例&#xff0c;从如下代…

ASEMI电磁炉整流桥KBJ2510参数和性能

编辑-Z ASEMI电磁炉整流桥KBJ2510参数和性能怎么样呢&#xff1f;ASEMI采用波峰的GPP大芯片&#xff0c;工艺制造&#xff0c;稳定性高&#xff0c;抗冲击性强。KBJ2510具体参数为&#xff1a;正电流&#xff1a;25A&#xff0c;反向耐压&#xff1a;1000V&#xff0c;反向电流…

openai注册流程

前置条件 1、注册登陆的时候需要使用梯子&#xff0c;梯子使用美国的&#xff0c;其他地区的梯子不一定正常使用 2、海外短信验证码 3、整个流程使用梯子 4、登陆后可以不用梯子-正常使用 openai网址 https://chat.openai.com https://openai.com https://beta.openai.…

四面阿里斩获offer定级为P7+ 2022年最新阿里巴巴70道高级面试题

前言 **四面阿里的面经总结&#xff1a;**我觉得有一个能够找一份大厂的 offer的想法&#xff0c;这是很正常的&#xff0c;这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司 / 小公司…

鸿翼档案信创管理系统——为您的数字资产加上“安全锁”

为了应对日益复杂的国际形势&#xff0c;确保关键技术自主可控、保障关键技术自主可控、保障网络信息安全&#xff0c;我国再近几年提出了信息技术应用创新战略&#xff08;简称“信创”&#xff09;。 通俗来讲&#xff0c;信创就是在核心芯片、基础硬件、操作系统、中间件、…

K_A08_012 基于 STM32等单片机驱动 DRV8833 模块按键控制直流电机正反转

目录 一、资源说明 二、基本参数 参数 引脚说明 三、驱动说明 驱动时序 对应程序: 四、部分代码说明 接线说明 STC89C52RCDRV8833模块 STM32F103C8T6DRV8833模块 五、基础知识学习与相关资料下载 六、视频效果展示与程序资料获取 七、项目所有材料清单 八、注意事项 九…

《自己动手写CPU》学习记录(4)——第4章/Part 2

目录 引言 致谢 拥有Linux开发环境 1、Linux虚拟机安装 2、共享文件夹 GNU工具链安装 Makefile RAM.ld Bin2Mem.exe 注意 路径 测试 引言 上篇文章实现了 ori 指令&#xff0c;并且搭建验证平台&#xff0c;验证了功能的正确性。但是有一个问题就是&#xff0c;当…

寻找网络1020的结构平衡点

( A, B )---2*n*2---( 1, 0 )( 0, 1 ) 用网络分类A和B&#xff0c;让A是&#xff08;0&#xff0c;1&#xff09;&#xff08;0&#xff0c;0&#xff09;&#xff0c;让B是&#xff08;1&#xff0c;0&#xff09;&#xff08;0&#xff0c;0&#xff09;。记为网络1020.AB的…

湖南中医药大学宿舍无线网络一体化项目

第二次上大王老师的课&#xff0c;上学期的微机这学期的计网&#xff0c;这学期一开学就是一个大项目&#xff0c;对于零基础&#xff0c;零经验的我们来说&#xff0c;老师布置给我们一项比较重大的任务就是——从零开始为我们学校宿舍部署无线网络。刚开始觉得这肯定完不成&a…

CRM客户管理系统能为小微型企业带来哪些优势?

回款&销售排名看板CRM&#xff08;顾客关系管理工作控制系统&#xff09;在亚洲地区发展了三十余年&#xff0c;让众多民营企业管理工作形式成功的从实体店转至线上&#xff0c;因此协助民营企业展开管理工作上的高效率提高&#xff0c;CRM控制系统做为两个能协助各类民营企…

python学习中的各种迷一样的问题之一

神秘一 Argument name should be lowercase oneX这个变量名可以改成one_x 神秘二 无缘无故被in 到def里的main() 原因是400行少了个" ) " 神秘三一个文件位置引发的血案 无法执行使用所选元素重构,别用捷克键盘来唬人了 test_03_2022-1202_to_2022-1209.py在…

你不知道13个嵌入式C语言优化技巧

【推荐阅读】 关于如何快速学好&#xff0c;学懂Linux内核。内含学习路线 深入linux内核架构--内存管理 了解ixgbe网卡驱动— 驱动注册&#xff08;纯代码分享&#xff09; 手把手教你如何编写一个Makefile文件 需要多久才能看完linux内核源码&#xff1f; 嵌入式系统受其使用的…

H02-RCNN和SPPNet

目录 1.目标检测-Overfeat模型 1.1 滑动窗口 1.2 Overfeat模型总结 2.目标检测-RCNN模型 2.1 完整的R-CNN结构 2.1.1 候选区域(Region of lnterest)得出(了解) 2.1.2 CNN网络提取特征 2.1.3 特征向量训练分类器SVM 2.1.4 非最大抑制&#xff08;NMS&#xff09; 2.1.…

Mybatis-plus 源码执行全流程解析

Mybatis-plus 源码执行全流程解析 废话 少数流程开始&#xff1a; 1、业务入口&#xff1a;userMapper.insertBatch(entityList); 执行到代理类&#xff1a; $Proxy222 (com.sun.proxy) 开始走代理流程&#xff0c;然后到了代理类&#xff1a; idea 执行流程取出栈信息&…

Mybatis增删改查

Mybatis增删改查 1&#xff0c;配置文件实现CRUD 1.1 环境准备 数据库表&#xff08;tb_brand&#xff09;及数据准备 -- 删除tb_brand表 drop table if exists tb_brand; -- 创建tb_brand表 create table tb_brand (-- id 主键id int primary key auto_increment,…

string的认识和使用

目录 一、网站上查看string类 1.网站 2.网站上的string类 二、string类的成员函数 1.默认成员函数 &#xff08;1&#xff09;构造函数、拷贝构造函数和析构函数 &#xff08;2&#xff09;赋值运算符重载 &#xff08;3&#xff09;容量操作 &#xff08;4&#xff09…

JavaWeb用户信息查看的登录、增删改查案例

黑马JavaWeb案例整理记录 文章目录案例源码&#xff1a;一、需求二、设计1、技术选型2、数据库设计三、开发步骤四、详细过程1、创建web项目&#xff0c;部署tomcat&#xff0c;导入jar包2、编写首页index.jsp3、编写servlet、servie、daomain、dao五、案例升级实现1、实现内容…

成长任务|花式show爱心代码

❤️立即投稿❤️ &#x1f4cc;活动规则 最近#李峋同款爱心代码#词条上了热搜&#xff0c;作为程序员的你&#xff0c;可不能错过这个给意中人大展身手的时机 ❤️ 使用代码画一颗#爱心#&#xff0c;将你的代码文件通过本页面投稿&#xff0c;审核通过即可参与活动 ❤️ 可使…