文章目录
- 1、什么离线数仓OLAP
- 2、OLAP数仓建设
- 3、OLAP数仓开发指南
1、什么离线数仓OLAP
离线数仓OLAP（Online Analytical Processing）是一种数据分析技术，它通过对离线数据仓库中的数据进行分析，为企业提供决策支持的数据分析服务。离线数仓OLAP通过多维数据分析、数据切片、数据钻取、数据透视等方式，帮助企业快速发现数据中的规律和趋势，为企业提供决策支持。
离线数仓OLAP的核心是离线数据仓库，它是一个面向主题的、集成的、稳定的、历史的数据集合，用于支持企业的决策分析。离线数据仓库中的数据经过ETL（Extract-Transform-Load）工具的处理后，被转换成适合于OLAP分析的数据模型，包括维度表和事实表。维度表包含数据的描述信息，如时间、地点、产品等，而事实表则包含数据的度量信息，如销售额、销售量等。
离线数仓OLAP的优势在于能够支持复杂的数据分析，包括多维数据分析、数据切片、数据钻取、数据透视等，能够帮助企业发现数据中的规律和趋势，为企业提供决策支持。同时，离线数仓OLAP还能够支持大规模数据的存储和处理，具有良好的扩展性和性能。
参考资料：1, 2， 3
2、OLAP数仓建设
先修课程（数据入门）：
【数据开发】数据全栈知识架构，数据（平台、开发、管理、分析）
1、技术架构上的建设
【数据开发】大数据平台架构，Hive / THive介绍
2、数仓数据库与表的建设
【数据开发】DW数仓分层设计架构与同步策略（ODS、DWD、DWS等字段含义）
补充资料：1-建设方案 , 2-OLAP数据库
3、OLAP数仓开发指南
离线数仓OLAP数据开发指南
指在离线环境下，通过ETL工具将不同数据源的数据进行抽取、清洗、转换、加载，构建出适合于OLAP分析的数据模型，为企业提供决策支持的数据分析服务。
OLAP数据开发的主要步骤：
-
数据源分析：对不同数据源的数据进行分析，包括数据结构、数据格式、数据质量等方面的分析，以确定数据抽取和转换的方式。
-
数据抽取：根据数据源分析的结果，选择适合的数据抽取方式，如全量抽取、增量抽取、定时抽取等，将数据从源系统中抽取出来。
-
数据清洗：对抽取出来的数据进行清洗，包括去除重复数据、填充缺失数据、转换数据格式等，确保数据的准确性和完整性。
-
数据转换：对清洗后的数据进行转换，包括数据合并、数据拆分、数据计算等，构建出适合于OLAP分析的数据模型。
-
数据加载：将转换后的数据加载到目标数据库中，包括维度表和事实表，以便于后续的OLAP分析。
-
数据建模：根据业务需求，对数据模型进行建模，包括维度建模、事实建模、多维建模等，构建出适合于OLAP分析的数据模型。
-
数据分析：基于构建好的数据模型，使用OLAP工具进行数据分析，包括数据切片、数据钻取、数据透视等，为企业提供决策支持的数据分析服务。
离线数仓OLAP开发技巧：
-
数据抽取技巧：在数据抽取过程中，应该尽量使用增量抽取的方式，减少全量抽取的次数，提高数据抽取的效率。同时，应该注意数据源的数据更新频率，根据实际情况选择合适的抽取方式。
-
数据清洗技巧：在数据清洗过程中，应该注意数据的准确性和完整性。可以使用数据质量检测工具，对数据进行检测和清洗，确保数据的质量。同时，应该注意数据类型的转换和数据格式的统一，以便于后续的数据处理。
-
数据转换技巧：在数据转换过程中，应该注意数据的合并和拆分，以及数据的计算和聚合。可以使用SQL语句或ETL工具实现数据转换，确保数据的准确性和完整性。
-
数据加载技巧：在数据加载过程中，应该注意数据的分区和索引，以提高数据查询的效率。同时，应该注意数据的安全性和可扩展性，以便于后续的数据处理和管理。
有关Hive数仓开发的一些技巧：
【数据开发】HiveSQL 临时表&分步执行（with, as ）与时间函数（时间戳unix_timestamp）
【数据开发】Hive 多表join中的条件过滤与指定分区
