【数据仓库】

1、概述

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。

数据仓库是企业中用于集中存储和管理来自多个源的经过处理和组织的数据的系统。它为复杂的查询和分析提供了一个优化的环境，使得用户能够执行高级数据分析，以支持商业决策。数据在进入仓库之前经过清洗、转换和集成，以确保质量和一致性。这使得企业能够通过商业智能工具和报告软件，对历史和当前数据进行深入分析，以洞察趋势、预测未来并优化战略。

2、特点

数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。为了更好地为前端应用服务，数据仓库往往有如下几点特点：

效率足够高。
数据仓库的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。由于有的企业每日的数据量很大，设计不好的数据仓库经常会出问题，延迟1-3日才能给出数据，显然不行的。
数据质量。
数据仓库所提供的各种信息，肯定要准确的数据，但由于数据仓库流程通常分为多个步骤，包括数据清洗，装载，查询，展现等等，复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。
扩展性。
之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，未来不用太快花钱去重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。
数据仓库技术可以将企业多年积累的数据唤醒，不仅为企业管理好这些海量数据，而且挖掘数据潜在的价值，从而成为通信企业运营维护系统的亮点之一。
广义的说，基于数据仓库的决策支持系统由三个部件组成：数据仓库技术，联机分析处理技术和数据挖掘技术，其中数据仓库技术是系统的核心。
面向主题
操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。
主题是与传统数据库的面向应用相对应的，是一个抽象概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象，可以理解为用户使用数据仓库进行决策时所关心的重点方面。
每一个主题对应一个宏观的分析领域，一个主题通常与多个操作型信息系统相关。数据仓库排除对于决策无用的数据，提供特定主题的简明视图。
数据仓库是集成的
数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据仓库；
数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。
数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。
数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到当前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。
数据仓库是不可更新的
数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询；
数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存，且不随时间改变。
汇总的
操作性数据映射成决策可用的格式。
大容量
时间序列数据集合通常都非常大。
非规范化的
Dw数据可以是而且经常是冗余的。
元数据
将描述数据的数据保存起来。
数据源
数据来自内部的和外部的非集成操作系统。

3、为什么需要数据仓库？

整合不同数据源
企业运营涉及多个部门和系统，各自产生格式和结构不同的数据。数据仓库的作用是将这些多源数据集中存储并统一格式化，使得数据更加标准化和一致，便于交叉分析和全面洞察。
支持复杂查询和报告
数据仓库专为查询和报告而设计，它对数据进行优化存储，使得执行复杂的数据分析查询时，速度更快，效率更高。这对于快速制定决策策略，特别是在需要整合大量数据进行深入分析时，至关重要。
提升决策质量
数据仓库允许企业存储大量的历史数据，为用户提供了评估长期趋势和性能的能力。通过分析过去的数据，企业可以做出更精确的预测，制定更明智的战略决策。
提升系统性能
数据仓库与在线事务处理系统（OLTP）相分离，允许企业将针对报告和分析的复杂查询操作与日常业务事务处理分开。这种分离减轻了OLTP系统的负担，确保了事务数据处理的高效性和响应速度。同时，数据仓库专门针对读取操作和分析查询进行了优化，提高了分析处理的性能，避免了两个系统的性能互相影响的问题，确保了双方系统运行的最优效率。
数据治理和安全
数据仓库通过集中管理和强化安全措施，帮助企业在数据治理方面遵守法规要求。它提供了访问控制、审计跟踪等功能，确保对敏感数据的保护，同时增加了数据的可靠性和信任度。

4、数据仓库有哪些实际应用？

客户关系管理
数据仓库集中了客户的所有互动信息，帮助企业分析客户行为、购买模式和喜好。公司可以根据历史交易数据和客户反馈创建个性化的营销策略。此外，通过分析客户留存情况和流失率，企业能够设计更有效的客户忠诚度计划。通过数据仓库提供的深度分析，企业能够提升客户满意度，并更好地预测未来需求。
例如，零售连锁店可以使用数据仓库来分析顾客的购物历史，从而提供个性化的优惠券和推荐产品。
供应链管理
数据仓库优化了供应链的各个方面，从库存管理到订单履行。企业可以根据季节性需求和过往销售数据预测未来的库存需求。通过监控供应链中的数据，企业能够及时发现瓶颈，减少延迟。数据仓库还能帮助企业评估供应商绩效，确保成本效益。
例如，制造公司可以利用数据仓库来预测产品需求，优化库存水平，并减少过剩或缺货的情况。
财务分析
数据仓库提供了一个全面的视图来分析和管理企业的财务状况。它帮助企业追踪收入、成本、利润率和其他关键的财务指标。通过数据仓库，企业能够执行预算编制和财务规划。企业也利用数据仓库进行审计和合规性报告，确保财务透明度。
例如，保险公司可以使用数据仓库来分析不同保险产品的盈利性，并据此调整定价策略。
人力资源管理
数据仓库中的人力资源数据帮助企业分析员工绩效和人事趋势。企业可以评估培训计划的有效性，以及员工满意度对留存率的影响。数据仓库还支持招聘分析，帮助企业识别招聘渠道的效果。
例如，企业可以利用数据仓库来追踪员工发展周期、职位晋升路径和离职率，从而改进人才管理策略。
运营效率分析
企业使用数据仓库来监控各个业务单元的性能，识别效率低下的领域。它使得企业能够基于事实进行决策，减少基于直觉的决策。通过比较分析不同时间段的运营数据，企业能够实施改进措施，提高整体效率。
例如，餐饮企业可以通过分析各分店的销售数据和运营成本，识别提高利润率的关键策略。

5、数据仓库和数据湖的区别？

数据仓库是针对结构化数据经过精细加工用于分析和报表的集中式存储系统，数据湖则存储大量未加工的结构化和非结构化数据以便灵活分析。下表简单对比了数据湖和数据仓库的主要区别：

对比项	数据仓库	数据湖
定义	为企业整合、清洗、存储和分析结构化数据而设计的中央存储系统。	用于存储大量原始数据，无论其结构如何，以后可供分析使用的存储系统。
数据类型	主要存储结构化数据，经过清洗和转换。	存储结构化、半结构化和非结构化数据，原始形式保留。
存储模式	通常采用星型或雪花模式，便于分析。	通常是平面结构，数据以原始形态存储。
用户群体	高层管理者、决策者和业务分析师等。	数据科学家、分析师和数据工程师等。
用途	用于复杂的查询分析，支持企业决策。	用于数据发现、大数据处理和机器学习等。
数据治理	强调数据的一致性、质量和治理。	数据治理较为宽松，原始数据被保留，治理按需实施。
数据处理	需要ETL（提取、转换、加载）处理。	数据通常以原始格式存储，按需进行处理。
实施和成本	实施成本和时间较高，由于规模大和复杂性高。	实施成本较低，尤其是初期存储原始数据较为简单。

6、数据仓库的工作原理是什么？

在这里插入图片描述

数据仓库的工作原理可分为以下几个关键步骤：

数据抽取
数据仓库的第一步是从不同的源系统中抽取数据。这些源系统可能包括关系数据库、文件系统、OLTP系统、网站日志等。抽取过程是定期进行的，比如每天或每周，以确保数据是最新的。
数据存储
数据仓库中的数据通常按照特定的模式存储，如星型模式、雪花模式或其他多维数据模式。这些模式有助于支持复杂的分析查询，并允许用户通过维度切片、切块和钻取数据。
数据清洗和转换
抽取出的数据通常需要经过清洗和转换的过程，以提高数据质量和一致性。清洗包括修正错误、去除重复项、处理缺失值等。转换则是将数据转化为统一的格式，以便在数据仓库中进行有效存储和查询。
数据加载
清洗和转换后的数据被加载到数据仓库中。这个过程可能涉及对数据的进一步加工，如聚合、摘要和索引创建，以优化查询性能。
数据访问与分析
数据仓库完成数据存储后，用户可以通过商业智能工具、SQL查询、报表工具等进行数据访问和分析。数据仓库支持从宏观趋势分析到微观细节探究的各种分析需求。