【版权声明】本资料来源网络，仅用于行业知识分享，供个人学习参考，请勿商用。
【侵删致歉】如有侵权请联系小编，将在收到信息后第一时间进行删除！
完整资料领取见文末，部分资料内容：

方案设计

在当今企业处于数字化转型浪潮的大时代背景下，企业在探求从“产品和服务驱动”向“数据驱动”转变。XX集团在完成打造企业核心运行平台建设之时深思熟虑着手建设该“XX智慧能源大数据分析平台相关项目”，这是XX智慧能源在大数据实践领域的首个大数据分析平台相关项目。其设计思想必将具备前瞻性、建设高度必将具有领先性、相关项目计划和实施必将具备稳妥性、相关项目成果必将是高价值的，并且利用成熟的技术产品和借鉴有经验的合作伙伴达到合理的投入。该相关项目必然是整体设计、分阶段实施、快速见效。

SAP及其合作伙伴在大数据分析平台建设方面已经具备很深的经验积累；SAP专注企业核心应用平台40年，是工业4.0的先驱实践者和领导者；如图3.1 SAP数字化核心与数字化转型所示，SAP描绘的在企业完成数字化核心以后一定需要走向数字化转型，也就是所谓的以数据驱动的企业；其中大数据和物联网是其关键一环。XX集团正式处于这样一个时刻，借助大数据可以实现企业内外数据链路打通，迅速的实现数据变现。

          图3.1 SAP数字化核心与数字化转型

在大数据产品和解决方案研发方面SAP也是紧跟企业对于大数据场景的实际需求，不断突破创新，同时又以新的技术引领着企业向大数据技术蓝海挺进。依托SAP HANA内存计算平台，SAP为企业大数据应用提供了理念革新、技术先进、方案完整的整体解决方案。如图3.2 大数据与物联网所示，SAP提供从事物到流程以数据驱动的大数据和物联网平台。

        图3.2 大数据与物联网

在平台功能模块上：SAP大数据平台可以整体设计分阶段搭建、实施；在平台硬件架构上：SAP大数据平台可以支持横向扩展和向上扩展；能够支持超过PB级规模的结构化和非结构化数据，具有统一调度资源、快速布署、分布式计算和存储、动态扩展等特点。SAP大数据平台所有产品软件除了法律上的许可要求外，在实际使用过程中，不存在任何性能上和用户数上的限制。

3.1 整体方案设计

3.3.1 整体架构

SAP建议的XX大数据整体架构设计采用分层实现，垂直数据治理与管控结构。如图3.3 XX大数据平台整体架构所示，整体架构从数据源开始自下而上分成：数据源层；数据集成与存储层；数据建模层；数据分析服务层；数据应用创新服务层；服务门户层；数据治理和配置管控垂直贯通。

             图3.3 XX大数据平台整体架构

3.3.2 解决方案说明

数据源层涵盖XX现有的所有业务类型数据，和外部数据。

生产运行领域自动化化与信息化有：XX自主研发的SCADA集中监控平台，IBM风场管控EAMsystem。对于这部分数据，大数据平台既可以当做事件流处理，也可以作为传统静态数据批量抽取转换加载（ETL）。

经营管控领域信息system有：SAP ERPsystem，达索PLMsystem；大数据平台可以通过SAP SLT实时同步SAP ERP数据，通过Data Service ETL集成PLM数据。

外部公共数据有：天气、气候，水文，地理信息，环境数据等；大数据平台对这部分处理主要通过Hadoop平台集中存储，通过HANA内存数据库统一建模访问。

数据集成与存储层是整个大数据平台核心。以SAP HANA内存计算平台作为核心，是采用ShareNothing的分布式system架构；提供基于分布式文件system的Hadoop数据存储服务；system架构天生具备大规模并行处理能力和横向纵向扩展能力。大数据核心平台具有一次建设，分步骤扩展的能力；平台规模在扩展的同时在技术上不需要增加额外技术或产品。在海量数据存储方面采用数据温区分层设计，常用结构化数据作为热数据存储在内存中，通常的数据规模是TB级；历史结构化数据作为温数据存储在磁盘列式数据引擎中，数据规模10TB—100TB；非结构化半结构化数据或无法直接分析的数据作为冷数据，存储在Hadoop中规模可以达到PB级。数据访问统一由HANA内存平台实现。

数据建模层是基于数据存储层的虚拟层，利用SAP大数据平台的HANA内存中视图建模功能实现；在本方案中划分为两个数据模型区：风机、风场数据整合服务和经营管控数据集市。

风机风场数据整合服务包含：风资源数据模型，产品数据模型，风电场数据模型，机组运行数据模型等。

经营管控数据集市是面向企业经营管控的，涵盖：经营利润分析类，预算分析采购计划类，主生产计划类，主需求计划类，市场分析类，经营成本类，结算回款类，库存周转类，现场计划类，物流配送计划类，销售价格类等企业管控指标及报表。企业经营管控驾驶舱和数字董事会看板是这个模型集合的典型应用。

数据分析服务层：分析服务是利用大数据技术从数据中挖掘出利用价值，实现数据快速变现。这部分工作可以在大数据平台搭建完成后在后续阶段联合合作伙伴和SAP数据科学服务、客户专家团队联合开展。

数据应用创新服务：涵盖交付实施服务，智慧运维服务，远程预警服务，业主SaaS应用。

服务门户：提供集成与协作门户，涵盖厂商应用门户，风场应用门户，客户应用门户。

数据治理与配置管控：大数据平台提供垂直到每一层的元数据管控，数据相关质量管控，数据模型管控，数据配置管控，数据标准管控，数据安全管控。

3.3.3 需求应答

1、 提供分布式的system架构，通过简便扩展服务器硬件资源来提升整体system的并行计算能力。

回答：SAP 大数据平台天然的就是分布式system架构；可以向上扩展或横向扩展服务器硬件资源来提供整体system的并行计算能力。

2、 提供分布式的文件system，通过简便扩展服务器存储空间来增加整个system的存储容量和并行I/O性能，同时能高效处理海量数据(PB级)。

回答：SAP HANA大数据平台能够通过Vora融合Hadoop分布式文件system；不存在IO性能瓶颈，能够处理海量数据。

3、 提供分布式内存计算能力，通过简便扩展服务器内存来增加整个system的内存容量，提升整个system的快速响应能力。

回答：SAP HANA只需要增加内存就可以增加system的计算能力，线性提升system的快速响应能力。

SAP 大数据平台核心优势总结：

1. 实时分析，实时预测：业务数据实时同步；所有热点数据在内存中存储、在内存中计算，实现实时报表和实时分析；

2. 数据唯一，减少数据冗余： 在SAP HANA的分层架构中，各层数据不落地，减少数据冗余，减轻数据维护的难度，从技术上尽量避免出现数据不一致的风险；

3. 平台开放，逻辑灵活：  SAP HANA支持多种数据源接入，整合了多种数据采集工具，针对不同的数据源类型提供不同的工具和手段；模型按层划分，逻辑清晰，架构稳定性非常好；

4. 跨平台访问，全数据覆盖： 在统一界面中实现对跨平台的数据访问，热点数据和历史数据无缝集成，大大降低了用户的使用门槛；

5. 数据权威，信息安全性高：核心数据和应用保持同步，可回溯可审计；

6. 多种样式的展现形式和访问的方法：可实现各类报表、交互式分析、即席查询、数据探索、仪表盘及移动应用等方式方法，满足不同人员方便、直观、可视化的分析需求；

3.2 数据仓库

3.2.1 数据仓库架构

本方案提供以SAP HANA为中心的可扩展数据仓库架构，是面向未来的数据管控平台，无缝支撑分析应用的数据仓库架构；也是支撑大数据和数据湖泊的一体化的架构。如图3.4 SAP HANA数据仓库平台所示。

                如图3.4 SAP HANA数据仓库平台

满足标准的基于SQL及BW风格的数据仓库，实现…

• 满足未来需求：逻辑数据仓库；支持动态变化的system布局支持云部署与混合部署；集成所有数据类型及大数据技术；横向扩展，支持海量数据及数据湖泊。

• 超越其他数据仓库方案：最佳的与SAP解决方案开箱即用的集成–本地及云环境；HANA实时数据处理能力；通过 SAP HANA Vora 集成Hadoop；基于HANA的分析业务服务；针对HANA优化的可重用的业务相关内容。

• 无缝集成XX新能源现有SAP ERPsystem数据，和其他业务system数据；以及能够为风场分机等物联网数据提供流数据集成。存储与处理外部环境数据。完整的建模服务，IOT集成与大数据预测分析。

3.2.2 数据仓库产品说明

数据仓库结构中的主要产品包括：SAP HANA内存数据仓库及大数据平台；SAP EIM数据集成与主数据管控（详尽相关内容在3.3数据整合与治理部分介绍）；SAP BO 数据挖掘展现与可视化，SAP PA预测分析（3.4 数据展示部分说明）；大数据与数据湖泊（3.6.2大数据存储部分说明）；物联网流式数据集成（详尽相关内容在3.6.3大数据采集部分说明）；

SAP 高性能分析应用（SAP High-Performance Analytic Appliance，简称HANA）是一套灵活、多用途、而且与数据源无关的基于内存计算的全新应用，通过整合硬件（由 SAP 的硬件合作伙伴: 华为，惠普, IBM, 富士通, 思科,戴尔等来提供）和优化的一套基于内存计算技术的应用。

SAP HANA内存计算平台核心是面向下一代的数据库、数据仓库技术，同时也是可扩展的大数据平台。其架构如图3.5 SAP HANA内存计算平台所示：