本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除
篇幅有限，无法完全展示，喜欢资料可转发+评论，私信了解更多信息。
大数据实验室建设方案
大数据实验室建设方案
目录
1概述
1.1建设背景
1.2建设现状
2总体设计
2.1总体架构
2.2分步实施方案
2.2.1一期：实现大数据教学实验入口，建立稳定可靠的大数据实验平台
2.2.2二期：基于大数据领域的深入拓展研究
3详细设计
3.1一期建设内容
3.1.1机房装修建议方案
3.1.2云存储平台
3.1.3大数据实验平台
3.1.4桌面虚拟化
3.1.5教学云盘
3.2二期建设内容
3.2.1深度学习平台
3.2.2数据立方大数据库
3.2.3数据挖掘平台
3.2.4数据可视化
3.2.5物联网智能硬件服务平台
4建设意义
5规格配置
1总体设计
1.1总体架构
大数据实验室总体架构主要包括四个层面：
（1）基础环境设施建设
大数据实验室基础环境建设主要是支撑实验室教学运行的基本环境配套建设，包括实验室机房装修、综合布线、网络通信、配电UPS、安防监控、实验室空调、学生实验桌椅、教学用投影音响器材等。通过这些基础支撑环境的建设，才能保证大数据实验室的建设提供基础。
（2）IT环境配套建设
在基础环境搭建完善的基础上，需要建设满足大数据实验平台的配套环境，主要包括：各类服务器、交换机、路由器、投影仪、终端电脑等。
（3）大数据实验平台层建设
在满足大数据平台层所需的IT环境配套资源之上，建设存储资源池和计算处理资源池，提供大数据实验平台和深度学习平台，供师生科研教学使用，建立在数据立方大数据库高速运算、秒级处理基础上，数据挖掘分析平台对现有数据进行智能分析，最终通过数据可视化能将数据以更加直观的方式展现出来，使获取的数据更加客观、更具说服力。整理制作郎丰利1519.
（4）服务层
大数据平台的最终目的是为学校、师生提供服务，因此利用平台搭建可供大量老师、学生完成大数据科研、教学实验的集成环境，该平台同步提供了配套的培训服务，对于科研教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资不足的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据的教学、实验与科研。
1.2分步实施方案
我校大数据实验室建设的各个环节相互关联，在建设的过程中，需要有计划、有步骤地实施，以确保各项内容的协调发展；基于xxx股份有限公司在云计算、大数据领域积累的丰富经验并且结合学校的实际需求和业务特点，制定以下合理的分步实施方案。
本次方案主要围绕大数据专业课程的开展，搭建大数据实验相关的软硬件平台，分期进行建设。
1.2.1一期：实现大数据教学实验入口，建立稳定可靠的大数据实验平台
利用大数据、云计算技术构建统一的大数据实验平台，完善大数据教学课程体系，培养大数据实战型人才。
主要建设内容如下：
（1）云存储平台
提供一套存储资源管理系统，采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上；具有低功耗、超高性价比、高可靠、通用、免维护等优势。
（2）大数据实验平台
大数据实验平台通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行Hadoop相关试验，而每个学生的实验环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入成本。同时配套提供大数据实验教材、PPT、视频、操作手册、实验数据等配套资源。
（3）教学云盘
通过教学云盘为师生构建私有云平台，为用户提供了安全、稳定、高效、性价比高的数据管理服务。
（4）桌面虚拟化
针对学校日常办公、大数据教学等环境建立一体化桌面虚拟化解决方案，学生师生用户可跨平台、跨终端、跨协议按需弹性配置自己的桌面、应用和数据。具有高可靠、高安全、多兼容、易管理等优势。
1.2.2云存储平台
1.2.2.1云存储简介
cStor云存储系统是xxxx技股份有限公司自主研发的高科技产品，是一种软件与硬件相结合的系统，其中专有技术和软件是高附加值部分。与目前国际上知名的云存储技术相比，具有低功耗、超高性价比、高可靠、通用、免维护的优势，可以广泛应用于需要存储大量数据的应用场合，cStor每个标准机架的最高容量可达1024TB以上，是国际最高水平的3倍，拥有成本和运营成本都仅为同类产品的几分之一。
cStor 系列产品存储机柜
1.2.2.2云存储架构设计
存储资源管理系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括卷管理服务器、元数据管理服务器（Master Server）、数据存储节点服务器（Chunk Server）和挂接访问客户端以及管理监控中心服务器的结构构成虚拟统一的海量存储空间。在每个服务器节点上运行存储资源管理系统相应的软件服务程序模块，系统架构框图如下：
存储资源管理系统架构图
其中，Master Server保存系统的元数据，负责对整个文件系统的管理，Master Server在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；Chunk Server负责具体的数据存储工作，数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了存储系统的规模；挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在Chunk Server上，每一个块数据服务器，既可以作为存储服务器同时也可以作为客户端服务器。
由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。
管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。
这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的Chunk Server即可，而不需要添加整套设备。在实现大规模扩展时也可方便地添加整个卷设备。
1.2.2.3管理监控中心
管理监控中心为系统管理员配置和维护cStor云存储资源管理系统的有效工具，充分体现了系统的可维护性。
管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。以下为部分系统管理界面。
Ø设备管理
Ø系统监控
Ø告警信息
1.2.2.4平台优势特性
Ø高度可靠
存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。
云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。
Ø优异性能
cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。
同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。
Ø无限容量
系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为1024×1024×1024 PB (1G个PB容量)。
Ø在线伸缩
cStor云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。
Ø通用易用
cStor云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的API接口，供开发人员调用。
Ø智能管理
提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cStor中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况；同时也可以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。系统提供用户安全认证及对不同用户进行配额设置与权限管理功能，满足应用的日常维护和安全管理需求。
本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除
篇幅有限，无法完全展示，喜欢资料可转发+评论，私信了解更多信息。
