324页13万字高校数字化校园大数据中心及大数据平台建设方案

news2024/12/22 22:08:14

一、 数据中心总体规划

云资源中心加大数据分析与高性能主要分为计算资源、内存资源、存储资源、网络资源,大数据分析系统,高性能作业调度系统,本项目在充分整合XXX高校数据中心资源的基础上,配置必要软硬件设备,为XXX高校信息系统提供统一的基础设施服务,在IaaS层构建较为完整的XXX高校云计算平台。建设内容包括以下几部分:

硬件设备:服务器、存储、、SAN交换机、交换机、负载均衡、VPN网关。

软件设备:物理服务器和虚拟服务器的操作系统、虚拟化软件、中间件、大型数据库系统、云计算管理平台、Hadoop组件、高性能管理软件、高性能作业调度软件、高性能集群存储系统。

安全系统:防火墙、入侵防御、防毒墙、网页防篡改、身份认证系统、运维安全审计系统、数据库安全审计系统、漏洞扫描系统。同时采购专业机构提供的云安全服务等。

机房配套设备:UPS、精密空调、标准机架。


4ccd09749465830f08e02649f4695927.jpeg

如上图,XXX高校云计算中心将建设三大块业务中心,分别是云平台虚拟化中心、大数据分析系统和高性能计算中心。并且通过统一管理平台提供对整体云计算中心的统一软硬件管理,为学校云平台虚拟化应用、大数据分析系统、高性能计算业务和管理提供统一界面入口,对服务器虚拟化中心软硬件设施、大数据分析平台硬件设施、高性能计算软硬件设施以及三大业务中心的业务管理提供统一管理运维平台。为学校云计算用户提供业务发布、业务使用、业务管理等功能。

服务器虚拟化云中心:在校园云计算资源中心中利用服务器虚拟化技术、存储虚拟化技术和网络虚拟化技术等建设集中统一的服务器虚拟化中心,利用高性能云计算服务器组成虚拟化集群,为各院系提供数以百计,数以千计的弹性虚拟服务器架构,并且提供虚拟服务器的生命周期管理、利用服务器虚拟化的高可用技术提供业务连续性保障。为各院系和校园各业务系统提供弹性可扩展、快速可恢复、安全可靠的服务器基础架构。为旧业务的迁移、新业务的部署提供快速、安全、自动化的业务部署模式。

大数据分析系统:高校研究项目众多,教师教学任务等很多都会用到大数据分析平台,大数据将给IT行业开拓一个新的黄金时代,作为成都重要的高校我们有义务在这些前沿科技上做出对人类、社会、四川、成都有帮助的研究并造福人类、造福四川和成都,为提高资源利用率所一建议建立统一的大数据分析平台供学校各学科教学和个科研方向研究使用。

高性能计算中心:高校有很多院系都存在需要进行高性能计算的相关业务需求,比如水文分析、化学分子分析、机械模型分析、数据建模等都有高性能计算的需要。如果各院系都自己建设高性能计算平台的话,会造资源的极大浪费。通过在云数据中心建设一套统一的高性能平台,在各院系需要进行相关计算时,进行对应的软件部署,并进行相关业务运算。即可以提高硬件的使用效率,又可以节约资源。本期方案将为学校在云数据中心建设一套高性能计算中心,以便为学校各院系服务。

统一管理平台:高校云计算资源中心包括服务器虚拟化中心、校园云盘系统、高性能计算中心等云计算系统,这些系统的维护均有自己的维护页面,再加上云计算中心的硬件设施,维护会非常复杂,为了降低维护和使用难度,提供统一管理平台,为各系统管理员提供统一管理的界面。对各系统进行统一维护,且提供安全保障。

在硬件上实现散热、电源、管理功能等非IT资源的集中化和模块化,并利用软件虚拟化技术实现计算、存储等IT资源的池化和集中管理;将非计算部分的存储、网络等IO设备进行池化,机柜内采用高速网络互联,并以软件定义的计算、软件定义的存储和软件定义的网络来满足业务需求,并实现完全的软件定义;将CPU、内存等所有的IT资源完全池化,从硬件上可实现任意组合,根据应用需求智能地分配和组合相关资源,实现完全意义上业务驱动的软件定义数据中心,软件上实现业务驱动和应用感知。

二、 云数据中心建设规划


83073d16fe84444176b0e6af731577c1.jpeg

云计算平台逻辑架构图

云设施即服务(IaaS,Cloud Infrastructure as a Service):系统供应商可以向用户提供同颗粒度的可度量的计算、存储、网络和单机操作系统等基础资源,用户可以在之上部署或运行各种软件,包括客户操作系统和应用业务。

云平台即服务 (PaaS,Cloud Platform as a Service):云计算平台供应商将业务软件的开发环境、运行环境作为一种服务,通过互联网提交给用户。云平台即服务,需要构建在云基础设施之上。用户可以在云平台供应商提供的开发环境下创建自己业务应用,而且可以直接在云平台的运行环境中上运营自己的业务。

云软件即服务(SaaS,Cloud Software as a Service ):运营商通过互联网,向用户提供软件服务的一种软件应用模式。传统的SaaS与云SaaS,在客户体验上基本类似,如新浪邮箱和Gmail邮箱,客户感受是类似的。但传统的SaaS直接构建在硬件设备之上,不能实现后台资源的多租户共享,也无法实现资源的动态流转,实际并不属于云计算的范畴。云SaaS,要求这些软件业务运行在云平台服务层或构建在云基础设施层之上。云SaaS的优势,体现在后台资源的动态伸缩和流转上,资源可扩展性更强,这一重大优势是传统SaaS所不具备的。

本方案中云计算平台由资源池、虚拟化平台、云管理平台组成。资源池部分主要有物理设备组成,包括服务器,存储和网络等基础架构资源,通过虚拟化平台对基础架构设备进行池化,从而形成资源池;虚拟化平台就是将物理资源进行池化的软件组合;云计算管理平台就是对底层资源池和虚拟化软件进行管理,并且,针对管理和运维需要,云计算管理平台实现云计算服务的交付和云计算中心用户和流程的管理以及数据中心的监控。

4.1 资源池规划

什么是资源池

云计算的核心特性是利用规模化效应降低单位资源的管理成本和使用成本,而规模化的一个前提是资源的物理集中,因此被管理的资源最好集中在少数几个中心,而不是分布在很多物理位置。

云计算资源池是采用池化的办法,把服务器、存储、网络等资源按照不同的标准组织成不同的资源池。通过资源池的管理模式,云计算管理员无需去考虑具体的服务器、存储和网络配置。

在一个资源池内,通常可以包括服务器、存储空间、网络端口等,这样,在一个资源池中我们就可以为某一个应用系统提供它所需要的所有计算资源。通过云计算的自动化功能,云计算平台管理员可以方便、快速的在资源池中定制化的选择应用系统需要的计算资源数目,根据业务的应用类型进行云计算平台资源的分配。

资源池的特征

(1)多实例

通过服务器虚拟化,在一个物理服务器上可以运行多个虚拟服务器,即可以支持多个客户操作系统。服务器虚拟化将服务器的逻辑整合到虚拟机中,而物理系统的资源,如CPU,内存,硬盘和网络等,是以可控方式分配给虚拟机的。

(2)隔离性

在多实例的服务器虚拟化中,一个虚拟机与其他虚拟机完全隔离。通过隔离机制,即便其中的一个或者多个虚拟机崩溃,其他的虚拟机也不会受到影响,虚拟机之间也不会泄露数据。如果多个虚拟机内的进程或者应用程序之间想互相访问,只能通过所配置的网络进行通信,就如同采用虚拟化之前的几个独立的物理服务器之间需要通过网络来访问一样。

(3)封装性

即相对硬件独立性。在采用了服务器虚拟化智慧,一个完整的虚拟机环境对外表现为一个单一的实体(例如一个虚拟机文件、一个逻辑分区),这样的实体非常便于再不同的硬件间备份、移动和复制等。同时,服务器虚拟化将物理机的硬件封装为标准化的虚拟硬件设备,提供给虚拟机内的操作系统和应用程序,保证了虚拟机的兼容性。

(4)高性能

与之间在物理机上运行的系统相比,虚拟机与硬件之间多了一个虚拟化抽象层。虚拟化抽象层通过虚拟机监视器VMM或者虚拟化平台来实现,并会产生一定的开销。这些开销为服务器虚拟化的性能损耗。服务器虚拟化的高性能是指虚拟机监视器VMM的开销要被控制在可承受的范围之内。

(5)兼容性

随着技术的不断推进,新的服务器无法运行原来比较古老的操作系统,例如,某客户很久之前在某个服务器上安装了win2000的操作系统,应用的开发团队因为某些原因解散了,因而用户失去了应用升级的支持。随着时间的发展,原来的服务器已经损耗非常严重,用户希望对服务器进行升级。在没有做相应新的驱动开发的情况下,无法在新的服务器上安装win2000。通过虚拟化技术可以虚拟出一个标准的虚拟硬件设备,兼容稍微陈旧的操作系统。这样就能实现用户应用运行在原有的系统环境中,但是支持用户应用系统是最新架构的、性能强劲的新的服务器。

4.5数据中心统一管理平台规划

计算资源中心包括硬件基础设施、服务器虚拟化中心、大数据分析系统和高性能计算中心,采用统一管理平台统一管理接口,保证统一管理平台,实施基于ITIL的运维流程非常重要,同时,云计算资源中心提供包括IAAS、PASS(高性能计算业务)和SAAS(云盘业务)等多种云业务,通过统一管理平台提供业务发布平台,所有的云业务均通过业务发布平台进行业务发布,为用户提供统一访问入口,将为用户提供极大的方便性。

统一管理平台方

统一管理平台基础架构如下:

786bb2e476e8fcf2ea4957ee5cbb3adb.jpeg


统一管理平台通过配置数据库,调用底层各应用系统的API接口,和底层各应用系统进行对接。运维人员通过统一界面对各业务系统进行监控和维护,调用各业务系统的功能,进行相关业务发布。通过工作流引擎定义运维流程和发布流程,为用户提供云业务。云计算中心统一管理平台提供了管理框架,通过此管理框架,可以集成多种不同的云业务,并通过集成工作流引擎,灵活配置管理和发布流程,和企业OA和ERP平台进行集成,提供符合公司企业业务流程的管理平台。

统一管理平台基础功能

Ø 底层平台

n 多云配置及管理

添加和管理平台支持的多个云业务平台,其中云业务平台接口集成需要定制开发;

管理每个客户项目需要的虚拟化平台;

n Openstack接口集成

集成Openstack的常规管理接口,封装成可以直接被业务层调用的API。通过API调用具体云平台业务。

n 虚拟化层监控组件

监控平台计划中包括物理层、虚拟化层和应用层监控,其中虚拟化层监控的功能从底层平台接入,物理层通过第三方厂商业务集成接入,应用层通过业务定制组件集成接入。

需要管理的监控项通过虚拟化平台接口集成实现

Ø 客户自服务中心

n 云业务管理

分数据中心、分不同云业务类型对云业务平台进行管理。

对所有的云业务管理提供三个维度的标签管理,业务类型、监控优先级

管理功能分类如下:

① 日常运维管理类

当前用户权限范围内的已有资源数量、使用情况、资源池总量和使用情况、报警信息、历史记录、操作日志

② 网络类

网络相关的设置和管理,VPN、子网等配置

③ 资源变化类

资源池内资源的新建、扩容和销毁。

提供申请“资源扩容”的入口,低级管理员向高级管理员申请,顶级管理员不提供功能入口。

文章引用的资料均通过互联网等公开渠道合法获取,仅作为行业交流和学习使用,并无任何商业目的。其版权归原资料作者或出版社所有,本文作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权,请立即通知作者删除。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/111827.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

我国军靴行业现状分析:两大利好因素推动市场良好发展

根据观研报告网发布的《中国军靴市场发展趋势分析与投资前景预测报告(2022-2029年)》显示,军靴是指供军事单位在行军,作战时穿着的鞋靴,一般采用头层牛皮制作,具有耐用、舒适以及良好的防水透气效果特点。军…

对Python的学习【如何查看路径和安装包】

1:怎么查看本地电脑的Python版本号及安装路径: 对于Windows平台,打开cmd 使用命令py -0p 【其中0是零】 显示已安装的 python 版本且带路径的列表,参见下图: 其中带星号*的为默认版本。 2:怎么查看python pip…

Fragment

Fragment简单认识 1.简介 在大屏幕设备上支持更加动态和灵活的UI设计就是一种卡片的设计思路一个Activity可以有多个Fragment,一个Fragment可以被多个Activity使用可以进行动态的添加,替换和删除Fragment有着自己的生命周期,同时受到Activity…

python循环语句(三)

一.while 循环 条件满足无限执行 (1) 定义格式 while 条件&#xff1a;条件为True时重复执行# 写法要求与if语句类似使用示例&#xff1a; i 0 while i < 100:print("观止study")i 1 # 等效于 i i 1 # 需要设置循环终止的条件&#xff0c;如i 1配合 i <…

【Pandas入门教程】如何读取和写入表格数据

如何读取和写入表格数据 来源&#xff1a;Pandas官网&#xff1a;https://pandas.pydata.org/docs/getting_started/intro_tutorials/index.html 文章目录如何读取和写入表格数据导包【1】如何读取和写入表格数据【2】小结导包 import pandas as pd数据介绍&#xff1a; 使用存…

【信管5.2】估算活动资源与持续时间

估算活动资源与持续时间在经过上次课程的学习后&#xff0c;我们已经了解到了进度、活动的概念及定义&#xff0c;并且简单地学习了下活动顺序如何排列的一些工具技术。今天&#xff0c;我们学习的主要方向是估算活动资源与估算活动持续时间这两个过程&#xff0c;另外我们还会…

python:写你的第一个爬虫代码

什么是爬虫 爬虫spider&#xff0c;是指向网站或者网络发出请求&#xff0c;获取资源后分析并提取对自己有用的数据的程序。 request&#xff1a;是指用户将自己的信息通过浏览器发送给服务器。 response&#xff1a;服务器收到用户的请求分析后&#xff0c;返回的数据。 注意&…

【Pandas入门教程】如何选择DataFrame的子集

如何选择DataFrame的子集 来源&#xff1a;Pandas官网&#xff1a;https://pandas.pydata.org/docs/getting_started/intro_tutorials/index.html 文章目录如何选择DataFrame的子集导包数据准备【1】如何从DataFrame中选择特定列&#xff1f;【2】如何从DataFrame中筛选特定行【…

读研2年,我选择从中科院退学转行做码农

从入学天坑材料专业到退学 先自我介绍一下&#xff1a;我天坑材料专业&#xff0c;本科某211&#xff0c;保研到中科院&#xff0c;但是我真是菜的抠脚&#xff0c;还懒&#xff0c;也不喜欢科研&#xff0c;论文达不到毕业要求&#xff0c;纠结之下研三退学转码农了。 读了2…

基于51单片机的电子秤(5KG+上限报警)

电子秤5KG上限警报设计 原理图&#xff1a; 程序运行图&#xff1a; 部分程序&#xff1a; #include "main.h" #include "LCD1602.h" #include "HX711.h" #include "EEPROM.H" //定义变量 unsigned char KEY_NUM 0; //用来存放按…

Java并发——ThreadLocal总结

概述 并发问题&#xff0c;有时候&#xff0c;可以用ThreadLocal方式来避免。 ThreadLocal&#xff0c;顾名思义&#xff0c;就是线程自己的&#xff0c;独享的&#xff0c;就像线程栈是线程独享的一样。 本文讨论三点&#xff1a; 基本用法设计原理父子线程 基础用法 考虑…

JMS规范及落地产品

目录 一、JMS是什么 二、MQ中间件的其他落地产品 三、JMS的组成结构和特点 四、JMS的可靠性 &#xff08;重要&#xff09; &#xff08;一&#xff09;PERSISTENT&#xff1a;持久性 &#xff08;二&#xff09;事务 &#xff08;三&#xff09;Acknowledge&#xff1a…

C#,图像二值化(01)——二值化算法综述与二十三种算法目录

图像二值化&#xff0c;就是把彩色&#xff08;先转为灰色图&#xff09;最终转为黑白两色图片的计算过程。 看似极其简单&#xff0c;但人们研究了几十年&#xff0c;却始终未达到至臻境界的问题。 本文简要介绍了 图像二值化的算法原理、分类及二十三种算法的目录&#xff…

freeswitch的gateway配置方案

概述 freeswitch是一款简单好用的VOIP开源软交换平台。 在voip的网络模型中&#xff0c;网关是我们经常会遇到的概念。 在freeswitch中&#xff0c;如何配置gateway&#xff0c;如何使用好gateway的模型和功能。 本节简单介绍fs中gateway相关的配置方案。 环境 centos&am…

csp-202209

202209题目一&#xff1a;如此编码【100分】题目二&#xff1a;何以包邮&#xff1f;【100分】题目三&#xff1a;防疫大数据【100分】题目一&#xff1a;如此编码【100分】 比较简单的题&#xff0c;根据题意计算一遍就行 一定要关注csp题目中的提示&#xff0c;这个是很有用…

达梦数据IPO过会:拟募资24亿 光谷“扫地僧”冯裕才将敲钟

雷递网 雷建平 12月23日武汉达梦数据库股份有限公司&#xff08;简称&#xff1a;“达梦数据”&#xff09;日前IPO过会&#xff0c;准备在科创板上市。达梦数据计划募资23.51亿元。其中&#xff0c;3.52亿元用于集群数据库管理系统升级项目&#xff0c;3.43亿元用于高性能分布…

[翻译+笔记]变分自编码器:从AutoEncoder到Beta-VAE

与GAN的那篇笔记相同, 做一下笔记. 并不是全文翻译, 只翻译一部分. 原文地址: from AutoEncoder to Beta-VAE 0. 前言 自编码器是用来重构高维数据的&#xff0c;它利用一个有bottleneck层的神经网络。bottleneck层获取压缩的潜在编码&#xff0c;这样将嵌入向量以低维表示可…

Activity生命周期

Activity生命周期 1.Activity状态 1.基本状态 运行&#xff0c;active。位于最前台&#xff0c;可以和用户交互的激活状态。暂停&#xff0c;pause&#xff0c;被透明或者Dialog覆盖&#xff0c;此时可见失去焦点但是不允许交互。停止&#xff0c;stop&#xff0c;被Active覆盖…

spring提前加载,懒加载,bean的作用域和注入注解讲解

前言 sping知识随笔笔记&#xff1b;spring提前加载&#xff0c;懒加载&#xff0c;bean的作用域和注入注解讲解 这里写目录标题前言1 depends-on2 bean的作用域3 lazy-init 懒加载4 Autowrite和Resource的区别和使用1 depends-on depends-on 是提前加载&#xff0c;比如在实…