云计算——ACA学习云计算核心技术

news2024/11/17 16:33:02

作者简介：一名云计算网络运维人员、每天分享网络与运维的技术与干货。

座右铭：低头赶路，敬事如仪

个人主页：网络豆的主页

写在前面

本系列将会持续更新云计算阿里云ACA的学习，了解云计算及网络安全相关从业的基础知识，以及阿里云产品的使用部署。提升个人对云计算产品技术的理解。

阿里云云计算助理工程师认证（ACA - Alibaba Cloud Certification Associate）是面向使用阿里云基础产品的专业技术认证，主要涉及阿里云的计算、存储、网络、云数据库、安全类的核心产品，是对学员掌握阿里云主要产品技术技能水平的全面检验和能力认证，主要面向学生群体及开发者，也可以做为运维人员的入门证书。

前期回顾

云计算——ACA学习云计算概述

课程简介

云计算成为IT热门技术，甚至被视为将根本改变生活方式和商业模式的革新技术。借助云计算，网络服务提供者可以在瞬息之间，处理数以万计甚至亿计的信息，实现和超级计算相同的效能。

云计算可以被视为网格计算和虚拟化的融合：即利用网格分布式计算处理能力，将IT资源构筑成一个资源池，再加上成熟的服务器虚拟化，存储虚拟化技术，是用户可以实时的监控和调配资源。

课程目标

明晰云计算技术架构；
掌握云计算核心技术体系；
掌握云计算核心技术关键概念。

一.云计算技术架构

1.信息时代的重大变革

物理资源层
资源层
管理中间件
SOA构建层
物理资源层

包括计算机，存储器，网络设备，数据库等。

资源层

将大量相同类型的资源构成同构或接近同构的资源池，是物理资源的集成和管理工作。

管理中间件

负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能高效，安全的提供服务。

SOA构建层

将云计算能力封装成标准的服务，并进行管理和使用。管理中间件和资源池层是云计算关键部分。

二.云计算关键技术

云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩的个性化服务，为了达到这个目标，需要数据中心管理、虚拟化、海量数据处理、资源管理与调度、QoS保证、安全与隐私保护等关键技术。

1.虚拟化技术

（1）虚拟化概念

虚拟化是指计算元件在虚拟的而不是真实的基础运行，用“虚”的软件来代替或模拟“实”的服务器，CPU，网络等硬件产品的一种简化管理和优化资源的解决方案。

虚拟化将物理资源转变为具有可管理性的逻辑资源，以消除物理结构之间的隔离，将物理资源融为一个整体。

虚拟机是指通过软件模拟的具有完整硬件系统的计算机，从理论上将完全等同于实体的物理计算机。

虚拟化三层含义

虚拟化的对象是各种各样的资源。
经过虚拟化后的逻辑资源对用户隐藏了不必要的细节。
用户可以在虚拟环境中实现其在真实环境中的部分或者全部功能。

（2）虚拟化

服务器虚拟化

是将虚拟化技术应用于服务器，将一台服务器虚拟成若干虚拟服务器，在该服务器上可以支持多个操作系统同时运行。

桌面虚拟化

是将计算机终端系统进行虚拟化，以达到桌面使用的安全性和灵活性。可以通过任何设备，在任何地点，任何时间通过网络访问属于我们个人的桌面系统。

存储虚拟化

是对存储硬件资源进行抽象化表现。

网络虚拟化

网络虚拟化就是在一个物理网络上模拟出多个逻辑网络来。

应用虚拟化

是把应用对低层的系统和硬件的依赖抽象出来，可以解决版本不兼容的问题。

（3）虚拟化厂商

（4）虚拟化技术分类

全虚拟化，半虚拟化，硬件辅助虚拟化，操作系统级虚拟化，软件虚拟化

虚拟化可以进行查看我的这篇文章。

云计算——虚拟化层架构

2.海量数据存储与处理

云计算的数据量往往是大于传统IT架构的，传统的存储架构已经很难满足日益增长的数据存储需求。云计算架构中，通常采用分布式存储，实现更好的扩展性，更大的容量以及更好的性能指标。

分布式存储技术优点

系统可架设在容易失效的廉价硬件平台上。
运行在多台节点上，自动整合。
能存储大量GB级甚至TB级的大文件。
整合集群内所有存储空间资源，虚拟化并对外提供文件访问服务。
更好的扩展性，更大的容量，更适合大规模数据的性能需求。

（1）ceph

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的，分布式文件系统

（2）Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算

云计算不仅要实现海量数据的存储，而且要提供面向海量数据的分析处理功能，由于部署在大规模硬件资源上，因此海量数据的处理需要抽象处理过程，并要求其编程模型支持规模扩展，屏蔽底层细节的同时简单有效，如Google提出的并行编程模型MapReduce。