云计算基础——云计算主流解决方案

news2024/12/28 5:42:04

原数据:描述数据的数据,不可分割。

7.1 Google云计算技术

7.1.1 GCP

 Google 将这些技术组合在一起,运用这些从自身业务需求出发,逐步发展起来的一系列云计算技术和工具搭建起了其面向商业的云计算解决方案Google Cloud Platform ( GCP )。

GCP主要提供涉及计算资源存储资源网络资源在内的一系列laas、PaaS 产品,以及面向大数据和机器学习的一系列服务产品。

7.1.2 GFS

GFS 是一个为 Google 云计算提供海量存储的大型分布式文件系统,并MapReduce 及Bigtable 等技术结合十分紧密,处于所有核遗憾的是它并没有弃源,而是一项专利软件。

目前云计算存储采用的集群文件系统通常分为两类: 共享存储文件系统( Shared Disk File System ) 和分布式文件系统( Distributed File.System)。GFS便属于后者的范畴,它通过文件系统的形式想上层应用提供存储服务,不允许对存储进行块级别的直接访问。
Google GFS 的新颖之处在于它采用廉价的商用机器构建分布式文件系统,将容错的任务交由文件系统来完成,利用软件的方法解决系统可靠性问题这样可以使存储的成本成倍下降。

7.1.3 并行数据处理MapReduce

MapReduce是Google提出的一个软件架构行,是一种处理海量数据的并行编程模式,用于天规模数据集(通常大于1TB)的并行运算。
Map( 映射)、Reduce(化简)的概念和主要思想都是从函数式编程语言和矢量编程语言借鉴来的,这种编程模式特别适合于非结构化和结构化的海量数据的搜索、挖掘、分析与机器智能学习等
目前比较流行的MapReduce架构是Apache基金会的Apache Hadoop。

7.1.4 分布式锁服务Chubby

Chubby是Google设计的提供粗粒度的一种锁服务,它基于松耦合分布一种建议性的锁式系统,解决了分布的一致性问题。但是Chubby提供的只是(Advisory Lock )而不是强制性的锁( Mandatory Lock ),如此选择的目的是使系统具有更大的灵活性。
GFS使用Chubby来选取GFS主服务器; Bigtable使用Chubby指定主服。除了最常用的锁服务之外务器并发现、控制与其相关的子表服务器。Chubby还可以作为一个稳定的存储系统存储包括元数据在内的小数据。
同时 Google 内部还使用 Chubby 进行名字服务( Name Server )。

7.1.5 分布式结构化数据表Bigtable

Bigtable是Google开发的基于GFS和Chubby的分布式存储系统。
Bigtable是种通过Key/Value磁盘存储方式实现的Nosql数据库,在很多方面和数据库类似,但它并不是真正意义上的数据库(传统的关系型数据库)

目前,包括Google Analytics、Google Earth和个性化搜索在内的几十个项目都使用了 Bigtable。这些应用对Bigtable的要求及使用的集群机器数量都是各不相同的,但是从实际运行来看,Bigtable 完全可以满足这些不同需求的应用。与此同时,Google还在不断地对Bigtable进行一系列的改进通过技术改良和新特性的加入提高系统的运行效率及稳定性。同时Bigtable如今也作为Google Cloud Platform旗下的一项数据库产品Cloud Bigtable推出。
Google的新一代全球级分布式关系数据库管理系统Spanner的底层也是采用的Bigtable。

7.2 Amazon云计算方案

7.2.1 简介

Amazon公司作为计算机系统的应用者,其打造的云平台是开放的。它提供了弹性虚拟平台,采用Xen虚拟化技术作为核心,提供了包括EC2 ( Elastic Compute Cloud)、S3(Simple Storage Service)simpleDB、sQs(Simple Queue Service)在内的企业服务,系统是开源的。

7.2.2 AWS

 Amazon Web Services,通常简称为AWS。最初只是一组服务,它们允许通过程序访问Amazon的计算基础设施。Amazon多年来一直在构建和调整这个健壮的计算平台,现在任何能够访问互联网的人都可以使用它,并且提供了满足用户各种需求的云服务产品。

通过在AWS提供的可靠且经济、其中的企业应用程序。AWS目前提供了大量不同规格和功能的云计算服务,包括满足大多数系统的核心需求的基本服务:存储、计算、消息传递和数据集。Amazon推出AWS已经超过10年,该服务可以为用户提供远程计算能力和存储空间,Amazon 也因此成为云计算领域的先驱。
目前AWS按实际使用量付费,针对 70 多种云服务提供了即用即付的定价模式,在使用 AWS 时,只需为需要的个别服务付费,具体根据使用时间计费,且无需签订长期合同或复杂的许可协议,与支付水电费的方式类似。

7.2.3 弹性计算云

弹性计算云( Elastic Compute Cloud,简称EC2 )是亚马AWS云计算平台的核心组成部分。用户可以通过这项服务来租赁虚拟机(VMs)或者容器(Container)来运行所需的应用程序。由于是IaaS服务,用户可通过叫做Amazon Machine Image(AMD的虚拟设备来提供自己所需的运行环境。AMI主要是由一个含有特定操作系统(如Linux、Windows等)和其他用户所需的应用只提供了一个星序的只读文件系统构成,它并不包含内核镜像 ( kernelimage)指针指向默认的内核id。用户也可以选择其他由亚马逊公司和其合作商提供的全内核。
弹性计算云EC2可提供 : laaS服务支持虚拟机的使用;用户根据需要设置虚拟机的硬件配置;提供弹性的与用户账号绑定IP地址,当正在使用的实例出现故时,用户只需将弹性IP地址重新映射到一个新的实例即可。

7.2.4 Amazon简单存储服务

S3全名为Simple Storage Service,是AWS所提供的网络线上储存服务,经由Web服务界面(包括REST、SOAP、BitTorrent)提供给用户的能够轻松把档案储存到网络服务器上的服务。
使用S3的用户能获得在亚马逊网站上运行自己的网站所使用的系统。简单存储服务允许上载、存储和下载5GB大小的文件或对象没有限制用户可存储的项自的数量。数据存储在多个数据中心的冗余服务器上个简单的基于 Web的界面并且使用密匙来验证用户身份。用户可以选择保密自己的数据或公开数据。如果愿意的话,用户还可以对数据进行加密。当用户的数据存储在S3,AWS会跟踪其使用,以便进行计费,但并不以其他方式获取数据,除非法律要求这样做。
S3架构在Dynamo之上,提供一个字节到数GB字节的支持,大概有520亿对象,它采用桶-对象两级模式结构,可手动或编程自动增加桶中的对象数量具有究余存储、数据监听回传等容错能力,使用身份认证和访问控制列表保证安全性,并采用负载均衡和数据恢复技术保证系统的可靠性。

7.2.5 数据库服务SimpleDB

SimpleDB是一个分散式数据库,属于非关系型数据库,以Erlang编写,属于Amazon网络服务的一部分。如同EC2和S3一样,SimpleDB的按照存储量夺互联网上的传输量和吞吐量收取费用。2008年12月1日,Amazon推出了新的定价策略,提供了免费1 GB的数据和25机器小时的自由层( Free Tire),超过之后按每小时机器时间0.154美元,每GB每月0.276美元的数据存储,将其中的数据转移到其他Amazon网络服务是免费的。
SimpleDB的主要宗旨就是读取速度快。虽然并非全部的网站都需要快速进行资料检索,但至少绝大部分的网站有这样的需求,而且它们对资料检索速度的要求远远高于对资料存储的要求。
simpleDB 支持域-条目-属性-值四级模式的系统结构,支持有限的 SOLay具有很强的可扩展性,查询结果只包含条目名称不包括相应的属性值,相应时间不能超过5秒,否则报错:没有事务(Transaction)的概念,不支持Join操作作C际存储的数据类型单一(所有的数据都以字符串形式存储)。

7.3 阿里云云计算方案

7.3.1 简介

经过讨十年发展和实践,阿里云已经发展成为中国云计算市场的绝对领导者,为200多个国家和地区的企业、开发者和政府机构提供着服务。截至2016年第三季度,阿里云客户超过230万,付费用户达76.5万。阿里云致力子以在线公共服务的方式,提供安全、可靠的计算和数据处理能力,让计算和人工智能成为普惠科技。
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。

2017年1月,阿里巴巴成为奥运会“云服务”及“电子商务平台服务”的官方合作伙伴,阿里云将为奥运会提供云计算和人工智能技术。
阿里云目前提供着弹性计算、云数据库产品、云存储以及CDN等一系列云计算、大数据和人工智能服务。

7.3.2 飞天操作系统

飞于(Ansara)是由阿里云白主研发、服务全球的超大规模通用计算操作系,证生千2009年2自。随着阿单云业务向全球的扩展,飞天自前为全球200多个国家和地区提供着服务,它将遍布全球的百方级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力,以期解决人类计算的规模、效率和安全问题。
阿里云使用飞天管理着其互联网规模的基础设施。最底层是遍布全球的几十公数据中心,数百个PoP节点飞关内核跑在每个数据中心里面,负责统一管理数据中心内的通用服务器集群,调度集群的计算、存储资源,支撑分布式应用的部署和执行,并自动进行故障恢复和数据冗余。安全管理根植在飞天内核最底层。飞天内核提供的授权机制,能够有效实现“最小权限原则(Principle of leastprivilege)" 。同时,还建立了自主可控的全栈安全体系。
内核层的上面是飞天的元服务层,包括了账号管理、认证授权、计量和结算等一些最基础的服务,这一层其实对应了传统操作系统里的系统调用层。在往上杯有着对应子传统操作系统输入输出子系统的接入层,负责着数据传输、内容分发以及混合云网络接入等服务。

7.3.3 盘古分布式文件系统

飞天平台上负责存储管理的是盘古分布式文件系统,它是负责数据存储的基石性服务,和分布式任务调度系统一伏羲一起承载了阿里云的一系列云服务。
在盘古的上层服务中,既有要求高吞吐量,希望I/0能力能随集群规模线性增长特开放存储服务,又有要求低时延的弹性计算服务。因此盘古的设计目标便是将大量道用机器的存储资源聚合在一起,为用户提供大规模、高可用、高吞吐量、低时延和有良好扩展性的存储服务。
盘古在内部架构设计上采用的是Master/ChunkServer/Client结构,由Master负责管理元数据,Master之间则采用Primary-Secondaries模式,设胃个Primary和多个Secondary,基于PAXOS协议来保障服务的高可用性;实际的数据读写则有~hunkServer负责,通过余副本来实现数据的安全由Client对外提供类POSIX的专有API,系统地提供丰富的文件形式,已满足离线场景对高吞吐量的要求,同时提供在线场景下对低延迟的要求,以及虚拟机等特殊场景下随机访问的要求。

7.3.4 伏羲分布式调度系统

伏羲是阿里云在飞天计算平台中的分布式调度系统,负责管理集群的机器资源和调度并发的计算任务,同时支持离线数据处理和在线服务,能够为上层布式应用提供稳定、高效和安全的资源管理和任务调度服务。
伏羲在系统设计上采用了Master/Slaves的主从结构,在系统上有一个被称为“Fuxi Master”的集群控制中心,负责分配资源:集群中的每台机器上会运行一个叫做“Fuxi Agent”的守护进程,负责管理节点上运行的任务,以及收集节点上的资源使用情况并反馈到控制中心,这些机器被称作Tubo
伏羲在架构上采用资源调度和任务调度分离的两层架构。这样的两层架构设计将问题进行了分解,Fuxi Master和Tubo解决了资源调度的问题,AppMaster和App Worker解决了任务调度的问题。

 FuxiMaster和Tubo之间彼此有心跳通信,当用户通过Fuxi Master向系统提交任务时,Fuxi Master会通过调度选择一台Tubo启动App Master。
App Master启动后会联系FuxiMaster将其需求发送给FuxiMaster触发调度FuxiMaster经过资源调度并将结果返回给App Master,App Master与相关资源上得p asteRykerhaster共Instance。App Master和App Worker一起称之为计算框架伏羲系统是多任务系统,可以同时运行多个计算框架。

7.4 Oracle云计算方案

7.4.1 简介

Oracle在云计算领域可谓煞费苦先后收购了多家知名企业。通过BEA获取了先进的中间件( WebLogic技术,通过Sun获取了先进的服务器和存储技术。加上自家的Oracle数据库这样Oracle云计算的雏形就出来了。
Oracle的云计算战略广泛而全面为客户采用云计算提供选择和实用的规划。Oracle为私有云和公有云提供企业级软/硬件产品和服务。
Oracle还支持将公有云和私有云集成的方案,支持跨公有云和私有云集成的一系列身份和访问管理。

7.4.2 Oracle云计算战略

私有云

公有云

云之间的集成

7.4.3 Oracle PaaS

7.4.4 Oracle IaaS

7.5 微软云计算Microsoft Azure方案

微软的云计算战略为自己的客户和合作伙伴提供了3种不同的云计算运营模用户自建的私有云、合作伙伴运营的云平台以及微软自己构建和运营的公共威:云应用和服务。 

7.5.1 简介

7.6 开源云计算解决方案

7.6.1 Proxmox VE简述

7.6.2 OpenNebula 简述

7.6.3 Hadoop简述

7.6.4 OpenStack简述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/553260.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【数据湖架构】Azure Data Lake数据湖指南

数据湖漫游指南 文件大小和文件数文件格式分区方案使用查询加速我如何管理对我的数据的访问?我选择什么数据格式?如何管理我的数据湖成本?如何监控我的数据湖?ADLS Gen2 何时是您数据湖的正确选择?设计数据湖的关键考虑…

Vue.observable的理解

一、Observable 是什么 Observable 翻译过来我们可以理解成可观察的 先来看其在Vue中的定义 Vue.observable,让一个对象变成响应式数据。Vue 内部会用它来处理 data 函数返回的对象 返回的对象可以直接用于渲染函数和计算属性内,并且会在发生变更时触发…

PDF.js实现按需分片加载pdf文件-包含前后端开发源码和详细开发教程

PDF.js实现按需加载pdf文件 说明前言前端项目分片加载的效果前端项目结构前端核心代码项目运行与访问 后端项目项目结构核心代码实现注意事项 项目源码 说明 本文主要是介绍pdf.js的前后端项目的实现,包含可直接运行的源码。由于本人偏向于后端开发,因此…

Redis设计逻辑及生产部署问题整理

数据结构 redis数据结构包括:简单动态字符串SDS、链表、字典、跳跃表、整数组合、压缩列表。 SDS:在增加/减少字符串时不会频繁进行内存充分配,采用了空间预分配和惰性空间释放两种优化策略。 链表:链表节点使用void*保存节点值&a…

Stable Diffusion Web-UI 安装指南

Stable DIffusion 是 Stability.AI 开源的 text-to-image 模型,目前类似产品有 Midjourney 以及 OpenAI 的 DELL-2 ;从AI绘画效果上来说,Midjourney 目前公认是最好的;但从模型的可玩性和发展潜力来看,个人观点来看&am…

【009】C++数据类型之转义字符和类型转换

C数据类型之转义字符和类型转换 引言一、转义字符1.1、概念1.2、八进制转义1.3、十六进制转义 二、类型转换2.1、自动类型转换原则2.2、强制类型转换 三、C新特性中类型转换的扩展3.1、隐式类型转换3.2、显式类型转换 总结 引言 💡 作者简介:专注于C/C高…

Packet Tracer – 配置单臂路由器 VLAN 间路由

Packet Tracer – 配置单臂路由器 VLAN 间路由 地址分配表 设备 接口 IPv4 地址 子网掩码 默认网关 R1 G0/0.10 172.17.10.1 255.255.255.0 不适用 G0/0.30 172.17.30.1 255.255.255.0 不适用 PC1 NIC 172.17.10.10 255.255.255.0 172.17.10.1 PC2 NIC 1…

游乐园里,一边带小孩,一边写代码,分享一些有趣好玩儿的嵌入式软硬件资讯...

作者:晓宇,排版:晓宇 微信公众号:芯片之家(ID:chiphome-dy) 01 边带小孩边写代码 以前觉得,自己下班后都还有大把时间,下班了回到家还能再干个两三个小时,学…

定义运营系统架构

介绍 供应商提供的信息系统随着新功能和实施策略不断发展。可用选项的复杂性和多样性使许多公司难以充分讨论和比较可能满足或不满足其要求的替代方案。 供应商通常会推广由公司或个人工具箱中的产品或解决方案支持的架构。如果公司对其运营系统的架构没有清晰的愿景&#xf…

第九章:C语言的简单结构体

作为一个人有什么关于人的属性呢?简单的梳理一下,人的属性有自己的名字,年龄,身高,体重...。当然关于人的属性还有很多,当我们C语言来描述一下人的属性,就需要定义多个变量,那我们这…

21天学会C++:Day4----函数重载

CSDN的uu们,大家好。这里是C入门的第四讲。 座右铭:前路坎坷,披荆斩棘,扶摇直上。 博客主页: 姬如祎 收录专栏:C专题 目录 1. 知识引入 2. 函数重载的知识点 2. 为什么C语言不支持函数重载而C支持呢&…

springboot贫困生勤工助学评定管理系统

本系统尝试使用springboot在网上架构一个动态的贫困生管理系统,以使每一用户在家就能通过系统来进行贫困生管理。 Spring Boot 是 Spring 家族中的一个全新的框架,它用来简化Spring应用程序的创建和开发过程。也可以说 Spring Boot 能简化我们之前采用S…

数据结构学习记录——图应用实例-拯救007(问题描述、解题思路、伪代码解读、C语言算法实现)

目录 问题描述 解题思路 伪代码 总体算法 DFS算法 伪代码解读 总体算法 DFS算法 具体实现(C语言) 问题描述 在老电影“007之生死关头”(Live and Let Die)中有一个情节,007被毒贩抓到一个鳄鱼池中心的小岛…

Matlab - Plot in plot(图中画图)

Matlab - Plot in plot(图中画图) 这是在MATLAB中创建一个嵌入式图形的示例,可以在另一个图形中显示。 与MATLAB中的“axes”函数相关。 Coding % Create data t linspace(0,2*pi); t(1) eps; y sin(t);% Place axes at (0.1,0.1) with w…

学系统集成项目管理工程师(中项)系列24a_信息系统集成专业技术知识(上)

1. 信息系统的生命周期 1.1. 【19下选10】 1.2. 立项 1.2.1. 形成《需求规格说明书》并确定立项 1.2.1.1. 【21上选11】 1.3. 开发 1.3.1. 【22下选10】 1.3.2. 以立项阶段所做的需求分析为基础,进行总体规划。之后,通过系统分析、系统设计、系统…

ChatGPT4 镜像网站推荐

文章目录 1. TomChat2. Ai Doge3. 二狗问答4. 小莓用AI5. Ora6. ChatGPT镜像7. ChatGPT镜像8. VIVI-AI9. 小杰AI10. ChatGPT Web11. AIchatOS 什么是ChatGPT? ChatGPT,全称:聊天生成预训练转换器(英语:Chat Generative Pre-train…

辅助驾驶功能开发-功能规范篇(16)-2-领航辅助系统NAP-HMI人机交互

书接上回 2.3.7HMI人机交互 2.3.7.1显示 (1)图标 序号 图标状态 (图形、颜色供参考) 含义说明 备注 1 辅助驾驶功能READY

Winform窗体利用WebApi接口实现ModbusTCP数据服务

在上位机开发过程中,有时候会遇到需要提供数据接口给MES或者其他系统,今天跟大家分享一下,如何在Winform等桌面应用程序中,开发WebApi接口,提供对外modbus设备的数据服务。通讯模型是: 为了更好地演示应用场…

华为OD机试真题 Java 实现【简单的解压缩算法】【2023Q1 200分】

一、题目描述 现需要实现一种算法,能将一组压缩字符串还原成原始字符串,还原规则如下: 1、字符后面加数字N,表示重复字符N次。例如:压缩内容为A3,表示原始字符串为AAA。 2、花括号中的字符串加数字N&…

MyBatis环境搭建+第一个MyBatis程序

目录 1.MyBatis是什么? 2.MyBatis开发环境搭建 3.我的第一个MyBatis程序 1.MyBatis是什么? MyBatis是一款数据库框架,是一款优秀的持久层框架,它不仅支持用户自定义SQL和存储过程,而且还具有高级映射功能。简单来说…