[ AWS - SAA ] 解决方案架构师之设计弹性架构 - 选择可靠的弹性存储(如何选择 SSD vs. HDD)

news2024/12/29 8:30:45

在这里插入图片描述

本系列博文会围绕AWS Well-Architected 和六大支柱进行讲解,这些领域的内容对成为AWS亚马逊云科技上的 解决方案架构师(SAA) 非常重要。

本文主要介绍AWS亚马逊云中,关于弹性架构设计中存储设备的一些讲解。

本文的部分内容适用于 AWS认证的 SAA认证,也就是 亚马逊云科技认证解决方案架构师 – 助理级

一般的弹性系统是指可以承受一定数量的故障或中断,而不会中断您的服务或影响用户的服务使用体验的系统。虽然 在AWS云或者其他的一些云平台 会不遗余力防止此类中断,但某些事件是不可预测的,因此最好是为这些事件做好准备。


文章目录

      • 一、云平台的故障类型(不限于AWS以及其他Azure、阿里云等云平台)
      • 二、设计弹性架构
      • 三、在AWS中有哪些存储选项
        • 1. EC2实例存储
        • 2. Elastic Block Store 弹性块存储
          • EBS卷的特点
          • EBS卷类型
            • SSD 与 HDD 对比

一、云平台的故障类型(不限于AWS以及其他Azure、阿里云等云平台)

在某些时候,你的一个或多个虚拟机可能会由于系统或硬件故障而无法工作。以下的列表包含你可以缓解的某些类型的故障场景:

  • 意外的单个虚拟机故障

    意外的单个虚拟机故障可能是由硬件或系统故障导致的。你可以使用永久性磁盘和启动脚本来保存数据,并在重启后重新启用软件,从而缓解这些事件虚拟机。

  • 意外的单个虚拟机重新启动

    有时,你可能会遇到意外的单个虚拟机故障和重新启动。为缓解此类事件的影响,请备份数据,使用永久性磁盘,并且使用启动脚本快速重新配置软件。

  • 地区或区域故障

    可用区和区域故障非常罕见,但一旦发生就可能会导致给定可用区或区域内的所有虚拟机无法访问或失败。为缓解此类事件的影响,请在不同的区域和可用区创建实例并实现负载均衡。你还应该备份数据或跨多个地区复制永久性磁盘。

这也就是说的有些云服务会提供99.99%的SLA服务,但是依然有可能出现上述的故障。

在这里插入图片描述


二、设计弹性架构

如何进行设计弹性架构,其最佳实践有如下4点:

  1. 选择可靠/弹性存储

    选择可靠、弹性的存储的原因:避免在发生灾难时,造成数据或者状态丢失。

  2. 确定如何使用AWS产品来设计解耦机制

    在架构中使用亚马逊云科技服务提供的解耦机制。解耦可以确定在一个层或者组件发生故障时,不会影响其他的层或组件,因为他们已经解耦。通过使用亚马逊云科技提供的服务可以更轻松的实现解耦。

  3. 确定如何设计多层架构解决方案

    在架构中使用亚马逊云科技服务提供的解耦机制。解耦可以确定在一个层或者组件发生故障时,不会影响其他的层或组件,因为他们已经解耦。通过使用亚马逊云科技提供的服务可以更轻松的实现解耦。

  4. 确定如何设计高可用性、容错解决方案

    设计高可用性、容错能力的架构。在进行大规模操作时,你可能希望故障处理是一个正常操作事件,而不是异常或者特殊事件。在发生故障的情况下,你可能希望你的应用程序保持高可用性,并继续向你或者向你的用户提供价值和服务。


三、在AWS中有哪些存储选项

1. EC2实例存储

在这里插入图片描述

实例存储位于EC2计算实例运行所在的物理硬件上,它是临时的当实例终止或者停止时,他们将丢失,这与EBS形成鲜明对比。只有某些EC2实例类型具有实例存储,大小是固定的,因为这是物理主机上的存储,无论是SSD还是硬盘驱动器,磁盘类型也是固定的,具体取决于实例类型,容量也是如此,这两者都是实例类型的功能。当应用程序正在运行时,你可以使用实例存储,但是因为他是临时的,所以不能过于依赖它。

通常,你可以将实例存储用于缓存或者存储你已在其他地方复制的其他临时数据,这样一来,你即可获得实例存储提供的快速访问,又不会收到实例存储的临时性质所带来的的影响。


2. Elastic Block Store 弹性块存储

EBS卷的特点

在这里插入图片描述

EBS存储是可附加的存储,一次附加到一个EC2实例,它支持加密和快照功能。有些EBS卷类型支持预配置IOPS,这就意味着你可以将卷每秒读取或者写入的次数设置为较大值或者较小值。EBS卷可以在实例的生命周期结束后继续存在,这是它相对实例存储的巨大优势。

你可以停止一个实例甚至终止它,但仍可以保留EBS卷。

你可以将多个卷附加到一个实例,但是你一次只能将一个实例连接到EBS卷。当你有多个EBS卷附加到实例时,你可以使用RAID 0条带化 来实现更高的吞吐量和IOPS,将EBS卷视为EC2实例的持久、可附加存储。


EBS卷类型

EBS详细的分类参照如下表:

在这里插入图片描述

从上述表中可以得出EBS卷有两种主要类型:

  • SSD
    • 通用SSD(gp2)
    • 预设值IOPS SSD(io1)
  • HDD
    • 吞吐优化 HDD(st1)
    • Cold HDD(sc1)
SSD 与 HDD 对比
  • SSD 具有更好的IOPS,也就是每秒的读写操作次数。这是因为SSD是没有移动部件的固态磁盘。
  • HDD 也就是硬盘驱动器,具有良好的吞吐量,并提供较低的IOPS。
  • SSD 适合随机访问
  • HDD 适合有序访问
  • HDD比SSD便宜

为什么HDD适合有序访问?你需要读取大量数据块,但需要执行的读取和写入操作较少。例如你要处理日志文件,或者你要处理由包含记录序列的文件组成的大数据工作负载,HDD是最好的选择,既便宜又好用。

通用SSD(gp2)与 预设值IOPS SSD(io1) 对比

  • 通用SSD(gp2):较便宜。
  • 预设值IOPS SSD(io1):较昂贵,能让你增加读取和写入操作次数,性能更好,价格更贵。

吞吐优化 HDD(st1)与 Cold HDD(sc1)对比

  • 吞吐优化 HDD(st1):较昂贵
  • Cold HDD(sc1):具有更好的规格

总结: SSD适合随机访问,HDD适合有序访问,每个类型中都有一个较便宜和一个较昂贵的子类型可供选择。SSD比HDD更昂贵,在SSD中,预配置IOPS SSD比通用型SSD更贵,在HDD中,吞吐优化 HDD 比 Cold HDD更昂贵。


Reference Link:

  • 常见问题 - EBS
  • 白皮书 AWS存储服务概述:https://docs.aws.amazon.com/zh_cn/whitepapers/latest/aws-overview/storage-services.html
  • Amazon Elastic Block Store (Amazon EBS):https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/AmazonEBS.html
  • Amazon EC2 实例存储:https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/InstanceStorage.html

:本文原创由 bluetata 发布于: https://bluetata.blog.csdn.net/ 转载请务必注明出处。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/148217.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

哈希切割 + 位图 + 布隆过滤器 —— 海量数据面试题

目录 题目一:给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址? 哈希切割 题目二:给定100亿个整数,设计算法找到只出现一次的整数? 解法一:哈希切割 解法二&#xf…

【论文精读】Guided-MVS

今天读的是一篇发表在IROS2022上的MVS文章:Multi-View Guided Multi-View Stereo,作者是来自于意大利University of Bologna的Matteo Poggi。 论文链接:arxiv 代码链接:https://github.com/andreaconti/multi-view-guided-multi-v…

SpringCloud Netflix复习之OpenFeign

文章目录写作背景Feign核心组件介绍Encoder和DecoderLoggerContractFeign.Builder上手实战开启FeignClient调用请求日志给FeignClient注入自定义拦截器Feign支持文件上传配置Feign开启Gzip压缩Feign配置超时时间Feign整合Ribbon支持负载均衡核心源码部分FeignClient注入到Sprin…

【Qt】通过创建ui界面类成员变量的方式显示窗体

【Qt】通过创建ui界面类成员变量的方式显示窗体1、背景2、实例3、验证1、背景 将.ui 文件转化为.h 头文件参考: 【Qt】将QtDesigner生成的.ui文件转化为.h头文件 https://jn10010537.blog.csdn.net/article/details/128589666其生成的.h头文件的显示,如…

HQChart实战教程56-限制指标周期

HQChart实战教程56-限制指标周期 指标周期范围效果图增加周期限制步骤1. 创建系统指标Condition.PeriodCONDITION_PERIOD 枚举说明提示信息提示信息配色实例源码指标周期范围 有些指标我们需要限制它的周期, 如指标A它只能对日线周期有效, 分时周期时无效的, 所有在切换到分…

Apache Hive 使用

Apache Hive 使用使用beeline 连接Apache Hive查看数据库使用或进入数据库创建表查看数据表上传数据数据操纵语言(DML)查询语句函数数学函数条件函数) 使用beeline 连接Apache Hive /export/server/apache-hive-3.1.2-bin/bin/beelinebeeline> ! co…

C51单片机基础之4G模块

一、4G模块初识EC03-DNC是亿佰特公司推出的 LTE CAT1 数传模块产品, 该产品软件功能完善, 覆盖绝大多数常规应用场景, EC03-DNC 是为实现串口设备与网络服务,通过网络相互传输数据而开发的产品 , 该产品是一款带分集接…

Linux 计算机网络 从 ping 来初窥计算机网络

Linux 计算机网络 从 ping 来初窥计算机网络 在上一章节《计算机网络从零到一》我们重点讲解了整个网络的形成,以及物理层、数据链路层、网络层这三层的形成以及他们所解决的问题,而本章节主要讲解 ping 命令在 Linux 中到底发生了一些什么。 ping 简介…

学习open62541 --- [73] 数据源造成无法监测变量的问题解决

本人最近遇到一个问题:给一个变量添加数据源后,使用监测项去监测变量变化,如果采样时间为0,会发现无法监测到变量的变化。 本文讲述这种情况的发生原因以及解决办法。 一 Server例子 首先准备server例子,如下&#x…

WSL 下载服务器加速

网络下载加速,这里使用修改 hosts 文件 ,地址映射 方法,所有网址适用,这里以 WSL 下载服务器为例子 命令 wsl -l -o 访问的地址: https://raw.githubusercontent.com/microsoft/WSL/master/distributions/Distributi…

Java设计模式中组合模式是什么/树形结构怎么组合或显示存储,编程怎么实现树形结构

继续整理记录这段时间来的收获,详细代码可在我的Gitee仓库SpringBoot克隆下载学习使用! 5.7 组合模式 5.7.1 概述 又名整体模式,是用于把一组相似的对象当作一个单一的对象依据树形结构来组合对象,用来表示部分以及整体层次属于…

基于asp.net+vbscript+wsc编写网站

1、前言 asp大家应该都比较熟悉&#xff0c;就是一个动态服务器页面&#xff0c;有点类似于jsp。只是不同的是asp可以在IIS服务器上创建&#xff0c;并且如果配置了.net环境的话&#xff0c;那么就可以在asp里面<%%>写vbscript。vbscript是一种脚本语言&#xff0c;其实就…

因果推断5--DML(个人笔记)

目录 1论文介绍 1.1论文 1.2摘要 1.3DML思路 2价格需求曲线 2.1价格需求弹性 2.2价格需求弹性计算DML代码 2.3价格需求弹性例子--数据集 2.4建模过程 2.5回归结果 1论文介绍 1.1论文 V. Chernozhukov, D. Chetverikov, M. Demirer, E. Duflo, C. Hansen, and a. W.…

(强制)类型转换方法

目录 一、C语言中的类型转换 二、C中的强制类型转换 2.1 static_cast 2.2 reinterpret_cast 2.3 const_cast 2.4 dynamic_cast 2.5 总结 一、C语言中的类型转换 在C语言中&#xff0c;若赋值运算符左右两侧类型不同&#xff0c;或者形参与实参类型不匹配&#xff0c;或…

[PyTorch笔记]深度学习计算

[PyTorch笔记]深度学习计算1 层和块1.1自定义神经网络块1.2顺序块1.3在前向传播中执行代码2.参数管理2.1 访问参数、用于调试、诊断和可视化2.2 参数初始化2.2.1内置初始化&#xff1a;2.2.2 自定义初始化2.3 在不同模型组件间共享参数3.延后初始化4.自定义层4.1 不带参数的层4…

深入理解数据结构 —— 跳表

什么是跳表 只要是平衡搜索二叉树能实现的功能&#xff0c;跳表都能实现&#xff0c;且时间复杂度都相同 例如&#xff1a; 哈希表的功能&#xff1a;插入&#xff0c;查找&#xff0c;删除有序表的功能&#xff1a;查找大于某值最小的数&#xff0c;小于某值最大的数&#…

干货 | 数据跨境传输合规体系的构建思路

以下内容整理自清华大学《数智安全与标准化》课程大作业期末报告同学的汇报内容。第一部分&#xff1a;研究背景随着经济活动数字化转型加快&#xff0c;“数据”对生产、流通、分配和消费活动产生重要影响&#xff0c;成为新的生产要素。地区之间数据流通愈发频繁&#xff0c;…

图像频域滤波(理想低通滤波)

图像变换是对图像信息进行变换&#xff0c;是能量保持但重新分配&#xff0c;利于加工处理。这里主要介绍傅里叶变换的图像频域滤波。 图像从空间域变换到频域后&#xff0c;其低频分量对应图像中灰度值变化较为缓慢的区域&#xff0c;高频分量表征图像中物体的边缘和随机噪声等…

基于yolov5的钢材表面缺陷识别(pycharm连接远程服务器,老版本yolov5运行遇到的问题)

时间&#xff1a;2023年1月 1 pycharm远程连接服务器 提示&#xff1a;需要下载pycharm专业版。 参考文献&#xff1a; [1] [2] [3] [4] 设置解释器的界面有一些不同&#xff0c;在此截图记录一下。 &#xff08;这是已经弄好了之后回头截图的&#xff0c;假设它不存在哈) …

【寒假每日一题】洛谷 P6206 [USACO06OCT] Another Cow Number Game G

题目链接&#xff1a;P6206 [USACO06OCT] Another Cow Number Game G - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 题目描述 奶牛们在玩一种数字游戏&#xff0c;Bessie 想让你帮她预测一下结果。游戏开始时&#xff0c;Bessie 将得到一个正整数 N。此时她的分数为 0。 奶…