拓展 Amazon S3 技术边界:Amazon S3 Express One Zone 的创新之路

news2024/12/23 23:40:20
授权说明:本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道

自 Amazon S3 服务推出以来,一直是全球各行各业数百万客户钟爱的云存储服务。然而,随着新兴用例的不断涌现,传统存储方式面临性能瓶颈,尤其是对于对延迟极为敏感的应用程序。为前不久展开的亚马逊云科技 re:Invent 2023 大会上发布了存储相关的产品 Amazon S3 Express One Zone ,一种高性能存储类,为客户提供最快的数据访问速度和卓越的性能。

目录

一、降本增效:S3 Express One Zone 的性能优势与成本削减

1. 技术挑战:数据访问速度与性能需求

2. 技术突破:Amazon S3 Express One Zone 的创新

3. 技术突破:与计算资源并置的一体化解决方案

4. 技术突破:解决复杂性与提高灵活性

二、体验测试使用

三、体验感悟和个人总结


一、降本增效:S3 Express One Zone 的性能优势与成本削减

1. 技术挑战:数据访问速度与性能需求

随着新兴用例的崛起,一些应用程序每分钟需要执行数百万次的数据写入和访问,并对个位数毫秒级的响应时间提出苛刻要求。特别是在人工智能和机器学习模型训练、交互式分析、财务模型模拟等场景中,数据的快速访问对于计算效率至关重要。传统存储方式难以满足这些性能需求,客户通常将最常访问的数据移动到自定义缓存解决方案,以降低存储延迟。

2. 技术突破:Amazon S3 Express One Zone 的创新

Amazon S3 Express One Zone 创新性地解决了数据访问速度与性能需求之间的矛盾。通过在专用硬件和软件上复制和存储数据,它实现了比 Amazon S3 Standard 快 10 倍的访问速度,大幅提高了数据处理速度。为了进一步支持每分钟数百万个请求,引入了一种新的存储桶类型,即 Amazon S3 目录存储桶,有效降低了请求成本。

3. 技术突破:与计算资源并置的一体化解决方案

Amazon S3 Express One Zone 提供了与计算资源并置的选择,使客户能够更快地运行性能关键型应用程序。通过将数据与计算资源置于同一 亚马逊云科技 可用区,降低了计算成本,满足了对处理要求最苛刻的工作负载的需求。性能关键型应用程序如查询密集型分析实现了个位数毫秒级的数据访问速度,同时相较于 Amazon S3 Standard,请求成本降低了多达 50%,计算成本降低了多达 60%。

4. 技术突破:解决复杂性与提高灵活性

传统方式中,客户通过移动数据到自定义缓存解决方案来解决性能问题,但这也带来了操作负担和对应用程序的修改。Amazon S3 Express One Zone 帮助客户摆脱这一困境,无需管理多个存储系统以实现低延迟工作负载。通过使用相同的 Amazon S3 API 访问数据,客户不再需要额外的存储基础架构,从而简化了架构,降低了复杂性。

二、体验测试使用

在亚马逊云科技官网进行账号登录,没有账号的可以注册一个账号,登录之后进入个人控制台,在顶部搜索栏搜索S3存储桶服务

存储桶类型分为通用存储桶和目录存储桶,目录存储桶是针对需要稳定毫秒级延迟的应用场景进行了优化,这里我们选择创建目录存储桶,通过点击图中右方按钮创建存储桶

创建存储桶时,我们选择存储桶类型为目录--新建,用于低延迟应用场景,其他配置信息根据开发需求进行选择

进入目录存储桶,可以进行一些相关的操作,包括对资源的上传和管理操作,进入上传界面之后

我们可以通过拖拽目标文件和文件夹,也可以从本地上传文件和文件夹资源,S3 Express One Zone支持在目录存储桶中执行批量操作,包括清单操作。用户可以方便地操作和管理目录存储桶中的对象,同时保留清单的有效性和完整性

上传资源后,只需稍等片刻,即可查看上传状态。如图所示,照片已成功上传。在这里,我上传了一些照片,S3 Express One Zone是Amazon S3的一种存储类别,为用户提供了默认的服务器端加密(SSE-S3)和传输中的HTTPS安全访问。通过区域和区域API终端节点,用户可以根据实际需要选择访问方式。此存储类别支持用户选择校验和算法,包括SHA和CRC,用于在上传或下载期间验证数据完整性

进入我们要查看的存储桶,可以获得存储桶的相关信息,当其他功能中需要使用到存储桶时,可以根据相关名称和信息进行选中和使用

创建目录存储桶后,您将立即体验到极低的读写延迟。这一体验可以通过建立VPC终端节点连接来实现,或者通过使用区域和区域终结点进行管理对象和目录存储桶的API操作。

目录存储桶 S3 Express 单区添加创建存储桶策略示例在 IAM 用户的身份下,确保用户拥有s3express:CreateBucket 权限。这可以通过向用户的 IAM 策略中添加如下权限来实现例如:以下示例存储桶策略允许 AWS 账户 ID 将 API 操作用于默认会话 对于指定的目录存储桶。此策略授予对区域终结点(对象)的访问权限 level) API 操作。

例 – 允许使用默认会话进行调用的存储桶策略CreateSessionReadWrite
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ReadWriteAccess",
            "Effect": "Allow",
            "Resource": "arn:aws:s3express:us-west-2:111122223333:bucket/DOC-EXAMPLE-BUCKET--usw2-az1--x-s3",  
            "Principal": {
                "AWS": [
                    "111122223333"
                ]
            },
            "Action": [//获得对应权限
               "s3:CreateBucket",
               "s3:PutBucketPolicy",
               "s3:GetBucketPolicy"            ]
        }
    ]
}					

Amazon S3 Express One Zone存储类支持区域级别(存储桶或控制平面)和对象级别(数据平面)的终端节点API操作,以创建存储桶为例,请求语法如下:

PUT / HTTP/1.1
Host: Bucket.s3.amazonaws.com
x-amz-acl: ACL
x-amz-grant-full-control: GrantFullControl
x-amz-grant-read: GrantRead
x-amz-grant-read-acp: GrantReadACP
x-amz-grant-write: GrantWrite
x-amz-grant-write-acp: GrantWriteACP
x-amz-bucket-object-lock-enabled: ObjectLockEnabledForBucket
x-amz-object-ownership: ObjectOwnership
<?xml version="1.0" encoding="UTF-8"?>
<CreateBucketConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
   <LocationConstraint>string</LocationConstraint>
   <Location>
      <Name>string</Name>
      <Type>string</Type>
   </Location>
   <Bucket>
      <DataRedundancy>string</DataRedundancy>
      <Type>string</Type>
   </Bucket>
</CreateBucketConfiguration>

同时Amazon S3 还提供了接入点功能,如图所示,都有着对应的适用场景和用途。接入点是连接到可用于执行 S3 对象操作的存储桶的命名网络终端节点。接入点别名提供与接入点 ARN 相同的功能,并且可以替代 S3 存储桶名称在任何地方使用(通常用于数据访问)

批处理操作是可以对 Amazon S3 对象执行大规模分批操作。我们可以通过创建作业实现对一系列S3对象执行批处理操作

三、体验感悟和个人总结

在学习和使用Amazon S3 Express One Zone之后,我深刻感受到了技术的革新如何极大地改善了数据处理的效率。Amazon S3 Express One Zone有着出色的数据访问速度,为我的日常工作带来了很多帮助相比传统存储方式,S3 Express One Zone以专用硬件和软件复制存储数据,让访问速度比以往更快,这使得处理大规模数据时的体验变得高效而便捷。在处理人工智能和机器学习模型训练、交互式分析等场景时,我感受到了数据访问速度带来的显著提升,同时为我的工作提供了更大的灵活性和可操作性。

值得一提的是,Amazon S3 Express One Zone引入了全新的存储桶类型,即Amazon S3目录存储桶,这种创新性的设计在降低请求成本方面发挥了巨大作用。不仅在性能上有所提升,同时在经济效益上也更为划算。这种高性能与经济实惠的完美结合,使得数据处理体验方面也变得尤为出色。

Amazon S3 Express One Zone的技术革新为数据访问速度与性能需求之间的矛盾提供了一种极为出色的解决方案。通过专用硬件和软件的创新应用,实现了对数据的更快访问速度,为性能关键型应用程序带来了显著的改善。新型存储桶设计的引入进一步提高了整体效能,有效降低了请求成本,为用户提供了更为经济实惠的选择。这一系列的技术革新不仅提升了数据处理的速度和效率,同时也为用户带来了更加灵活和可控的数据管理体验。 Amazon S3 Express One Zone通过技术的前瞻性应用,为用户创造了一个更加智能、高效且经济实惠的数据处理环境。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1310806.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux基本开发工具

编译器和自动化构建工具 一、编译器——gcc、g1. 安装 gcc/g2. 使用3. 链接库4. 拓展命令&#xff1a;od/file/ldd/readelf 二、自动化构建项目——make、makefile1. 介绍2. 使用例子touch——change file timestampsstat——display file or file system status修改时间 .PHON…

SpringBoot2—开发实用篇1

目录 热部署 手动启动热部署 自动启动热部署 热部署范围配置 关闭热部署 配置高级 测试 热部署 什么是热部署&#xff1f;简单说就是你程序改了&#xff0c;现在要重新启动服务器&#xff0c;嫌麻烦&#xff1f;不用重启&#xff0c;服务器会自己悄悄的把更新后的程序给…

大模型时代-怎么正确的开发和使用AI模型

一、背景 大模型的概念已经经过了一年的发酵&#xff0c;大家也渐渐的冷静下来了。一开始大家很兴奋&#xff0c;感觉新的时代要来了&#xff0c;然后就是疯狂&#xff0c;再就是都各自找各自公司的东西怎么与大模型沾点边&#xff0c;要不然今年玩不下去了&#xff0c;就要落伍…

数据结构和算法 - 数组

1、数组 1.1 简介 什么是数组&#xff1f; 他优缺点是什么&#xff1f;具体应用有哪些&#xff1f; 「数组 array」是一种基于顺序存储的线性数据结构&#xff0c;其将相同类型的元素存储在连续的内存空间中。我们将元素在数组中的位置称为该元素的「索引 index」。 如图&…

生产问题排查思路

生产上有用户反映&#xff0c;登录之后页面信息加载不出来&#xff0c;请求响应时间慢等。 下图为生产上一个请求在网关上面的流程&#xff1a; 因为我们生产上&#xff0c;有一张异常信息记录表&#xff0c;第一时间查询了上面是否有最近的异常记录。发现了一点&#xff0c;是…

vue整个页面可以拖拽导入文件

效果图 原理与源码 我们这里的思路是用ant组件库的upload组件&#xff0c;就是如下这个 用这个包裹住所有页面&#xff0c;你可以是包裹住App.vue&#xff0c;或者是你的homepage。但是这个涉及到一个问题&#xff0c;就是我们现在确实是可以拖拽导进来文件了&#xff0c;但是…

【Stm32-F407】Keil uVision5 下新建工程

①双击鼠标左键打开Keil uVision5&#xff0c;选择 Project 下的 New uVision Project &#xff1b; ②在期望的文件夹下创建一个工程&#xff0c;并按如下要求操作&#xff1b; ③添加文件类型&#xff0c;按如下要求操作 ④如有需要可添加相关启动文件在工程文件夹下并添加到…

WEB 3D技术 以vue3+vite环境为例 讲解vue项目中使用three

上文 WEB 3D 技术&#xff0c;通过node环境创建一个three案例 中 我们打造了自己的第一个Web 3D界面 那么 今天 我们就来结合vue来开发我们的3D界面 这里 我们先创建一个文件夹 作为文件目录 千万不要放C盘 我们 依旧是在终端执行命令 npm init vitelatest输入一下项目名称 …

[GWCTF 2019]我有一个数据库1

提示 信息收集phpmyadmin的版本漏洞 这里看起来不像是加密应该是编码错误 这里访问robots.txt 直接把phpinfo.php放出来了 这里能看到它所有的信息 这里并没有能找到可控点 用dirsearch扫了一遍 ####注意扫描buuctf的题需要控制扫描速度&#xff0c;每一秒只能扫10个多一个都…

vue2 echarts不同角色多个类型数据的柱状图

前端代码&#xff1a; 先按照echarts插件。在页面里引用 import * as echarts from "echarts";设置div <div style"width:100%;height:250px;margin-top: 4px;" id"addressChart"></div>方法: addressEcharts() {const option {g…

vue 将后端返回的二进制流进行处理并实现下载

什么是二进制流文件&#xff1f; 二进制文件是一种计算机文件格式&#xff0c;它的数据以二进制形式存储&#xff0c;与文本文件不同。二进制文件可以包含任意类型的数据&#xff0c;例如图像、音频、视频、可执行文件、压缩文件等&#xff0c;而文本文件则仅仅包含 ASCII 码或…

<JavaEE> 网络编程 -- 网络通信基础(协议和协议分层、数据封装和分用)

目录 一、IP地址 1&#xff09;IP地址的概念 2&#xff09;IP地址的格式 二、端口号 1&#xff09;端口号的概念 2&#xff09;端口号的格式 3&#xff09;什么是知名端口号&#xff1f; 三、协议 1&#xff09;协议的概念 2&#xff09;协议的作用 3&#xff09;TC…

Python (八)网络编程

程序员的公众号&#xff1a;源1024&#xff0c;获取更多资料&#xff0c;无加密无套路&#xff01; 最近整理了一份大厂面试资料《史上最全大厂面试题》&#xff0c;Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等 …

RT-Smart 官方 aarch64 平台 musl gcc 工具链下载

前言 RT-Smart 的开发离不开 musl gcc 工具链&#xff0c;用于编译 RT-Smart 内核与用户态应用程序 RT-Smart 当前的 musl gcc 工具链未开源&#xff0c;但可以下载到 官方 最新的 musl gcc 工具链 aarch64 平台 比如 RT-Smart 最好用的 qemu 平台&#xff1a; qemu-virt64-…

龙迅# LT9211C 是一款高性能转换器,可在 MIPI DSI/CSI-2、双端口 LVDS 和 TTL 之间进行互转换,分辨率高达4K30HZ。

1. 描述LT9211C 是一款高性能转换器&#xff0c;可在 MIPI DSI/CSI-2、双端口 LVDS 和 TTL 之间进行互转换&#xff0c;但 24 位 RGB TTL 到 24 位 RGB TTL 除外。不建议在 2 端口 10 位 LVDS 和 24 位 RGB TTL 之间进行转换。LT9211C对输入的MIPI/LVDS/TTL视频数据进行反串&am…

fl studio2024中文版下载安装教程 亲测有效

fl studio是一款功能强大的编曲软件&#xff0c;今天小编就为大家带来了详细的安装教程&#xff0c;需要的朋友一起看看吧&#xff01;fl studio2024是一款功能强大的编曲软件&#xff0c;也就是众所熟知的水果软件。它可以编曲、剪辑、录音、混音&#xff0c;让您的计算机成为…

【ProcessOn】流程图咏道图Axure自定义元件使用----含流程图案例

目录 一&#xff0c;ProcessOn 1.1 ProcessOn是什么 1.2 ProcessOn应用场景 1.3 流程图 1.4 泳道图简介 1.5 Process网址与界面简介 二&#xff0c;流程图案例 2.1 门诊流程图 2.2 住院流程图 2.3 药房药库流程图 2.4 会议OA流程图 三&#xff0c;Axure自定义元件 …

WPF Icon矢量库 MahApps.Metro.IconPacks

文章目录 前言MahApps.Metro.IconPacksIconPacks.Browser简单使用简单使用案例代码Icon版本个人推荐 Icon自定义版权问题 前言 为了更快的进行开发&#xff0c;我找到了一个WPF的矢量图库。这样我们就不用去网上找别人的矢量库了 MahApps.Metro.IconPacks MahApps.Metro.Icon…

手机笔记如何添加文件 在笔记中添加文件方法

在忙碌的工作和生活中&#xff0c;我经常需要记录一些重要的笔记&#xff0c;并且需要添加一些相关的文件以便查阅。但是&#xff0c;我发现很多笔记软件并不支持添加文件&#xff0c;这让我感到非常困扰。 有一次&#xff0c;我需要记录一个会议的重要内容&#xff0c;并且需…

【问题处理】—— lombok 的 @Data 大小写区分不敏感

问题描述 今天在项目本地编译的时候&#xff0c;发现有个很奇怪的问题&#xff0c;一直提示某位置找不到符号&#xff0c; 但是实际在Idea中显示确实正常的&#xff0c;一开始以为又是IDEA的故障&#xff0c;所以重启了IDEA&#xff0c;并执行了mvn clean然后重新编译。但是问…