云计算之存储

一、产品介绍

1.1 对象存储oss

1.2 特点

二、产品技术背景

三、产品架构及功能

四、常见问题及排查思路

4.1 两个bucket目录文件如何快速复制？

4.2 oss里的目录如何删除？

4.3 能否统计oss一个目录的大小

4.4 异常诊断 - 上传下载速度慢

4.5 异常诊断 - 图片处理不符合预期

4.6 异常诊断 - object访问内容不符合预期

4.7 异常诊断 - OSS访问报错

一、产品介绍

1.1 对象存储oss

阿里云对象存储OSS是一款具有行业领先的海量扩展、稳定可靠、安全合规、低成本、智能的云存储服务，可以帮助各行业的客户为各种使用场景存储和保护任意数量的数据，同时具备丰富的数据处理能力，帮助客户更便捷地使用数据。

1.2 特点

海量扩展

单Bucket支持EB级容量，万亿级文件

稳定可靠

99.995%的可用性SLA&12个9的可靠性完整的数据保护和冗余能力基于对象存储的原生DDos防护能力

安全合规

5种加密模式，涵盖服务端加密与客户端加密唯一支持国密算法(SM4)国内唯一支持WORM，Cohasset Associates审计认证唯一原生支持敏感数据保护功能

低成本

5种存储类型，冷数据更低最短留存时间(30/60/180天)2种生命周期管理策略(最后修改时间、最后访问时间)深度冷归档0.0075分/GB月的极致低成本

智能处理(数据湖&媒体处理)

10000+数据湖构建于OSSHDFS全兼容能力，无缝对接Hadoop生态Oss加速器提供Tbps级的读吞吐原生的图片、视频、文档处理能力，支持RTMP写入

二、产品技术背景

块存储、文件存储、对象存储的区别

存储产品	挂载方式	时延	吞吐	协议
块存储EBS	ECS挂载	极低时延（微秒级）	数十Gbps	NVMe
文件存储NAS	ECS/ACK通过挂载点挂载	低时延（毫秒级）	数百Gbps	NFS(Linux) /SMB(Windows)/POSIX
对象存储OSS	主要使用API进行访问调用	较低时延（几十毫秒级）	数百Gbps	HTTP/S3

三、产品架构及功能

( 1 ) 多种存储类型：支持5种存储类型满足数据的全生命周期覆盖以及各种业务场景的数据冷热需求，具备数据冷热分层，提供更具性价比的存储方式。

( 2 ) 稳定可靠：提供多重冗余能力及多样的数据保护功能，高达99.995%可用性的SLA承诺，12个9的数据持久型，确保业务数据的稳定可靠。

( 3 ) 安全合规：支持多维度的权限控制能力与多种加密能力（服务端、客户端等）、加密算法（AES256、国密SM4）的支持，满足企业安全与合规要求。

( 4 ) 企业级数据管理：支持生命周期（最后编辑时间、最后访问时间）、标签、清单、回源、丰富的数据上传与下载方式等，提供更简单易用、更便于管理的对象存储。

( 5 ) 数据处理能力：面向数据湖具备HDFS的全兼容接入能力，无缝对接Hadoop生态，并无缝支持阿里云SLS、EMR、MaxCompute、Hologres等各种计算分析平台与数据源，满足企业数据洞察分析与管理的需求；面向媒体处理场景提供图片处理、视频截帧、文档预览、图片场景识别、人脸识别等能力，满足媒体数据智能分析应用的需求。

( 6 ) 大规模数据迁移：支持在线、离线迁移方案，提供更安全、更快速的数据迁移上云方案。

四、常见问题及排查思路

4.1 两个bucket目录文件如何快速复制？

排查思路：OSS本身没有目录概念，目录A拷贝其实就是遍历以“A/”为前缀的所有文件，进行一个个拷贝，目前api还不支持，可以使用ossutil工具的CP命令进行拷贝。

4.2 oss里的目录如何删除？

排查思路：OSS本身没有目录概念，删除目录A其实就是遍历以A/为前缀的所有文件，进行一个一个删除。删除方案： 1、在控制台执行目录删除操作。 2、使用工具删除：ossbrowser、ossutil。 3、API:批量删除指定前缀的文件可以实现删除目录的功能。

4.3 能否统计oss一个目录的大小

排查思路：OSS本身没有目录的概念，假如用户上传 d01/object 这样的资源，控制台展示看着是d01目录下有个文件叫object ，实际这个文件真正的名称是d01/object，d01/这个目录实际是不存在的，除非用户上传一个object 名称叫做 d01/；所以要统计一个目录的大小，需要遍历以该目录名为前缀的object，累加这些object的大小，得到目录的大小；

ossutil工具封装了遍历累加的逻辑，通过du命令即可统计某目录的大小来查看
用户也可以调用sdk/API 的listobject接口遍历某目录前缀的object，结合headobject接口获取object的content-length 进行累加，得到目录大小。

4.4 异常诊断 - 上传下载速度慢

知识背景：

OSS上传文件的几种方式：简单上传、表单上传、分块上传及断点续传、追加上传、授权第三方上传等，客户在使用SDK、API、官方工具进行文件上传的时候经常会遇到上传/下载速度较慢的情况，此时需要收集端侧信息查询相关日志进行详细确认。

处理思路和流程：

1. 收集基本信息

用户上传、下载的bucket
客户端ip、ping、mtr、traceroute信息使用的工具（如SDK or api or ossutil等工具）和传输方式（内网 or 公网）
调用的api接口（简单 or 分片-如果是分片，片大小是多少）

2. 查看bucket是否触发流控 or bucket所在region触发流控（即被其他bucket影响）

3. 询问客户是否能提供对应慢请求的时间点、文件名或者Requestid信息。

4. 拿到对应信息（如果是文件名+时间点，让在实时日志里过滤对应请求，获取到Requestid），分析耗时是集中在哪部分。耗时由turn_around_time和response_time组成。

若turn_around_time/response_time的占比较高，则说明该请求主要耗时在服务端处理，可以从sls日志里看下当前turn_around_time是否还是持续耗时高，若存在该情况，则升级后端核实。
若turn_around_time/response_time的占比较低，则说明该请求主要耗时在客户到服务端的中间链路上。

5. 若问题持续，可以核实下客户端自身负载是否正常、带宽冗余是否充足、链路是否存在时延较高的情况，通过查看CPU、IO、MEM、ping、抓包等信息来判断，看看是客户端问题导致的慢还是链路时延较高导致的慢。