【Oracle云】使用 boto3 访问 OCI 对象存储 (AWS S3协议兼容)

news2024/11/13 9:25:21

在现代云计算环境中，S3（Simple Storage Service）协议已经成为云对象存储的事实标准。它提供了简单、可扩展、高度耐用的存储解决方案，得到了广泛应用。Oracle Cloud Infrastructure（OCI）秉承着开放性和灵活性的理念，为用户提供了兼容AWS S3协议的对象存储服务。

本文将介绍如何使用 boto3，AWS SDK for Python，通过S3协议访问OCI对象存储。能够在多云环境中实现高度的可移植性，利用协议的兼容性轻松构建跨云的存储方案。

OCI Compartment：

OCI compartment 是 Oracle Cloud Infrastructure（OCI）中的一个概念，它类似于 Kubernetes 中的 namespace。它们的作用主要是组织和进行资源的逻辑隔离。

在 OCI 中，compartment 用于组织和管理 OCI 资源，例如计算实例、存储卷、网络资源等。每个 compartment 都有自己的资源层次结构，可以将相关资源组织在一起，以便更好地管理和控制访问权限。

AWS AK SK：

AWS 认证的 ak,sk 是指 AWS Access Key 和 Secret Access Key。这是 AWS 身份验证过程中最常见的一种认证方式。

Access Key（访问密钥）是一个由 AWS 生成的唯一标识符，用于标识和验证对 AWS 资源的访问权限。它类似于用户名。
Secret Access Key（秘密访问密钥）是与 Access Key 相关联的机密字符串，用于对身份进行验证。它类似于密码。

Boto3：

Boto3 是 AWS 的 Python SDK，主要用于与 AWS 服务进行交互。它提供了与 AWS 服务的集成和操作的功能。在对象存储场景中，OCI 提供 S3协议的兼容，可以使用 boto3 直接操作对象存。

1 OCI 兼容 AWS S3 的使用流程

1.1 生成 AK, SK

在用户设置界面中(控制台右上)，选择 User 配置
找到Customer Secret Keys
生成 secret key

键入生成 Key 的名称，示例为：s3test

生成 KEY

注意：生成的 SK 只显示一次

成功生成 KEY 后即可看到 AK

1.2 OCI Endpoint 命名方式参考

需要注意，在 OCI 中使用 S3 协议对象存储，Endpoint 域名区别于AWS，示例：

可参考信息：

对象存储 namespace

Understanding Object Storage Namespaces

region信息

Regions and Availability Domains

# 配置中 region 和 namespace_name 

{bucketnamespace}.compat.objectstorage.{region}.oraclecloud.com

1.3 兼容测试

可使用 AWS cli 操作 OCI 对象存储，验证核心功能

export AWS_ACCESS_KEY_ID=507dee8xxxxxxxxxxxxxxxxxxxxxxx
export AWS_SECRET_ACCESS_KEY=vIrC+BaYxxxxxxxxxxxxxxxxxxxno=
export AWS_DEFAULT_REGION=eu-frankfurt-1

# 通过s3协议调用预签名功能
aws s3 presign  s3://bucket-20230516-1236/1213.txt  --endpoint-url  https://xxxx.compat.objectstorage.eu-frankfurt-1.oraclecloud.com

2 修改对象存储的 Namespace

注意：AWS没有 Compartment 的概念，所有使用兼容 AWS 的 SDK，默认访问根 compartment (root) 的对象存储桶。

具体修改的位置在用户配置 --> 租户 --> edit object storage settings 中进行设置，如下操作截图：

3 Demo

通过 boto3 查看 eu-frankfurt-1 区域所有 s3 存储桶的名称，示例如下：

import boto3

s3 = boto3.resource(
    's3',
    aws_access_key_id="507dee8d01xxxxxxxxxxxxxxxxxxx4", # AK
    aws_secret_access_key="vIrC+xxxxxxxxxxxxxxxxxxxxxxxno=", # SK
    region_name="eu-frankfurt-1", # Region 信息
    endpoint_url="https://cnmxxxxxxxhxmt.compat.objectstorage.eu-frankfurt-1.oraclecloud.com" # 兼容域名
)

# Print out the bucket names
for bucket in s3.buckets.all():
    print(bucket.name)