spring boot 对接aws 的S3 服务，实现上传和查询

news2025/3/12 12:35:06

1.aws S3介绍

AWS S3（Amazon Simple Storage Service）是亚马逊提供的一种对象存储服务，旨在提供可扩展、高可用性和安全的数据存储解决方案。以下是AWS S3的一些主要特点和功能：

1.1. 对象存储

  • 对象存储模型：S3使用对象存储模型，数据以对象的形式存储在桶（Bucket）中。每个对象由数据、元数据和唯一的标识符（键）组成。
  • 桶（Bucket）：桶是存储对象的容器。每个桶都有一个唯一的名称，并且可以在全球范围内访问。

1.2. 高可用性和耐久性

  • 耐久性：S3提供99.999999999%（11个9）的数据耐久性，确保数据在多个设施中冗余存储。
  • 高可用性：S3设计为具有高可用性，确保用户可以随时访问存储的数据。

1.3. 可扩展性

  • 弹性扩展：S3可以自动扩展以处理任意数量的数据和请求，无需用户进行容量规划。

1.4. 安全性

  • 访问控制：S3提供多种访问控制机制，包括桶策略、IAM策略和ACL（访问控制列表），以确保只有授权用户能够访问数据。
  • 加密：支持在传输和静态存储时对数据进行加密，提供多种加密选项，包括服务器端加密（SSE）和客户端加密。

1.5. 数据管理和分析

  • 版本控制：S3支持对象版本控制，允许用户保留和恢复对象的多个版本。
  • 生命周期管理：用户可以设置生命周期规则，以自动转移或删除不再需要的数据。
  • 事件通知：S3可以配置事件通知，以便在对象创建、删除等操作时触发Lambda函数、SNS通知等。

1.6. 集成和兼容性

  • 与其他AWS服务集成：S3与AWS的其他服务（如EC2、Lambda、CloudFront等）无缝集成，支持数据分析、备份、内容分发等多种场景。
  • 兼容性：S3兼容RESTful API，支持多种编程语言和SDK，方便开发者进行集成和使用。

1.7. 使用场景

  • 备份和恢复：用于数据备份和恢复解决方案。
  • 静态网站托管：可以托管静态网站，支持自定义域名和HTTPS。
  • 大数据分析：用于存储和分析大数据集，支持与AWS Glue、Amazon Athena等服务集成。
  • 媒体存储：用于存储和分发音频、视频和图像等媒体文件。

1.8. 定价

  • 按需计费：S3采用按需计费模式，用户只需为实际使用的存储空间和请求付费。定价根据存储类型、数据传输和请求数量等因素而异。

2.AWS的访问密钥（Access Key）和秘密密钥（Secret Key）

要获取AWS的访问密钥（Access Key）和秘密密钥（Secret Key），请按照以下步骤操作：

2.1. 登录到AWS管理控制台

访问 AWS管理控制台 并使用你的AWS账户登录。

2.2. 访问IAM（身份与访问管理）

  1. 在控制台主页，找到并点击“IAM”服务。
  2. 在左侧菜单中，选择“用户”。

user

2.3. 创建新用户（如果需要）

如果你还没有用户，或者想为特定的应用创建一个新用户，可以按照以下步骤创建：

  1. 点击“添加用户”。
  2. 输入用户名，并选择“编程访问”选项。
  3. 点击“下一步：权限”。

create

2.4. 设置权限

json

  1. 你可以选择将用户添加到现有的用户组，或者直接为用户附加权限策略。
  2. 如果你只需要S3的访问权限，可以选择“创建策略”，并使用以下JSON示例来创建一个只允许访问S3的策略：
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "s3:*",
            "Resource": "*"
        }
    ]
}
  1. 完成后，点击“下一步：标签”，然后点击“下一步：查看”。
  2. 确认信息无误后，点击“创建用户”。

2.5. 获取访问密钥和秘密密钥

  1. 创建用户后，你将看到一个成功页面，其中包含“访问密钥 ID”和“秘密访问密钥”。
  2. 注意：秘密访问密钥只会在此时显示一次，请务必将其安全保存。如果丢失，你需要重新生成密钥。

2.6. 配置密钥

将获取到的“访问密钥 ID”和“秘密访问密钥”填入你的application.properties文件中：

cloud.aws.credentials.access-key=YOUR_ACCESS_KEY
cloud.aws.credentials.secret-key=YOUR_SECRET_KEY

2.7. 安全性注意事项

  • 不要将密钥硬编码：在生产环境中，建议使用环境变量或AWS Secrets Manager来管理密钥。
  • 最小权限原则：只授予用户所需的最小权限，以降低安全风险。
  • 定期轮换密钥：定期更换访问密钥以增强安全性。

通过以上步骤，你就可以获取AWS的访问密钥和秘密密钥，并在Spring Boot应用中进行配置。

3.代码工程

要在Spring Boot应用中对接AWS S3服务，实现文件的上传和查询，你可以按照以下步骤进行：

3.1. 添加依赖

在你的pom.xml中添加AWS SDK的依赖：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>springboot-demo</artifactId>
        <groupId>com.et</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>aws-s3</artifactId>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-autoconfigure</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <version>1.12.300</version> <!-- 请根据需要选择合适的版本 -->
        </dependency>
    </dependencies>
</project>

3.2. 配置AWS凭证

你可以通过环境变量、系统属性或配置文件来配置AWS凭证。以下是使用application.properties的示例：

cloud.aws.credentials.access-key=xxxx
cloud.aws.credentials.secret-key=xxxx
cloud.aws.region.static=xxx
cloud.aws.s3.bucket=xxx
proxy.host=127.0.0.1
proxy.port=1080

3.3. 创建S3配置类

创建一个配置类来初始化S3客户端：

package com.et.aws.config;

import com.amazonaws.ClientConfiguration;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.client.builder.AwsClientBuilder;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.net.InetSocketAddress;
import java.net.Proxy;

@Configuration
public class S3Config {

    @Value("${cloud.aws.credentials.access-key}")
    private String accessKey;

    @Value("${cloud.aws.credentials.secret-key}")
    private String secretKey;

    @Value("${cloud.aws.region.static}")
    private String region;

    @Value("${proxy.host:}") // 代理主机
    private String proxyHost;

    @Value("${proxy.port:}") // 代理端口
    private int proxyPort;

    @Bean
    public AmazonS3 amazonS3() {
        BasicAWSCredentials awsCredentials = new BasicAWSCredentials(accessKey, secretKey);

        AmazonS3ClientBuilder builder = AmazonS3ClientBuilder.standard()
                .withRegion(region)
                .withCredentials(new AWSStaticCredentialsProvider(awsCredentials));

        // 如果代理主机和端口不为空，则配置代理
        if (!proxyHost.isEmpty() && proxyPort > 0) {
            Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));
            builder.withClientConfiguration(new ClientConfiguration().withProxyHost(proxyHost).withProxyPort(proxyPort));
        }

        return builder.build();
    }
}

3.4. 实现文件上传和查询功能

创建一个服务类来处理文件的上传和查询：

package com.et.aws.service;

import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.model.ObjectListing;
import com.amazonaws.services.s3.model.S3ObjectSummary;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;

import java.io.IOException;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;

@Service
public class S3Service {

    @Autowired
    private AmazonS3 amazonS3;

    @Value("${cloud.aws.s3.bucket}")
    private String bucketName;

    public String uploadFile(MultipartFile file) throws IOException {
        String fileName = file.getOriginalFilename();
        InputStream inputStream = file.getInputStream();
        amazonS3.putObject(bucketName, fileName, inputStream, null);
        return fileName;
    }

    public List<String> listFiles() {
        ObjectListing objectListing = amazonS3.listObjects(bucketName);
        List<String> fileNames = new ArrayList<>();
        for (S3ObjectSummary objectSummary : objectListing.getObjectSummaries()) {
            fileNames.add(objectSummary.getKey());
        }
        return fileNames;
    }
}

3.5. 创建控制器

创建一个控制器来处理HTTP请求：

package com.et.aws.controller;

import com.et.aws.service.S3Service;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;

import java.io.IOException;
import java.util.List;

@RestController
@RequestMapping("/api/s3")
public class S3Controller {

    @Autowired
    private S3Service s3Service;

    @PostMapping("/upload")
    public ResponseEntity<String> uploadFile(@RequestParam("file") MultipartFile file) {
        try {
            String fileName = s3Service.uploadFile(file);
            return ResponseEntity.ok("File uploaded: " + fileName);
        } catch (IOException e) {
            return ResponseEntity.status(500).body("File upload failed: " + e.getMessage());
        }
    }

    @GetMapping("/files")
    public ResponseEntity<List<String>> listFiles() {
        List<String> files = s3Service.listFiles();
        return ResponseEntity.ok(files);
    }
}

以上只是一些关键代码，所有代码请参见下面代码仓库

代码仓库

  • GitHub - Harries/springboot-demo: a simple springboot demo with some components for example: redis,solr,rockmq and so on.(aws-s3)

4. 测试

启动你的Spring Boot应用，并使用Postman或其他工具测试文件上传和查询功能。

上传文件：

发送POST请求到/api/s3/upload，并在请求中附加文件。

upload

查询文件：

发送GET请求到/api/s3/files，将返回存储在S3中的文件列表。

query

注意事项

  • 确保你的AWS IAM用户具有对S3的访问权限。
  • 根据需要处理异常和错误情况。
  • 你可以根据需要扩展功能，例如文件删除、文件下载等。

通过以上步骤，你就可以在Spring Boot应用中成功对接AWS S3服务，实现文件的上传和查询。

5.引用

  • Cloud Computing Services - Amazon Web Services (AWS)
  • https://docs.aws.amazon.com/s3/?icmpid=docs_homepage_featuredsvcs
  • spring boot 对接aws 的S3 服务，实现上传和查询 | Harries Blog™

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2299690.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

25/2/16 ＜算法笔记＞ DirectPose

25/2/16 ＜算法笔记＞ DirectPose

DirectPose 是一种直接从图像中预测物体的 6DoF&#xff08;位姿&#xff1a;6 Degrees of Freedom&#xff09;姿态 的方法&#xff0c;包括平移和平面旋转。它在目标检测、机器人视觉、增强现实&#xff08;AR&#xff09;和自动驾驶等领域中具有广泛应用。相比于传统的位姿估…
阅读更多...
数据结构-8.Java. 七大排序算法(下篇)

数据结构-8.Java. 七大排序算法(下篇)

本篇博客给大家带来的是排序的知识点, 由于时间有限, 分两天来写, 下篇主要实现最后一种排序算法: 归并排序。同时把中篇剩下的快排非递归实现补上. 文章专栏: Java-数据结构 若有问题 评论区见 欢迎大家点赞 评论 收藏 分享 如果你不知道分享给谁,那就分享给薯条. 你们的支持是…
阅读更多...
DeepSeek私有化部署+JAVA通过API调用离线大模型问答

DeepSeek私有化部署+JAVA通过API调用离线大模型问答

在当今快速发展的数字化时代&#xff0c;企业对于高效、灵活的技术解决方案需求日益增长。DeepSeek作为一款领先的智能搜索与分析平台&#xff0c;凭借其强大的数据处理能力和精准的搜索结果&#xff0c;已经成为众多企业提升运营效率的得力助手。为了更好地满足企业对数据安全…
阅读更多...
【吾爱出品】针对红警之类老游戏适用WIN10和11的补丁cnc-ddraw7.1汉化版

【吾爱出品】针对红警之类老游戏适用WIN10和11的补丁cnc-ddraw7.1汉化版

针对红警之类老游戏适用WIN10和11的补丁cnc-ddraw7.1汉化版 链接&#xff1a;https://pan.xunlei.com/s/VOJ8PZd4avMubnDzHQAeZDxWA1?pwdnjwm# 直接复制到游戏安装目录&#xff0c;保持与游戏主程序同目录下。
阅读更多...
内容中台驱动企业数字化内容管理高效协同架构

内容中台驱动企业数字化内容管理高效协同架构

内容概要 在数字化转型加速的背景下&#xff0c;企业对内容管理的需求从单一存储向全链路协同演进。内容中台作为核心支撑架构&#xff0c;通过统一的内容资源池与智能化管理工具&#xff0c;重塑了内容生产、存储、分发及迭代的流程。其核心价值在于打破部门壁垒&#xff0c;…
阅读更多...
【第14章：神经符号集成与可解释AI—14.4 神经符号集成与可解释AI的未来发展趋势与挑战】

【第14章：神经符号集成与可解释AI—14.4 神经符号集成与可解释AI的未来发展趋势与挑战】

想象一下，如果AI既能像人类一样直觉感知（比如一眼认出街角的咖啡店），又能像数学家一样逻辑推理（比如计算最优路线避开拥堵），这个世界会变成什么样？这种“双脑协同”正是神经符号集成技术的终极目标。 但现实是，当前99%的AI系统要么只会“死记硬背”数据（如深度学习模…
阅读更多...
[Spring Boot] Expense API 实现

[Spring Boot] Expense API 实现

[Spring Boot] Expense API 实现 项目地址&#xff1a;expense-api 项目简介 最近跟着视频做的一个 spring boot 的项目&#xff0c;包含了比较简单的记账功能的实现&#xff08;只限 API 部分&#xff09;&#xff0c;具体实现的功能有&#xff1a; 记账&#xff08;expen…
阅读更多...
设置默认构建变体 Build Variant

设置默认构建变体 Build Variant

Android Studio在打开项目时有时会把我设置好的build Variant改为默认的变体&#xff0c;没注意的话可能打完包才发现打错了&#xff0c;浪费时间。因此&#xff0c;有必要通过代码设置一个我想要的默认变体。 代码其实很简单&#xff0c;只要在变体下面加上isDefault true即可…
阅读更多...
【大模型】DeepSeek使用与原理解析：从V3到R1

【大模型】DeepSeek使用与原理解析：从V3到R1

文章目录 一、引言二、使用与测评1.7大R1使用技巧2.官网实测 发展历程三、Deepseek MoE&#xff1a;专家负载均衡 &#xff08;2024年1月&#xff09;四、GRPO&#xff1a;群体相对策略优化&#xff08;DeepSeek-Math&#xff0c;2024年4月&#xff09;五、三代注意力&#xff…
阅读更多...
DAY04 Object、Date类、DateFormat类、Calendar类、Math类、System类

DAY04 Object、Date类、DateFormat类、Calendar类、Math类、System类

学习目标 能够说出Object类的特点是所有类的祖宗类,任意的一个类都直接或者间接的继承了Object类,都可以使用Object类中的方法Animal extends Object:直接继承Cat extends Animal:间接继承 能够重写Object类的toString方法altinsert,选择toString 能够重写Object类的equals方法…
阅读更多...
图像生成GAN和风格迁移

图像生成GAN和风格迁移

文章目录 摘要abstract1.生成对抗网络 GAN1.1 算法步骤 2.风格迁移2.1 损失函数2.2 论文阅读2.2.1 简介2.2.2 方法2.2.3 实验2.2.4 结论 3.总结 摘要 本周学习了生成对抗网络&#xff08;GAN&#xff09;与风格迁移技术在图像生成中的应用。首先介绍了GAN模型中生成器与判别器…
阅读更多...
golangAPI调用deepseek

golangAPI调用deepseek

目录 1.deepseek官方API调用文档1.访问格式2.curl组装 2.go代码1. config 配置2.模型相关3.错误处理4.deepseekAPI接口实现5. 调用使用 3.响应实例 1.deepseek官方API调用文档 1.访问格式 现在我们来解析这个curl 2.curl组装 // 这是请求头要加的参数-H "Content-Type:…
阅读更多...
【第15章：量子深度学习与未来趋势—15.3 量子深度学习在图像处理、自然语言处理等领域的应用潜力分析】

【第15章：量子深度学习与未来趋势—15.3 量子深度学习在图像处理、自然语言处理等领域的应用潜力分析】

一、开篇：为什么我们需要关注这场"量子+AI"的世纪联姻？ 各位技术爱好者们，今天我们要聊的这个话题，可能是未来十年最值得押注的技术革命——量子深度学习。这不是简单的"1+1=2"的物理叠加，而是一场可能彻底改写AI发展轨迹的范式转移。 想象这样一个…
阅读更多...
JAVA安全—Shiro反序列化DNS利用链CC利用链AES动态调试

JAVA安全—Shiro反序列化DNS利用链CC利用链AES动态调试

前言 讲了FastJson反序列化的原理和利用链&#xff0c;今天讲一下Shiro的反序列化利用&#xff0c;这个也是目前比较热门的。 原生态反序列化 我们先来复习一下原生态的反序列化&#xff0c;之前也是讲过的&#xff0c;打开我们写过的serialization_demo。代码也很简单&…
阅读更多...
LangChain大模型应用开发：提示词工程应用与实践

LangChain大模型应用开发：提示词工程应用与实践

介绍 大家好&#xff0c;博主又来给大家分享知识了。今天给大家分享的内容是LangChain提示词工程应用与实践。 在如今火热的大语言模型应用领域里&#xff0c;LangChain可是一个相当强大且实用的工具。而其中的提示词(Prompt)&#xff0c;更是我们与语言模型进行有效沟通的关…
阅读更多...
2025 N1CTF crypto 复现

2025 N1CTF crypto 复现

近一个月都没有学习了&#xff0c;一些比赛也没有打&#xff0c;很惭愧自己还是处在刚放假时的水平啊&#xff0c;马上开学了&#xff0c;抓紧做一些训练来康复。 CheckIn import os from Crypto.Util.number import * from secret import FLAGp, q getPrime(512), getPrime…
阅读更多...
Windows Defender Control--禁用Windows安全中心

Windows Defender Control--禁用Windows安全中心

Windows Defender Control--禁用Windows安全中心 链接&#xff1a;https://pan.xunlei.com/s/VOJDuy2ZEqswU4sEgf12JthZA1?pwdtre6#
阅读更多...
mount 出现 2038 问题

mount 出现 2038 问题

在 linux 上挂载 ext4 文件系统时出现了 2038 年问题&#xff0c;如下&#xff1a; [ 236.388500] EXT4-fs (mmcblk0p2): mounted filesystem with ordered data mode. Opts: (null) [ 236.388560] ext4 filesystem being mounted at /root/tmp supports timestamps until 2…
阅读更多...
【第12章：深度学习与伦理、隐私—12.4 深度学习与伦理、隐私领域的未来挑战与应对策略】

【第12章：深度学习与伦理、隐私—12.4 深度学习与伦理、隐私领域的未来挑战与应对策略】

凌晨三点的自动驾驶测试场，AI系统突然在暴雨中做出惊人决策——它选择撞向隔离带而不是紧急变道，因为算法推演发现隔离带后的应急车道站着五个工程师。这个惊悚的伦理困境，揭开了深度学习伦理危机最尖锐的冰山一角。 一、潘多拉魔盒已开：深度学习伦理的四大原罪 1.1 数据原…
阅读更多...
RL--2

RL--2

强化学习当中最难的两个点是&#xff1a; 1.reward delay&#xff1b; 2.agent的行为会影响到之后看到的东西&#xff0c;所以agent要学会探索世界&#xff1b; 关于强化学习的不同类型&#xff0c;可以分为以下三种&#xff1a; 一种是policy based&#xff1a;可以理解为它是…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023