【篇二】使用springboot+vue实现阿里云oss文件直传,解决大文件分片上传问题

news2024/11/25 22:29:55

一、前言

上一篇《使用springboot+vue实现阿里云oss上传》写了如何使用springboot+vue实现阿里云oss文件上传。这种方式虽然通用,但有个弊端就是当上传大文件时,容易导致文件还未上传完页面请求就超时了,如果想把oss的文件路径保存到数据库则无法实现。

针对这个阿里云也推出了直传的方式。这个方式避免文件传输到后台再转存到oss,大大缩减了上传时间,并且支持分片上传方式,对于大文件处理非常高效。

其整个流程是:前端通过后台请求OSS policy签名,前端拿到签名后直接把文件上传到阿里云oss,上传成功后OSS通过回调把上传结果返回给后端,下面我们来看具体实现。

二、前端实现逻辑

我们通过对上一篇的上传组件进行一个改造。
OssFileUpload组件

<template>
  <div class="upload-file">
    <el-upload
        :multiple="multiple"
        :accept="accept.join(',')"
        action="#"
        :http-request="handleUpload"
        :before-upload="handleBeforeUpload"
        :file-list="fileList"
        :limit="limit"
        :on-exceed="handleExceed"
        :show-file-list="false"
        :data="data"
        class="upload-file-uploader"
        ref="fileUpload"
    >
      <!-- 上传按钮 -->
      <el-button size="mini" type="primary">选取文件</el-button>
      <template v-if="multiple"> (按住Ctrl键多选)</template>
      <!-- 上传提示 -->
      <div class="el-upload__tip" slot="tip" v-if="showTip && fileList.length<=0">
        请上传
        <template v-if="limit"> 最多 <b style="color: #f56c6c">{{ limit }}个</b></template>
        <template v-if="fileSize"> 大小不超过 <b style="color: #f56c6c">{{ fileSize }}MB</b></template>
        <template v-if="fileType"> 格式为 <b style="color: #f56c6c">{{ fileType.join("/") }}</b></template>
        的文件
      </div>
    </el-upload>

    <!-- 文件列表 -->
    <transition-group class="upload-file-list el-upload-list el-upload-list--text" name="el-fade-in-linear" tag="ul" height="485">
      <li v-for="(file, index) in fileList" :key="file.uid || index "
          class="el-upload-list__item ele-upload-list__item-content">
        <el-link :href="file.url" :underline="false" target="_blank">
          <span class="el-icon-document"> {{ file.name }} </span>
        </el-link>
        <div class="ele-upload-list__item-content-action">
          <el-link :underline="false" @click="handleDelete(index)" type="danger" style="width: 50px">删除</el-link>
        </div>
      </li>
    </transition-group>
  </div>
</template>

<script>
import {handleMD5} from '@/utils/md5';
import {getOssPolicy} from "@/api/file";
import {POST} from "@/utils/request";
export default {
  name: "OssFileUpload",
  props: {
    // 是否可多选
    multiple: {
      type: Boolean,
      default: true,
    },
    // 值
    value: [String, Object, Array],
    // 数量限制
    limit: {
      type: Number,
      default: 5,
    },
    // 大小限制(MB)
    fileSize: {
      type: Number,
      default: 5,
    },
    // 文件类型, 例如['png', 'jpg', 'jpeg']
    fileType: {
      type: Array,
      default: () => ["doc", "xls", "xlsx", "ppt", "txt", "pdf"],
    },
    accept: {
      type: Array,
      default: () => [".doc", ".xls", ".xlsx", ".ppt", ".txt", ".pdf"],
    },
    // 是否显示提示
    isShowTip: {
      type: Boolean,
      default: true
    },
    // 是否重命名
    rename: {
      type: Boolean,
      default: false
    }
  },
  data() {
    return {
      number: 0,
      uploadList: [],
      fileList: [],
      data: {}
    };
  },
  watch: {
    value: {
      handler(val) {
        if (val) {
          let temp = 1;
          // 首先将值转为数组
          const list = Array.isArray(val) ? val : this.value.split(',');
          // 然后将数组转为对象数组
          this.fileList = list.map(item => {
            if (typeof item === "string") {
              item = {name: item.name, url: item.url};
            }
            item.uid = item.uid || new Date().getTime() + temp++;
            return item;
          });
        } else {
          this.fileList = [];
          return [];
        }
      },
      deep: true,
      immediate: true
    },
    rename: {
      handler(val) {
        this.data = {rename: val}
      },
      deep: true,
      immediate: true
    }
  },
  computed: {
    // 是否显示提示
    showTip() {
      return this.isShowTip && (this.fileType || this.fileSize);
    },
  },
  methods: {
    // 上传前校检格式和大小
    handleBeforeUpload(file) {
      // 校检文件类型
      if (this.fileType) {
        const fileName = file.name.split('.');
        const fileExt = fileName[fileName.length - 1];
        const isTypeOk = this.fileType.indexOf(fileExt) >= 0;
        if (!isTypeOk) {
          this.$modal.msgError(`文件格式不正确, 请上传${this.fileType.join("/")}格式文件!`);
          return false;
        }
      }
      // 校检文件大小
      if (this.fileSize) {
        const isLt = file.size / 1024 / 1024 < this.fileSize;
        if (!isLt) {
          this.$modal.msgError(`上传文件大小不能超过 ${this.fileSize} MB!`);
          return false;
        }
      }
      this.$modal.loading("正在上传文件,请稍候...");
      this.number++;
      return true;
    },
    // 文件个数超出
    handleExceed() {
      this.$modal.msgError(`上传文件数量不能超过 ${this.limit} 个!`);
    },
    // 删除文件
    handleDelete(index) {
      this.fileList.splice(index, 1);
      this.$emit("input", this.listToString(this.fileList));
    },
    // 上传结束处理
    uploadedSuccessfully() {
      if (this.number > 0 && this.uploadList.length === this.number) {
        this.fileList = this.fileList.concat(this.uploadList);
        this.uploadList = [];
        this.number = 0;
        this.$emit("input", this.listToString(this.fileList));
        this.$modal.closeLoading();
      }
    },
    /** 上传按钮操作 */
    handleUpload (file) {
      // 计算文件的MD5,根据文件大小进行分片处理
      handleMD5(file.file).then(md5 => {
        const data = {
          fileName: file.file.name,
          md5: md5,
          rename: this.rename
        };
        getOssPolicy(data).then((response) => {
          let data = response.data
          let formData = new FormData();
          formData.append('OSSAccessKeyId', data.accessKeyId);
          formData.append('signature', data.signature);
          formData.append('policy', data.policy);
          formData.append('key',data.filePath);
          formData.append('callback',data.callback);
          formData.append('success_action_status', 200);
          formData.append('file',file.file);
          POST(data.host, formData).then((res) => {
            let data = res.data
            if (data.code !== 0) {
              this.$modal.msgError(data.msg);
              return;
            }
            this.uploadList.push({name: data.data.filename, url: data.data.url});
            this.uploadedSuccessfully();
            this.$modal.msgSuccess("上传成功");
          });
        });
      });
    },
    // 对象转成指定字符串分隔
    listToString(list, separator) {
      let strs = "";
      separator = separator || ",";
      for (let i in list) {
        strs += list[i].url + separator;
      }
      return strs != '' ? strs.substr(0, strs.length - 1) : '';
    }
  }
};
</script>

<style scoped lang="scss">
.upload-file-uploader {
  margin-bottom: 5px;
}

.upload-file-list {
  max-height: 420px;
  overflow-y: auto;
}

.upload-file-list .el-upload-list__item {
  border: 1px solid #e4e7ed;
  line-height: 2;
  margin-bottom: 10px;
  position: relative;
}

.upload-file-list .ele-upload-list__item-content {
  display: flex;
  justify-content: space-between;
  align-items: center;
  color: inherit;
}

.ele-upload-list__item-content-action .el-link {
  margin-right: 10px;
}
</style>

这里使用的是spark-md5来计算文件MD5,测试下来比crypto-js要快不少。

import SparkMD5 from 'spark-md5'

// 计算md5
export function handleMD5(file) {
  return new Promise((resolve, reject) => {
    let start = new Date().getTime()
    const slice = File.prototype.slice || File.prototype.mozSlice || File.prototype.webkitSlice
    const fileReader = new FileReader()
    //分片大小
    const chunkSize = 2097152
    //计算分片数
    const chunks = Math.ceil(file.size / chunkSize)
    let currentChunk = 0
    //注意点,网上都是 这一步都是有问题的, SparkMD5.ArrayBuffer()
    const spark = new SparkMD5.ArrayBuffer()
    fileReader.onload = function (e) {
      spark.append(e.target.result)
      currentChunk++
      if (currentChunk < chunks) {
        loadNext()
      } else {
      	//计算后的结果
        const md5 = spark.end(false)        
        console.info('md5:' + md5)
        console.info("take:" + (new Date().getTime() - start) + "ms")
        resolve(md5)
      }
    }
    fileReader.onerror = function () {
      console.warn('FileReader error.')
      reject('compute file md5 error')
    }

    const loadNext = () => {
      const start = currentChunk * chunkSize
      const end = ((start + chunkSize) >= file.size) ? file.size : start + chunkSize
      // 注意这里的 fileRaw
      fileReader.readAsArrayBuffer(slice.call(file, start, end))
    }

    loadNext()
  })
}

POST 的定义,使用axios

export const POST = async (url, form) => {
  try {
    return await axios.post(`${url}`, form);
  } catch (error) {
    return error;
  }
};

使用示例

<template>
  <div class="app-container">
	<el-dialog title="文件上传" :visible.sync="open" width="700px" append-to-body>
      <el-form ref="form" :model="form" :rules="rules" label-width="120px">
        <el-form-item label="文件标识" prop="code">
          <el-input v-model="form.code" clearable maxlength="50" show-word-limit style="width: 250px"/>
        </el-form-item>
        <el-form-item label="是否重命名文件" prop="rename">
          <el-radio-group v-model="rename">
            <el-radio :label="false"></el-radio>
            <el-radio :label="true"></el-radio>
          </el-radio-group>
        </el-form-item>
        <el-form-item label="选择文件" prop="file" class="is-required">
          <!--只能上传1个最大100M的视频文件-->
          <oss-file-upload ref="upload" :fileType="fileType" :accept="accept" :fileSize="100" :limit="1" :multiple="false" :value="form.files" :rename="rename"/>
        </el-form-item>
        <el-form-item label="备注" prop="remark">
          <el-input type="textarea" :rows="3" v-model="form.remark" clearable maxlength="500" show-word-limit/>
        </el-form-item>
      </el-form>
      <div slot="footer" class="dialog-footer">
        <el-button type="primary" @click="submitForm">确 定</el-button>
        <el-button @click="cancel">取 消</el-button>
      </div>
    </el-dialog>
  </div>
</template>

<script>
import { add } from "@/api/xxx"; // 请求后台的接口封装
import OssFileUpload from "@/components/OssFileUpload";
export default {
   name: "demo",
   components: {
    OssFileUpload 
   },
   data() {
    return {
      // 自定义允许上传的文件格式,也可以使用组件里面定义的默认格式
      fileType: ['avi', 'mp4', 'mov', 'wmv', 'flv', 'mpeg', 'webm'],
      accept: ['.avi', '.mp4', '.mov', '.wmv', '.flv', '.mpeg', '.webm'],
      // 是否重命名
      rename: false,
      // 表单参数
      form: {
        code: undefined,
        remark: undefined,
        url: undefined,
        files: []
      },
      // 表单校验
      rules: {
      	code: [{required: true, message: "文件标识不能为空", trigger: "blur"}],
     	files: [{type: 'array', required: true, message: "文件不能为空", trigger: "blur"}]
 	  }
    }
   },
   methods: {
   	/** 提交按钮 */
    submitForm: function () {
        this.$refs["form"].validate(valid => {
            if (valid) {
                this.form.files = this.$refs.upload.fileList
                if (!Array.isArray(this.form.files) || this.form.files.length <= 0) {
                    this.$alert("请上传附件");
                    return false;
                }
                console.info(this.form)
                add(this.form).then(() => {
                    this.$modal.msgSuccess("操作成功");
                    this.open = false;
                });
            }
        });
    },            
  	...
  }
}
</script>

<style lang="scss" scoped>
::v-deep {
  .el-dialog__body {
    padding: 10px 10px 20px 10px;
  }
}
</style>

效果如下:
在这里插入图片描述
上传成功后再上传其他文件时效果
在这里插入图片描述

三、后端实现逻辑

controller

/**
 * 生成OSS policy
 *
 * @param request 请求
 * @return 结果
 */
@PostMapping("/policy")
public Result<OssPolicyInfo> generateOssPolicy(@RequestBody @Valid GetOssPolicyRequest request) {
    OssPolicyInfo ossPolicyInfo = ossService.getPolicy(request);
    return Result.success(ossPolicyInfo);
}

/**
 * 文件上传到OSS的回调处理
 *
 * @param servletRequest 回调request
 * @return 验证结果
 */
@PostMapping("/oss/callback")
public Result callback(HttpServletRequest servletRequest) {
	//servletRequest -> map
    Map<String, String> callbackMap = HttpRequestUtil.commonHttpRequestParamConvert(servletRequest);
    String filename = callbackMap.get("filename");
    String name = filename.substring(filename.lastIndexOf("/") + 1);
    //文件访问地址
    String url = ExternalUrl.OSS_HOST + "/" + filename;
    callbackMap.put("url", url);
    callbackMap.put("filename", name);
    return Result.success(callbackMap);
}

service

@Resource
private AliyunOssConfig config;

private OSSClient getOSSClient() {
   return (OSSClient) new OSSClientBuilder().build(config.getEndPoint(), config.getKeyId(), config.getSecret());
}
    
@Override
public OssPolicyInfo getPolicy(GetOssPolicyRequest request) {
    OSSClient ossClient = getOSSClient();
    try {
        Long fileId = new SnowFlakeGenerator().nextId();
        String fileName = request.getFileName();
        if (request.getRename()) {
            // 重命名
            fileName = fileId + "." + FilenameUtils.getExtension(fileName);
        }
        String filePath = String.format("file/%s", fileName);
        // 30s内上传有效
        long expireTime = 30;
        long expireEndTime = System.currentTimeMillis() + expireTime * 1000;
        Date expiration = new Date(expireEndTime);
        // PostObject请求最大可支持的文件大小为1 GB,即CONTENT_LENGTH_RANGE为1024*1024*1024。
        PolicyConditions policyConditions = new PolicyConditions();
        policyConditions.addConditionItem(PolicyConditions.COND_CONTENT_LENGTH_RANGE, 0, 1073741824);
        policyConditions.addConditionItem(MatchMode.Exact, PolicyConditions.COND_KEY, filePath);

        String postPolicy = ossClient.generatePostPolicy(expiration, policyConditions);
        byte[] binaryData = postPolicy.getBytes(StandardCharsets.UTF_8);
        String encodedPolicy = BinaryUtil.toBase64String(binaryData);
        String postSignature = ossClient.calculatePostSignature(postPolicy);

        OssPolicyInfo ossPolicyInfo = new OssPolicyInfo()
                .setAccessKeyId(config.getKeyId())
                .setPolicy(encodedPolicy)
                .setSignature(postSignature)
                .setFilePath(filePath)
                .setHost(ExternalUrl.OSS_HOST) //OSS地址
                .setExpire(expireEndTime / 1000);
		//如果需要回调,默认为true
        if (request.getNeedCallback()) {
            String callbackUrl = "/oss/callback";
            String callbackBody = String.format("filename=${object}&size=${size}&md5=%s", request.getMd5());
            JSONObject callback = new JSONObject();
            callback.put("callbackUrl", callbackUrl);
            callback.put("callbackBody", callbackBody);
            callback.put("callbackBodyType", "application/x-www-form-urlencoded");
            String encodedCallbackBody = BinaryUtil.toBase64String(callback.toString().getBytes());
            ossPolicyInfo.setCallback(encodedCallbackBody);
        }
        return ossPolicyInfo;
    } catch (Exception e) {
        log.error("Oss generate post policy fail");
        throw new ServerErrorException("服务器错误");
    } finally {
        ossClient.shutdown();
    }
}

AliyunOssConfig

@Data
@Configuration
@ConfigurationProperties(prefix = "aliyun.oss")
public class AliyunOssConfig {
   private String endPoint;
   private String keyId;
   private String secret;
   private String bucketName;
}

GetOssPolicyRequest

@Data
public class GetOssPolicyRequest {
    @NotBlank
    private String fileName;
    private String md5;
    private Boolean needCallback = true;
    private Boolean rename = false;
}

值得注意的是/oss/callback这个地址需要使用公网,阿里云能回调成功才行。

本篇介绍到这里,需要帮到大家。麻烦多多点赞,谢谢!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1803550.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

思维,CF1575K - Knitting Batik

目录 一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 二、解题报告 1、思路分析 2、复杂度 3、代码详解 一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 1575K - Knitting Batik 二、解题报告 1、思路分析 诈骗题&#xff0c;上面…

How to: Build a Custom End-User Skin Selector

This section explains how to populate a ComboBoxEdit control with DevExpress skin items. 本节介绍如何使用DevExpress皮肤项填充ComboBoxEdit控件。 To populate a combo box editor, iterate through the SkinManager.Skins collection, which returns all currently a…

Vulnhub-DC5

靶机IP:192.168.20.139 kaliIP:192.168.20.128 网络有问题的可以看下搭建Vulnhub靶机网络问题(获取不到IP) 信息收集 nmap扫下端口及版本 dirsearch扫下目录 LinuxphpNginx 环境 我们再去看前端界面&#xff0c;发现在contact界面有能提交的地方&#xff0c;但是经过测试不…

批量转换更高效:一键修改TXT后缀名转DOCX,轻松实现文件高效管理!

在日常生活和工作中&#xff0c;我们经常需要处理大量的文件&#xff0c;而文件格式的转换和管理往往是其中一项繁琐的任务。特别是当需要将大量的TXT文件转换为DOCX格式时&#xff0c;传统的逐个手动操作不仅效率低下&#xff0c;还容易出错。然而&#xff0c;现在有了我们这款…

【Mtk Camera开发学习】06 MTK 和 Qcom 平台支持通过 Camera 标准API 打开 USBCamera

本专栏内容针对 “知识星球”成员免费&#xff0c;欢迎关注公众号&#xff1a;小驰行动派&#xff0c;加入知识星球。 #MTK Camera开发学习系列 #小驰私房菜 Google 官方介绍文档&#xff1a; https://source.android.google.cn/docs/core/camera/external-usb-cameras?hlzh-…

SpringBoot+Vue教师工作量管理系统(前后端分离)

技术栈 JavaSpringBootMavenMySQLMyBatisVueShiroElement-UI 角色对应功能 教师管理员 功能截图

免费数据库同步软件

在信息化日益发展的今天&#xff0c;数据同步成为了企业和个人用户不可或缺的一部分。数据库同步软件作为数据同步的重要工具&#xff0c;能够帮助我们实现不同数据库系统之间的数据复制和同步&#xff0c;确保数据的一致性和完整性。本文将介绍几款免费数据库同步软件&#xf…

Go微服务: 分布式之通过可靠消息实现最终一致性

通过可靠消息实现最终一致性 可靠消息&#xff0c;就是靠普消息&#xff0c;还是基于之前的这个案例 比如这个订单服务&#xff0c;无论你是先发送消息&#xff0c;还是先新建订单&#xff0c;它其实都是发送的不可靠消息就是说如果这个消息&#xff0c;像mysql事务那样&#…

Nvidia Jetson/Orin/算能 +FPGA+AI大算力边缘计算盒子:潍柴雷沃智慧农业无人驾驶

潍柴雷沃智慧农业科技股份有限公司&#xff0c;是潍柴集团重要的战略业务单元&#xff0c;旗下收获机械、拖拉机等业务连续多年保持行业领先&#xff0c;是国内少数可以为现代农业提供全程机械化整体解决方案的品牌之一。潍柴集团完成对潍柴雷沃智慧农业战略重组后&#xff0c;…

牛客NC32 求平方根【简单 二分 Java/Go/C++】

题目 题目链接&#xff1a; https://www.nowcoder.com/practice/09fbfb16140b40499951f55113f2166c 思路 Java代码 import java.util.*;public class Solution {/*** 代码中的类名、方法名、参数名已经指定&#xff0c;请勿修改&#xff0c;直接返回方法规定的值即可*** para…

rv1126-rv1109-openssh-密码秘钥等功能修改

1.openssh是允许外部登录的工具 2.真的是很复杂的设备 3.移植分布,怎么得到我们想要的openssh 去网上自己寻找安装包下载; 4.怎么预制进arm主板,把编译出来的openssh放进去 其中除了ssh_config和sshd_config;其他都是秘钥,公钥和私钥; root账户走的秘钥的修改,不改是默认的r…

【学习笔记】解决 VMware Workstation 17 Player 和主机之间无法复制粘贴的问题

【学习笔记】解决 VMware Workstation 17 Player 和主机之间无法复制粘贴的问题 使用VMware Workstation 17 Player&#xff0c;再上面安装 Ubuntu &#xff0c;安装完之后&#xff0c;需要和主机之间进行复制粘贴。 首先安装了VMware Tools。 在打开的页面下把 VMwareTools…

今年618,京东和爱奇艺为大屏品质“把关”

今年618电视大战&#xff0c;还是打响了。 根据京东618数据显示&#xff0c;618开门红阶段热卖TOP10电视均为75英寸以上的大屏&#xff0c;拥有超高画质的MiniLED电视成交量同比增长5倍。可以看到&#xff0c;大屏电视逐步成为消费主流&#xff0c;尤其是拥有出色视听体验的高…

【Emgu CV教程】10.14、ConnectedComponents()函数计算连通区域

文章目录 一、概念1.什么叫图像的连通区域2.提取连通区域的函数 二、简单应用1.原始素材2.代码3.运行结果4.连通区域上色 一、概念 1.什么叫图像的连通区域 图像的连通域是指图像中具有相同像素值并且位置相邻的像素组成的区域&#xff0c;连通域分析是指在图像中寻找出彼此互…

韩顺平0基础学java——第19天

p396-406 final关键字 1.final修饰的为“常量”&#xff0c;需要给初始值。1可以直接定义时赋值&#xff0c;2在构造器中&#xff0c;3在代码块中。 注意静态代码块只能访问静态变量。 2.如果final修饰的关键字是静态的&#xff0c;那就不能在构造器中赋值&#xff0c;只能…

2024年最新Microsoft Edge关闭自动更新的方法分享

这里写自定义目录标题 打开【服务】 打开【服务】 windows中搜索服务&#xff0c;如下图&#xff1a; 打开服务界面&#xff0c;找到“Microsoft Edge Update Service (edgeupdate)” 及 “Microsoft Edge Update Service (edgeupdatem)” 两个服务&#xff0c;设置为禁用

C++ | Leetcode C++题解之第132题分割回文串II

题目&#xff1a; 题解&#xff1a; class Solution { public:int minCut(string s) {int n s.size();vector<vector<int>> g(n, vector<int>(n, true));for (int i n - 1; i > 0; --i) {for (int j i 1; j < n; j) {g[i][j] (s[i] s[j]) &…

人工智能--教育领域的运用

文章目录 &#x1f40b;引言 &#x1f40b;个性化学习 &#x1f988;体现&#xff1a; &#x1f988;技术解析&#xff1a; &#x1f40b;智能辅导与虚拟助手 &#x1f988;体现&#xff1a; &#x1f988;技术解析&#xff1a; &#x1f40b;自动评分与评估 &#x1f…

【嵌入式】波特率9600,发送8个字节需要多少时间,如何计算?

问题&#xff1a; 波特率9600&#xff0c;发送 01 03 00 00 00 04 44 09 (8字节) 需要多少时间&#xff0c;如何计算&#xff1f; 在计算发送数据的时间时&#xff0c;首先要考虑波特率以及每个字符的数据格式。对于波特率9600和标准的UART数据格式&#xff08;1个起始位&…

Jenkins+Rancher2.7部署构建

在Jenkins中使用rancher插件时需要去查找工作负载地址 在Rancher2.7没有查看Api按钮了需要自己去查找 1.进入https://192.168.x.xx:6443/v3/projects/ 2.输入在rancher中要查找的的项目名称并点击deployment连接进入下一个页面 3.找到自己的deployment随便点一个进去 4.浏览…