文件上传下载系列——如何实现文件秒传

文章目录

🎃简介：

👻核心思想：

MD5是什么？

实现步骤：

🎄实操：

1、java生成文件MD5码

2、javascript生成文件MD5码

⛳️基于秒传的分片上传下载

上传：

下载：

🍢MD5存储位置

1、持久化到数据库中

2、存储到redis中

🎋总结

🎃简介：

文件秒传是指在文件上传过程中，如果上传的文件已经在服务器中存在，那么服务器会直接将已经存在的文件的信息返回给客户端，而不需要客户端再次上传文件，从而实现文件的秒传。所以，无论任何大小、格式的文件都可以实现秒传。

文件秒传通常在云存储和文件共享服务中应用广泛。这种技术能够节省用户上传大文件的时间和带宽，提高文件传输的效率和速度。

例如，百度云盘、阿里云OSS、腾讯云COS等云存储服务都支持文件秒传技术。

👻核心思想：

将文件压缩成128位的MD5哈希值，只要修改文件内容，MD5码就会改变，用MD5码来判断是否是同一文件。

将MD5码存到数据库中，当有文件上传，首先查询MD5码是否重复，如果重复则不需要上传，通过这种形式实现文件的秒传。

MD5是什么？

MD5是一种信息摘要算法，原理是通过将输入数据分块，并对每个数据块进行填充、迭代压缩和更新哈希值的方式，最终得到一个128位的哈希值。

不可逆性：信息摘要算法对原数据进行了压缩，无法逆向推导出原始数据
唯一性：由于MD5哈希函数的输出长度为128位，因此总共可以生成2^128个不同的哈希值。（但也是有可能存在哈希碰撞的风险，在一些对安全性要求较高的应用场景下，建议使用更加安全的哈希算法，如SHA-2、SHA-3等）
高效性：MD5算法的设计相对简单，它主要由四个轮函数和一个级联结构组成，这些运算和函数能够快速地对输入数据进行处理，从而提高了算法的执行效率；将输入数据分块，消息块之间的处理是相互独立的，因此可以并行处理，从而提高了处理的效率。

实现步骤：

文件秒传的实现可以分为以下几个步骤：

客户端向服务器发送一个上传请求，包含要上传的文件的信息（例如文件名、大小、MD5值等）。
服务器根据客户端提供的文件信息，查询服务器上是否已经存在相同的文件，如果存在则返回文件已经存在的标识。
前端接到消息，显示已上传成功。

🎄实操：

1、java生成文件MD5码

引入的文件

java.security.MessageDigest类中有MD5、SHA等加密算法的实现，这里使用其中的MD5算法实现。

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;

/**
 * 生成文件的MD5值
 * @param filePath 文件路径
 * @return 文件的MD5值
 */
public static String getFileMD5(String filePath) {
    FileInputStream fis = null;
    try {
        MessageDigest md = MessageDigest.getInstance("MD5");
        fis = new FileInputStream(new File(filePath));
        byte[] buffer = new byte[1024];
        int length;
        while ((length = fis.read(buffer)) != -1) {
            md.update(buffer, 0, length);
        }
        byte[] digest = md.digest();
        StringBuilder sb = new StringBuilder();
        for (byte b : digest) {
            sb.append(String.format("%02x", b & 0xff));
        }
        return sb.toString();
    } catch (NoSuchAlgorithmException | IOException e) {
        e.printStackTrace();
        return null;
    } finally {
        if (fis != null) {
            try {
                fis.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

调用的示例代码：

/**
 * 秒传
 */
public void quickLoad() {
    String filePath = "E:\\DRP.avi"; // 文件路径
    String md5 = getFileMD5(filePath);
    System.out.println(md5); // 输出文件的MD5值
}

生成的MD5码：

2、javascript生成文件MD5码

function generateFileMD5(file, callback) {
  const reader = new FileReader();
  reader.readAsArrayBuffer(file);
  reader.onload = () => {
    const buffer = reader.result;
    const crypto = window.crypto || window.msCrypto;
    const digestAlgorithm = "MD5";
    const cryptoSubtle = crypto.subtle || crypto.webkitSubtle;
    cryptoSubtle.digest(digestAlgorithm, buffer)
      .then((digest) => {
        const hashArray = Array.from(new Uint8Array(digest));
        const hashHex = hashArray.map(b => b.toString(16).padStart(2, '0')).join('');
        callback(hashHex);
      })
      .catch((error) => {
        console.error(error);
      });
  };
}

调用此函数时，需要传入文件对象和回调函数。回调函数将在计算MD5值完成后被调用，并且它将接收计算出的MD5值作为参数。以下是调用该函数的示例代码：

const file = document.getElementById("file-input").files[0]; // 获取文件对象
generateFileMD5(file, (hash) => {
  console.log(hash); // 输出文件的MD5值
});

⛳️基于秒传的分片上传下载

分片上传是指将一个大文件拆分成多个小块进行上传，上传完成后再将小块合并。

上传：

基于秒传实现分片上传，可以先将文件进行分片并计算出每个分片的MD5值，然后将这些分片和MD5值上传到服务器中存储起来。

服务器在接收到分片和MD5值后，可以根据MD5值查找Redis中是否已经存在相同的文件。

如果存在，则返回该文件的唯一标识符。对于已上传的分片，服务器将其保存到临时文件夹中，同时记录下该分片的位置信息，这就实现了文件片秒传。
如果不存在，则根据分片的MD5值判断哪些分片已经上传，哪些分片还需要继续上传。对于未上传的分片，服务器返回需要继续上传的分片索引，客户端根据索引上传相应的分片数据。

当所有分片都上传完成后，服务器将所有分片进行合并，并生成一个唯一的文件标识符，将该标识符和文件信息存储到Redis中。