使用 EasyExcel 高效读取大文件 Excel

news2024/9/20 0:25:09

使用 EasyExcel 高效读取大文件 Excel 的最佳实践

在这里插入图片描述

在现代应用中，数据处理经常涉及到大规模数据集的处理，Excel 作为一种常见的文件格式，经常用于数据导入和导出。然而，传统的 Excel 处理库如 Apache POI 在处理大文件时可能会面临内存溢出和性能瓶颈问题。阿里的 EasyExcel 是一个专为高效处理大规模 Excel 文件而设计的轻量级库，它以流式读取的方式，大幅降低了内存占用，并提高了处理效率。

本文将介绍如何使用 EasyExcel 读取大文件 Excel，避免内存问题并优化性能。

为什么选择 EasyExcel？

低内存占用：EasyExcel 采用了流式读取方式，不会将整个 Excel 文件加载到内存中，大大降低了内存消耗。
性能优越：相比传统的 Excel 处理库，EasyExcel 具有更高的读取和写入性能。
简洁易用：API 设计简洁明了，易于集成到 Spring Boot 等主流框架中。

读取大文件 Excel 的基本步骤

以下是使用 EasyExcel 读取大文件 Excel 的步骤和代码示例。

1. 引入依赖

首先，在你的 Maven 项目中引入 EasyExcel 依赖：

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>3.0.5</version>
</dependency>

2. 创建 Excel 数据模型

创建一个 Java 类来表示 Excel 中的每一行数据。假设我们要读取一个包含用户信息的 Excel 文件：

@Data
public class UserExcelData {
    @ExcelProperty("用户ID")
    private Long userId;

    @ExcelProperty("用户名")
    private String userName;

    @ExcelProperty("邮箱")
    private String email;
}

3. 实现自定义的 `AnalysisEventListener`

为了处理 Excel 中的每一行数据，我们需要实现 AnalysisEventListener 接口。该接口提供了两个核心方法：invoke 和 doAfterAllAnalysed。

public class UserExcelListener extends AnalysisEventListener<UserExcelData> {

    @Override
    public void invoke(UserExcelData data, AnalysisContext context) {
        // 处理每一行数据
        System.out.println("读取到数据：" + data);
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 所有数据解析完成后的处理
        System.out.println("所有数据解析完成！");
    }
}

4. 读取 Excel 文件

现在，我们可以使用 EasyExcel 的 read 方法来读取大文件 Excel。以下是一个基本示例：

public void readLargeExcelFile(String filePath) {
    EasyExcel.read(filePath, UserExcelData.class, new UserExcelListener())
            .sheet()
            .doRead();
}

5. 处理大文件的优化建议

对于大文件的处理，以下几个优化建议可以帮助提升性能并减少内存占用：

分批处理：在 invoke 方法中，每读取一定数量的数据（如 1000 行），就将数据批量保存到数据库或其他存储中，避免大量数据积压在内存中。
使用流式处理：EasyExcel 默认使用流式处理，但你也可以通过配置确保在大文件读取时最大限度地利用这一特性。
多线程处理：对于超大文件，可以考虑将不同的 Sheet 或部分数据拆分到多个线程中并行处理。

@Override
public void invoke(UserExcelData data, AnalysisContext context) {
    // 分批处理
    dataList.add(data);
    if (dataList.size() >= BATCH_SIZE) {
        saveData(dataList);
        dataList.clear(); // 清理缓存，防止内存溢出
    }
}

@Override
public void doAfterAllAnalysed(AnalysisContext context) {
    // 最后一批数据保存
    if (!dataList.isEmpty()) {
        saveData(dataList);
    }
    System.out.println("所有数据解析完成！");
}

6. 实现批量数据保存方法

private void saveData(List<UserExcelData> dataList) {
    // 将数据批量保存到数据库
    userRepository.saveAll(dataList);
    System.out.println("保存数据：" + dataList.size() + " 条");
}