Java 导出大数据到 Excel 表格

news2025/3/4 17:20:28

背景

之前的项目一直是用XSSFWorkbook来做 Excel 导出，在遇到大数据导出时，经常会遇到 OOM。在 Apache Poi 3.8 之后的版本提供的 SXSSFWorkbook 可以优雅的解决这个问题。

原理

SXSSFWorkbook 被称为流式 API，主要是因为它采用了流式写入（streaming write）机制，能够有效地处理大数据量的 Excel 文件，而不会导致内存溢出（OOM）。以下是它的工作原理和特点：

流式写入机制
SXSSFWorkbook 是 Apache POI 提供的一种用于处理大数据量的 Excel 文件格式（XLSX）的 API。它的核心思想是：

只保留部分数据在内存中：SXSSFWorkbook 不会将所有数据一次性加载到内存中，而是通过滑动窗口的方式，只保留当前处理的行数据在内存中。

将数据写入临时文件：当内存中的数据达到一定量时，SXSSFWorkbook 会将数据写入磁盘上的临时文件，从而释放内存。

按需加载：在写入完成后，SXSSFWorkbook 会将临时文件中的数据合并到最终的 Excel 文件中。

这种机制类似于流式处理（streaming），数据像水流一样逐步处理，而不是一次性加载到内存中。

与 XSSFWorkbook 的区别
XSSFWorkbook：

适用于小数据量。

将所有数据加载到内存中，生成一个完整的 Excel 文件。

当数据量很大时，容易导致内存溢出（OOM）。

SXSSFWorkbook：

适用于大数据量。

只保留部分数据在内存中，其余数据写入临时文件。

通过流式写入机制，避免内存溢出。

滑动窗口机制
SXSSFWorkbook 使用滑动窗口（sliding window）来控制内存中的数据量：

你可以通过构造函数设置窗口大小（即内存中保留的行数）。

SXSSFWorkbook workbook = new SXSSFWorkbook(100); // 内存中最多保留 100 行

当写入的行数超过窗口大小时，最早的行会被写入临时文件，并从内存中移除。

这种方式确保了内存占用始终在一个可控的范围内。
4. 临时文件管理
SXSSFWorkbook 在写入过程中会生成临时文件（通常存储在磁盘上）。

写入完成后，可以通过 workbook.dispose() 清理这些临时文件。

临时文件的存在是流式写入的关键，它允许将数据分批写入磁盘，而不是一次性加载到内存中。

流式写入的优势
低内存占用：由于数据是逐步写入磁盘的，内存占用非常低，适合处理大数据量。

支持大数据量：可以轻松处理几十万甚至上百万行的数据。

灵活性：通过调整窗口大小，可以平衡内存占用和性能。

代码示例

import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.apache.poi.xssf.streaming.SXSSFSheet;
import org.apache.poi.xssf.streaming.SXSSFRow;
import java.io.FileOutputStream;
import java.io.IOException;

public class SXSSFExample {
    public static void main(String[] args) throws IOException {
        // 创建 SXSSFWorkbook，设置窗口大小为 100 行
        SXSSFWorkbook workbook = new SXSSFWorkbook(100);
        SXSSFSheet sheet = workbook.createSheet("Data");

        // 写入 1000 行数据
        for (int i = 0; i < 1000; i++) {
            SXSSFRow row = sheet.createRow(i);
            row.createCell(0).setCellValue("Row " + i);
            row.createCell(1).setCellValue("Data " + i);
        }
        // 写入到文件
        try (FileOutputStream out = new FileOutputStream("large_data.xlsx")) {
            workbook.write(out);
        }
        // 清理临时文件
        workbook.dispose();
    }
}