需求概要

        最近接到一个需求，概要来讲就是实现百万级数据导出Excel，并根据其中的数据项自动生成折线图等图表。经技术调研，针对内存、性能等要素，Apache POI此技术可完成此需求。

---

        Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式文件读和写的功能。 .NET的开发人员则可以利用NPOI（POI for .NET）来访问POI的功能。

   总结构

• HSSF － 提供读写Microsoft Excel XLS 格式文件的功能。
• XSSF － 提供读写Microsoft Excel OOXML XLSX 格式文件的功能。
• HWPF － 提供读写Microsoft Word DOC 格式文件的功能。
• XWPF － 提供读写Microsoft Word DOCX 格式文件的功能。
• HSLF － 提供读写Microsoft PowerPoint格式文件的功能。
• HDGF － 提供读Microsoft Visio格式文件的功能。
• HPBF － 提供读Microsoft Publisher格式文件的功能。
• HSMF － 提供读Microsoft Outlook格式文件的功能。

---

 结构图

---

问题：

1.利用poi生成excel折线图，图无法在office excel中显示【发现...中的部分内容有问题。是否让我们尽量尝试恢复？如果您信任此工作簿的源，请单击“是”】

        排查问题发现：Office Excel版本为最新：（现版本为MS 365系列，Excel版本为2311.）而Apache POI相关依赖过旧，更新为最新依赖，则排除此问题。

2.【ERROR】apache POI java.lang.NoClassDefFoundError: org/apache/commons/compress/archivers/zip/ZipFile

        调整相关依赖版本为最新：

 <!--poi-->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>5.2.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml-lite</artifactId>
            <version>5.2.5</version>
        </dependency>

        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>5.2.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-scratchpad</artifactId>
            <version>5.2.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml-full</artifactId>
            <version>5.2.5</version>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-collections4</artifactId>
            <version>4.4</version>
        </dependency>
        <dependency>
            <groupId>commons-codec</groupId>
            <artifactId>commons-codec</artifactId>
            <version>1.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-compress</artifactId>
            <version>1.25.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.xmlbeans</groupId>
            <artifactId>xmlbeans</artifactId>
            <version>5.2.0</version>
        </dependency>

3.大量数据导出注意使用SXSSFWorkbook处理Excel文件（.xlsx）的工作簿

• XSSFWorkbook：XSSFWorkbook是POI中的XLSX格式（Excel 2007及更高版本）的工作簿实现。它使用XML文件格式存储数据，并且在内存中将整个工作簿加载到内存中进行操作。这意味着对于大型或复杂的Excel文件，可能会占用大量的内存。
• SXSSFWorkbook：SXSSFWorkbook是POI中的SXSSF流式工作簿实现。它专为处理大型Excel文件而设计，并通过限制内存使用来提供更好的性能和可伸缩性。它使用一种称为流式写入（Streaming Write）的技术，在内存中只保留一部分数据，然后将其写入硬盘，以便在需要时释放内存。

主要区别：

• 内存占用：XSSFWorkbook会将整个工作簿加载到内存中，而SXSSFWorkbook只保留部分数据，将剩余数据写入硬盘。
• 性能和可伸缩性：SXSSFWorkbook在处理大型Excel文件时可以获得更好的性能和可伸缩性，因为它可以有效地处理大量数据而无需消耗大量内存。
• 使用场景：如果处理的Excel文件较小或简单，可以使用XSSFWorkbook。如果需要处理大型Excel文件或需要更好的性能和可伸缩性，则可以考虑使用SXSSFWorkbook。

        总之，XSSFWorkbook适用于较小的Excel文件，而SXSSFWorkbook适用于大型或复杂的Excel文件。选择哪个取决于具体需求和资源限制。当然亦可选取学习成本更低且对内存消耗更低的EasyExcel实现大数据导出。

4.【ERRO】Exception in thread "Thread-0" org.apache.poi.ooxml.POIXMLException:org.apache.poi.openxml4j.exceptions.InvalidOperationException: You can't add a part with a part name derived from another part ! [M1.11]

        注意POI中XSSFWorkbook不可采用多线程写入不同sheet：

5.SXSSFDrawing不可生成Chart图表，XSSFDrawing可实现此功能。

        SXSSFDrawing是Apache POI库中的一种轻量级方式来处理大型Excel文件，它主要用于写入和操作Excel文件，而不是生成图表。可以使用XSSFWorkbook和XSSFSheet类来创建图表，并使用相应的数据填充图表。

6.SXSSFWorkbook的close和dispose

        Apache POI库中的SXSSFWorkbook（Streaming Usermodel for Excel）是一种用于处理大型Excel文件的类，特别适用于内存有限的情况。它通过限制在内存中保持的数据行数来实现流式写入。

1. `close()`方法：
   - 当你完成对工作簿的所有操作后，应调用`close()`方法。此方法会将任何未写出到磁盘的剩余数据强制写出，并关闭所有相关的资源，如临时文件等。
   - 如果不调用`close()`，可能会导致部分数据未被正确保存到输出文件，或者占用的系统资源没有被释放。

2. `dispose()`方法：
   - 在POI 5.0.0版本之后，SXSSFWorkbook引入了`dispose()`方法作为替代`close()`的方法。
   - `dispose()`方法同样用于清理和关闭SXSSFWorkbook对象，确保所有数据都被妥善地写出，并释放与之关联的资源。
   - 官方推荐使用`dispose()`而不是`close()`，因为`dispose()`在内部会更彻底地清理资源，特别是对于SXSSF工作簿来说，可以更有效地管理其使用的临时文件。

总结：在使用完SXSSFWorkbook后，建议调用`dispose()`方法以确保所有数据被正确写入并释放资源。在旧版本POI中如果不存在`dispose()`，则应该调用`close()`。

7.利用XSSFWorkbook生成图表，导致系统堆内存剧增

• org.apache.xmlbeans.impl.store.ElementXobj    347,831,616 B (21.1%)    3,623,246 (11.1%)
• org.apache.xmlbeans.impl.store.AttrXobj    314,479,968 B (19%)    3,275,833 (10%)
• byte[]    286,741,680 B (17.3%)    5,227,004 (15.9%)

        经过研究POI API文档发现，SXSSFWorkbook可利用getXSSFWorkbook方法获取XSSFSheet，之前由于不了解POI，为了利用XSSFSheet生成图表，竟然玩起了俄罗斯套娃，将SXSSFWorkbook写入ByteArrayOutputStream流中，再通过构造器new XSSFWorkbook(new ByteArrayInputStream(baos.toByteArray()))获取XSSFWorkbook对象，进而生成图像，导致JVM堆内存剧增！

       致使内存剧增的代码:

ByteArrayOutputStream baos = new ByteArrayOutputStream();
        try {
            wb.write(baos);
        } catch (IOException e) {
            e.printStackTrace();
        }
        try {
             xssfWB = new XSSFWorkbook(new ByteArrayInputStream(baos.toByteArray()));

            for (DeviceInfoBO item : deviceInfoBOList) {
                XSSFSheet xssfSheet = xssfWB.getSheet(item.getSheetName());
                //TODO 生成图表
            }
            return new SXSSFWorkbook(xssfWB);
        } catch (IOException e) {
            e.printStackTrace();
        }

        优化后的代码：

XSSFSheet xssfSheet = wb.getXSSFWorkbook().getSheet(deviceInfoBO.getSheetName());
//TODO 生成图表

        优雅从不过时~

        效果图：

参考资料：

Apache POI简介https://en.wikipedia.org/wiki/Apache_POIApache POI官网https://poi.apache.org/index.htmlApache POI官网代码示例https://svn.apache.org/repos/asf/poi/trunk/poi-examples/src/main/java/org/apache/poi/examples/

stackoverflow相关BUG解决https://stackoverflow.com/questions/52381075/apache-poi-java-lang-noclassdeffounderror-org-apache-commons-compress-archivers