Excel文件解析---超大Excel文件读写

1.使用POI写入
当我们想在Excel文件中写入100w条数据时，使用XSSFWorkbook进行写入时会发现，只有将100w条数据全部加载到内存后才会用write()方法统一写入，效率很低，所以我们引入了SXXFWorkbook进行超大Excel文件读写。

通过设置 SXXFWorkbook 的构造参数，可以设置每次在内存中保持的行数，当达到这个值的时候，那么会把这些数据flush 到磁盘上，这样就不会出现内存不够的情况。

package com.ztt.Demo02;

import java.io.FileOutputStream;
import java.io.IOException;
import java.util.Date;
import java.util.UUID;

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;

public class demo07 {
	public static void main(String[] args) {
		try (SXSSFWorkbook workbook = new SXSSFWorkbook(100);
				FileOutputStream fos = new FileOutputStream("D:\\test\\tt\\temp.xlsx")){
				Sheet sheet1 = workbook.createSheet();
				
				for (int i = 0; i <= 1000000; i++) {
					Row row = sheet1.createRow(i);
					Cell cell0 = row.createCell(0);
					cell0.setCellValue(UUID.randomUUID().toString());
					Cell cell1 = row.createCell(1);
					cell1.setCellValue( new Date());
				}
				
				workbook.write(fos );
			}catch (IOException e) {
					e.printStackTrace();
			}
	}
}

2.使用EasyExcel写入

使用EasyExcel，我们首先要导入相关jar包

准备一个普通的Order类：

public class Order {
    private String orderId;
 
	private Double payment;
 
    public Order() {
		this.orderId=LocalDateTime.now().
           format(DateTimeFormatter.ofPattern(
           "yyyyMMddHHmmss"))+UUID.randomUUID()
           .toString().substring(0,5);
		this.payment=Math.random()*1000;
 
	}
 
	public String getOrderId() {
		return orderId;
	}
 
	public void setOrderId(String orderId) {
		this.orderId = orderId;
	}
 
	public Double getPayment() {
		return payment;
	}
 
	public void setPayment(Double payment) {
		this.payment = payment;
	}
	@Override
	public String toString() {
		return "Order [orderId=" + orderId + ", payment=" 
                                                + payment + "]";
	}
}

我们发现，Order类中的成员变量名就是我们生成的Excel文件中的列头。那么如果我们想自定义列头时，我们可以用：@ExcelProperty("列头名")

然后我们来通过EasyExcel来将100w条数据写入excel文件：

package com.ztt.demo01;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;

public class Test1 {
	public static void main(String[] args) {
		//将100w条订单数据写入Excel文件
//		EasyExcel.write("D:\\test\\poi\\alibaba\\0421-a.xlsx",Order.class)
//		.sheet("订单数据")
//		.doWrite(createOrderData());
		
		//读取Excel文件中的数据
		//参数1：文件的的路径
		//参数2：文件中每条数据对应的Class类型
		//参数3：如何解析
		EasyExcel.read("D:\\test\\poi\\alibaba\\0421-a.xlsx",Order.class,new AnalysisEventListener<Order>() {
			
			//读取列头
			@Override
			public void invokeHeadMap(Map<Integer, String> headMap, AnalysisContext context) {
				System.out.println("Excel文件的列头："+headMap);
			}
			
			//处理每行数据
			@Override
			public void invoke(Order order, AnalysisContext arg1) {
				System.out.println("读取到一条订单数据："+order);
			}
			
			@Override
			public void doAfterAllAnalysed(AnalysisContext arg0) {
				System.out.println("读取完毕");
				
			}
		}).sheet().doRead();
	}
	
	//生成100w条订单数据
	private static List<Order> createOrderData() {
		List<Order> orderList=new ArrayList<Order>();
		for(int i=0;i<1000;i++) {
			orderList.add(new Order());
		}
		return orderList;
	}
}

当我们想加入一列日期数据时：

public class Order {
    @ExcelProperty("订单编号")
	private String orderId;
	
	@ExcelProperty("支付金额")
	private Double payment;
 
	@ExcelProperty("创建时间")
	private LocalDateTime  creatTime;
    public Order() {
		this.orderId=LocalDateTime.now().
           format(DateTimeFormatter.ofPattern(
           "yyyyMMddHHmmss"))+UUID.randomUUID()
           .toString().substring(0,5);
		this.payment=Math.random()*1000;
		this.creatTime=LocalDateTime.now();
	}
 
	public String getOrderId() {
		return orderId;
	}
 
	public void setOrderId(String orderId) {
		this.orderId = orderId;
	}
 
	public Double getPayment() {
		return payment;
	}
 
	public void setPayment(Double payment) {
		this.payment = payment;
	}
    
    public LocalDateTime getCreatTime() {
		return creatTime;
	}
 
	public void setCreatTime(LocalDateTime creatTime) {
		this.creatTime = creatTime;
	}
	@Override
	public String toString() {
		return "Order [orderId=" + orderId + ", payment=" + payment
                                 + ", creatTime=" + creatTime + "]";
	}
}

运行结果：

通过阅读报错提示(Can not find 'Converter' support class LocalDateTime.) ,我们大概可以知道，是因为找不到一个支持LocalDateTime类的转换器，所以为了解决这个问题，我们可以自己写一个比较器类：

package com.ztt.demo01;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;

import com.alibaba.excel.converters.Converter;
import com.alibaba.excel.enums.CellDataTypeEnum;
import com.alibaba.excel.metadata.CellData;
import com.alibaba.excel.metadata.GlobalConfiguration;
import com.alibaba.excel.metadata.property.ExcelContentProperty;

public class LocalDateTimeConverter implements Converter<LocalDateTime>{
	
	//Excel文件中的类型
	@Override
	public CellDataTypeEnum supportExcelTypeKey() {
		return CellDataTypeEnum.STRING;
	}
	
	//程序中的类型
	@Override
	public Class supportJavaTypeKey() {
		return LocalDateTime.class;
	}
	
	//将LocalDateTime类型的数据转换成String类型的数据
	//并封装至一个Excel文件中的ellData
	@Override
	public CellData convertToExcelData(LocalDateTime value, ExcelContentProperty arg1, GlobalConfiguration arg2)
			throws Exception {
		return new CellData<>(
				value.format(DateTimeFormatter.ofPattern("yyyy年MM月dd日 HH:mm:ss")));
	}
	
	//从ce1lData中获取一个String类型的致据
	//并转换成LocalDateTime类型
	@Override
	public LocalDateTime convertToJavaData(CellData cellData ,ExcelContentProperty arg1, GlobalConfiguration arg2)
			throws Exception {
		return LocalDateTime.parse(cellData.getStringValue(),DateTimeFormatter.ofPattern( "yyyy年MM月dd日 HH:mm:ss"));
	}

	

}

当我们写好这个比较器后，就需要给成员变量creatTime显示的设置好比较器：

package com.ztt.demo01;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.UUID;

import com.alibaba.excel.annotation.ExcelProperty;
import com.alibaba.excel.annotation.format.NumberFormat;

public class Order {
		@ExcelProperty("订单编号")
		private String orderId;//订单编号
		
		@ExcelProperty("支付金额")
		@NumberFormat("￥#,###")
		private Double payment;//支付金额

		//设置LocalDateTime对应转换器
		@ExcelProperty(value="创建时间",converter=LocalDateTimeConverter.class)
		private LocalDateTime createionTime;//创建日期
		
		
		public Order() {
			this.orderId=LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddHHss"))+UUID.randomUUID().toString().substring(0,5);
			this.payment=Math.random()*10000;
			this.createionTime=LocalDateTime.now();
		}

		public String getOrderId() {
			return orderId;
		}

		public void setOrderId(String orderId) {
			this.orderId = orderId;
		}

		public Double getPayment() {
			return payment;
		}

		public void setPayment(Double payment) {
			this.payment = payment;
		}

		public LocalDateTime getCreateionTime() {
			return createionTime;
		}

		public void setCreateionTime(LocalDateTime createionTime) {
			this.createionTime = createionTime;
		}

		@Override
		public String toString() {
			return "Order [orderId=" + orderId + ", payment=" + payment + ", createionTime=" + createionTime + "]";
		}
		


}

运行结果：

练习：检查Excel文件

1.序号是否连续

2.检查性别是否为男或女

3.身份证号

        3.1 身份证号码格式(必须为18位)

        3.2 身份证号码不能重复

        3.3 身份证号码开头两位是否与籍贯符合

                北京 11 天津12 河北 13 山西14 内蒙古 15

                陕西61 甘肃62 青海 63

4.学历只能填写：大专、本科、硕士、其它

5.体重在40-120之间

package com.ztt.Demo02;

import java.io.FileInputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;

public class demo05 {
	public static void main(String[] args) {

		List<String> errorMsgList = validateDataExcel("D:\\test\\tt\\demo-data.xlsx");

		if (errorMsgList.size() == 0) {
			System.out.println("文件检查无误！");
		} else {
			// 显示所有错误信息
			for (String err : errorMsgList) {
				System.out.println(err);
			}
		}

	}

	public static List<String> validateDataExcel(String excelDataFilePath) {
		
		// 1.序号是否连续
		// 2.检查性别是否为男或女
		// 3.身份证号
		// 3.1 身份证号码格式(必须为18位)
		// 3.2 身份证号码不能重复
		// 3.3 身份证号码开头两位是否与籍贯符合
		// 北京 11 天津12 河北 13 山西14 内蒙古 15
		// 陕西61 甘肃62 青海 63
		// 4.学历只能填写：大专、本科、硕士、其它
		// 5.体重在40-120之间
		
		//创建用于保存错误提示信息的集合
		ArrayList<String> errorList=new ArrayList<String>();
		
		//创建用于检查身份证号码是否重复的set集合
		HashSet<String> idCardNoSet = new HashSet<String>();

		//创建用于检查身份证号码前2位与籍贯省份之间的映射关系的Map集合
		//北京11天津12河北13山西14内蒙古15
		//陕西61甘肃62青海63
		HashMap<String,String> provinceMap = new HashMap<String,String>() {
		//构造代码块
		{
			put("11","北京");
			put("12","天津");
			put( "13","河北");
			put("14","山西");
			put("15","内蒙古");
			put("61","陕西");
			put("62","甘肃");
			put("63","青海");
		}
	};
		//创建一个用于检查学历的List集合
		List<String> eduList = Arrays.asList("大专", "本科" , "硕士","其它");

	       
		
		try(Workbook workbook=new XSSFWorkbook(excelDataFilePath)){
			Sheet sheet=workbook.getSheetAt(0);
			
			for(int i=1;i<sheet.getLastRowNum();i++) {
				Row row =sheet.getRow(i);
				
				//1.序号是否连续
				Cell cellId=row.getCell(0);
				int rowNum=row.getRowNum();
				int id=(int)cellId.getNumericCellValue();
				if(rowNum!=id) {
					errorList.add(String.format("%d行的编号不连续！", rowNum));
				}
				
				//2.检查性别是否为男或女
				String gender=row.getCell(2).getStringCellValue();
				if(!gender.equals("男") && !gender.equals("女")) {
					errorList.add(String.format("%d行的性别有误！", rowNum));
				}

				//3.身份证号
				String idCardNo = row.getCell(3).getStringCellValue();
				
				//3.1身份证号码格式(必须为18位)
				if(idCardNo.length() != 18) {
					errorList.add(String.format("%d行的身份证号码长度有误! ",rowNum));
				}
				
				//3.2身份证号码不能重复
				if(!idCardNoSet.add(idCardNo)) {
					errorList.add(String.format("%d行的身份证号码重复存在! ",rowNum));
				}
				
				//3.3身份证号码开头两位是否与籍贯符合
				//北京11天津12河北13山西14内蒙古15
				//陕西61甘肃62青海63
				String idCardNoHomeCode = idCardNo.substring(0,2);
				String homeValue = provinceMap.get(idCardNoHomeCode); //根据身份证号码前两位获取正确的籍贯省份名称
				String home = row.getCell(6).getStringCellValue();//获取表格中当前行的籍贯信息
				if(!homeValue.equals( home)) { 
					errorList.add(String.format("%d行的身份证籍贯信息不一致! ",rowNum));
			}


				//4.学历只能填写:大专、本科、硕士、其它
				String eduValue=row.getCell(7).getStringCellValue();
				if(!eduList.contains(eduValue)) {
					errorList.add(String.format("%d行的学历信息不符合规范! ",rowNum));
				}
			}

                
            
		
			
		} catch (IOException e) {
			e.printStackTrace();
		}

		return errorList;
	}

}

运行结果：

1行的学历信息不符合规范! 
3行的身份证籍贯信息不一致! 
4行的编号不连续！
5行的学历信息不符合规范! 
7行的身份证号码长度有误! 
9行的身份证号码长度有误! 
9行的学历信息不符合规范! 
10行的身份证籍贯信息不一致! 
11行的身份证号码长度有误! 
12行的编号不连续！
13行的身份证号码长度有误! 
14行的学历信息不符合规范! 
15行的学历信息不符合规范! 
16行的性别有误！
18行的编号不连续！
22行的身份证籍贯信息不一致! 
24行的身份证号码重复存在! 
25行的性别有误！
33行的身份证号码重复存在! 
36行的身份证号码长度有误! 
39行的身份证籍贯信息不一致! 
41行的身份证籍贯信息不一致! 
43行的身份证籍贯信息不一致! 
44行的身份证籍贯信息不一致! 
46行的身份证籍贯信息不一致!