大数据量高并发任务解决方案 场景 每个任务有十万条以上的数据,任务执行过程中对这些数据逐条做分析处理。 在同一段时间,会出现任务高并发执行,导致内存溢出 解决方案 1、分批处理 任务执行过程中,不一次性读取全量数据,只读部分数据进行处理,处理完的数据从数据列表中移除,让垃圾回收器能够回收,等待数据处理完后再读取下一批数据进行处理 2、数据缓存 任务执行过程中,读取的数据存入redis,在redis使用队列进行存储,再从队列中逐步读出数据处理并移除