如何解决 Out Of Memory 的问题

news2024/12/24 8:54:22

背景

在用 Excel Importer 导入数据,当数据量超过 1w 行,经常会出现 OutOfMemory 的错误。(用 Excel Exporter 导出数据时,也会有类似问题)。

通常的表现症状如下,即在导入成功若干行之后,爆出 java.lang.OutOfMemoryError: Java heap space 错误。

以下为某客户发生此类错误的具体信息:

  1. 日志问题如下( 只截取关键部分):

    image.png

  2. 该问题只发生在客户的测试环境,在本机开发环境不出现。
  3. 测试环境部署在私有云里,用 docker 部署的。
  4. 当导入数据量为 2W 行以上时,该错误总是发生在导入成功 1.2w 左右的时刻出现。如果数据量少于 1w 行,此问题不出现。

本文,我们来看看如何解决 java.lang.OutOfMemoryError: Java heap space 错误。

什么是 Java Heap Size ?

ava Heap Size是Java虚拟机(JVM)的一项配置参数,用于指定JVM运行时的堆内存大小。堆内存是Java程序中用于存储对象实例和数组的一块内存区域。在Java程序执行过程中,所有动态创建的对象都存储在堆内存中。

Java Heap Size对于Java程序的性能和稳定性非常重要。如果堆内存太小,可能导致内存不足错误(Out of Memory Error),因为JVM无法满足程序运行所需的内存。另一方面,如果堆内存太大,会导致垃圾回收频繁运行,影响程序的响应时间和性能。

通过调整Java Heap Size,可以根据应用程序的需求来优化内存的使用。通常,较大的堆内存对于内存密集型的应用程序(如大规模数据处理)是有益的,而对于较小的应用程序(如轻量级服务)可能需要较小的堆内存。

在Java中,可以通过以下参数来设置Java Heap Size:

  1. Xms: 指定JVM的初始堆内存大小。
  2. Xmx: 指定JVM的最大堆内存大小。

示例:

java -Xms256m -Xmx1024m MyApp 

上述命令将启动名为"MyApp"的Java应用程序,并将初始堆内存大小设置为256MB,最大堆内存大小设置为1024MB。

通常有哪些原因导致这个错误呢?

通常有两种原因:

  1. Java Heap Size 确实设置的太小了。
  2. 应用发生内存泄漏,导致在短时间内产生大量无法被 GC 的对象。

在本场景中,我们先排查第一个原因,因为:

  1. 首先,本问题发生在 Excel Importer 内部,本模块被下载过上万次,且由官方维护这么多年,出现问题的概率很小。我不是说官方组件一定不会出问题,但是从概率排查的角度,我们首先检验更脆弱的部份,而不是更稳固的部份,这是缺少其他信息时的最优选择。
  2. 其次,本问题发生在 Excel Importer 内部,我们没有源代码。就算确认了是 Excel Importer 的问题,我们的第一选择也应该是从外部规避它,只有这样才能保证项目按时完工。

验证问题

为了验证原因是否真的 Java Heap Size 设置的过小,我做了两个尝试:

  1. 降低本地开发环境 Mendix Studio Pro 中 Java Heap Size 的大小,看是否能重现该错误。设置方式如下:
  2. 在本地开发环境,导入一个 10w 行的 excel 文件,看是否能重现该错误。

经过上述实验,我发现,当我把 Java Heap Size 设置为 512MB 时,导入数据到 2w 条时,会爆出同样的错误。

这个现象证明,确实是 Java Heap Size 太小导致。

如何修复问题?

修复思路很简单,就是更改 Java Heap Size。

在 docker-mendix-buildpack 的文档中,我们知道,通过下属方式可以更改容器的环境变量:

我们在打开上图中的链接,进入 cf-mendix-buildpack 的文档(docker-mendix-buildpack 在运行时会调用 cf-mendix-buildpack),我们知道可以如下方式来设置 Java Heap Size:

于是,我们用以下命令来启动容器:

docker run -it \

-e HEAP_SIZE=4096M

...

但是,我们发现仅设置 HEAP_SIZE 这个环境变量后,问题依然没有解决。

后来,阅读 cf-mendix-buildpack 的代码,我发现:

  1. 如果未设置 HEAP_SIZE,则是可以根据 limit 被自动设置。
  2. 且如果 HEAP_SIZE 超过 limit,是不行的。

于是,我找到设置 limit 的方法,即设置 MEMORY_LIMIT 这个环境变量。

于是,我们用以下命令来启动容器:

docker run -it \ 
-e MEMORY_LIMIT=4096M 
... 

最终成功解决问题!

总结

  1. 分析问题原因时,首先检验更脆弱的部份,而不是更稳固的部份,这是缺少其他信息时的最优选择。
  2. 做少量的实验,可以更加笃定问题的根本原因,而不是靠盲目猜测。
  3. 开源工具,多看源码,你会有不一样的收获。

关于Mendix公司

在一个数字化先行的世界中,客户希望自己的每一项需求都得到满足,员工希望使用更好的工具来完成工作,而企业意识到自己只有通过全面数字化转型才能生存并取得成功。Mendix公司,a Siemens business正在迅速成为企业数字化转型的推动者。其业内领先的低代码平台和全方位的生态系统整合最先进的技术,帮助企业创造出提高互动性、简化操作和克服IT瓶颈的解决方案。Mendix公司以抽象化、自动化、云和协作为四大支柱,大幅提升开发者的生产力,并且依靠自己的工程协作能力和直观的可视化界面,帮助大量不熟悉技术的“公民”开发者在他们所擅长的领域创建应用程序。Mendix公司是权威行业分析师眼中的领导者和远见者,也是一个云原生、开放、可扩展、敏捷和饱经考验的平台。从人工智能和增强现实,到智能自动化和原生移动,Mendix公司已成为数字化先行企业的骨干。Mendix公司企业低代码平台已被全球4000多家领先的公司采用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/954614.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

以人工智能手段为依托的:智慧导诊系统源码,提供智能分诊、问病信息等服务

智慧医院3D人体导诊系统源码 开发语言:java 开发工具:IDEA 前端框架:Uniapp 后端框架:springboot 数 据 库:mysql 移 动 端:微信小程序、H5 “智慧导诊”以人工智能手段为依托,为…

9月份抱团学习❗开启报名通道

365天深度学习训练营 大家好,我是K同学啊! 一个深度学习领域博主,CSDN的博客专家、有八万粉丝,和鲸特邀导师,《深度学习100例》的作者,一个收到中科院等诸多名校、名企offer的自由摄影爱好者 。 因为经常…

OpenCV

文章目录 OpenCV学习报告读取图片和网络摄像头1.1 图片读取1.2 视频读取1.1.1 读取视频文件1.1.2读取网络摄像头 OpenCV基础功能调整、裁剪图像3.1 调整图像大小3.2 裁剪图像 图像上绘制形状和文本4.1 图像上绘制形状4.2图像上写文字 透视变换图像拼接颜色检测轮廓检测人脸检测…

DP485 具有±15KV ESD 保护,500kbps 通迅速率,256 节点 RS485/RS422 收发器

产品概述: DP485E 是一款 5V 供电、半双工、低功耗、低摆率,完全满足 TIA/EIA-485 标准要求的 RS-485收发器。DP485E包括一个驱动器和一个接收器,两者均可独立使能与关闭。当两者均禁用时,驱动器与接收器均输出高阻态。DP485E具有…

Nacos源码启动 java.net.UnknownHostException: jmenv.tbsite.net

一 概述 Nacos本地源码环境提示: Unable to start web server; nested exception is org.springframework.boot.web.server.WebServerException: Unable to start embedded Tomcat 二 解决方法: 启动增加如下配置: -Dnacos.standalonetrue …

API类型和集成规范指南

在我们的常见应用中,往往包含着大量服务于各种数据交换的API类型、以及各种常见的API架构与协议。下面,我将从集成的角度和您讨论,在准备将多个服务相互集成时,使用不同类型、架构和协议的API意味着什么?我们可以使用哪些工具&am…

日本排核污水:有人2天赚了800万

来谈1个非常夸张的事,有人2天用它搞了800多万,这一波完全震惊我和小伙伴,哪位兄弟老哥有货和资源的抓紧去搞,这波红利能持续好一段时间。 24号中午发生了件大事件,让所有人都气愤!流量巨大,不管…

Python正则表达式简单教程

当涉及到处理文本数据时,正则表达式是一个非常有用的工具。它可以用于在字符串中进行模式匹配、搜索、替换等操作。以下是一个简单的Python正则表达式教程,从基础开始介绍如何使用正则表达式。 什么是正则表达式? 正则表达式(Re…

nextTick不能获取到图片的宽高度

nextTick方法本身并不能直接获取图片的宽高度,它只是用于在下次DOM更新循环结束后执行回调函数。要获取图片的宽高度,需要在回调函数中使用其他方法来获取。 一种常见的方法是使用Image对象来加载图片,并在加载完成后获取图片的宽高度。可以…

01JVM_内存结构

一、什么是JVM 1.JVM的定义 Java程序的运行环境,java二进制字节码的运行环境 2.JVM的好处 ①一次编写,到处运行 ②自动内存管理,垃圾回收功能 ③数组下标越界检查 ④多态 3.jvm,jre,jdk的比较 3.常见的JVM 主…

Windows下Git Bash调用rsync

rsync 提供了补充只需要在git安装目录下放入对应的文件即可。 需要将这个三个文件放到git的bin目录下 如果是默认安装路径是如下: C:\Program Files\Git\usr\bin 然后大功告成。

软件测试Day3|软件测试理论01

目录 1.缺陷1.1 定义1.2 缺陷由来 2. 软件测试的定义和目的2.1 软件测试定义2.2 软件测试目的 3. 软件开发模型3.1 生命周期3.2 瀑布模型3.3 螺旋模型3.4 迭代模型3.5 敏捷开发模型-scrum3.6 增量模型3.7 快速原型模型 4. 软件测试流程和模型4.1 软件测试工作流程4.2 软件测试模…

【AntV】canvas表格s2完全封装手册

前言 由于我们业务中有很多地方需要有纵向复制,刷选等操作,一般的传统表格并不支持。 目前支持度较好的葡萄城表格与handsontable都需要收费,而s2作为一款轻量级开源表单较为符合我们的需求,但是由于s2仍然不够成熟,有非常多的功能需要自定义。 我在公司对s2做了大量封…

100天精通Golang(基础入门篇)——第20天:Golang 接口 深度解析☞从基础到高级

🌷🍁 博主猫头虎🐅🐾 带您进入 Golang 语言的新世界✨✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文并茂&#x1f…

FI 数据源(AP) 及 增量逻辑

AP 一般AP里要分析行项目数据,交易数据,历史付款信息。 还有一些供应商主数据。 基础的抽取数据源就是下面几个: 0FI_AP_4: Vendors: Line Items with Delta Extrcation0FI_AP_6: Vendor Sales Figures via Delta Extraction0FI_AP_7: Ve…

SQLPro Studio for Mac:强大的SQL开发和管理工具

SQLPro Studio for Mac是一款强大的Mac上使用的SQL开发和管理工具,它支持各种数据库,包括MySQL,PostgreSQL,SQLite等。使用 SQLPro Studio,您可以轻松地连接和管理您的数据库,执行SQL查询和脚本&#xff0c…

【python爬虫】8.温故而知新

文章目录 前言回顾前路代码实现体验代码功能拆解获取数据解析提取数据存储数据 程序实现与总结 前言 Hello又见面了!上一关我们学习了爬虫数据的存储,并成功将QQ音乐周杰伦歌曲信息的数据存储进了csv文件和excel文件。 学到这里,说明你已经…

国标视频融合云平台EasyCVR视频汇聚平台关于远程控制的详细介绍

EasyCVR国标视频融合云平台是一个能在复杂网络环境下统一汇聚、整合和集中管理各类分散视频资源的平台。该平台提供了多种视频能力和服务,包括视频监控直播、云端录像、云存储、录像检索与回看、智能告警、平台级联、集群、电子地图、H.265视频自动转码和智能分析等…

一种基于WinDump自动抓包实现方法

本发明的技术方案包括以下步骤和组件: 配置抓包参数:设置抓包的IP、端口以及过滤包大小等参数,以控制抓取的数据范围。循环自动抓包:利用WinDump工具实现循环自动抓包功能,类似于记录日志的方式保留抓包数据。当抓包数…

年收入超10亿美金?OpenAI 的“赚钱戏法”

点击关注 文丨郝鑫、刘雨琦,编丨刘雨琦 “我当时见到他不到三分钟,就在想,啊,19岁的比尔盖茨估计也就这样了吧!” 在YC创始人Paul Graham(格雷厄姆)的眼里,28岁的Sam Altman与19…