日志组件导致的内存溢出问题分析

news2024/11/16 0:03:51

1、内存溢出日志

普通的http请求，导致堆内存直接溢出，看了下代码实现非常简单的一次DB查询且数据量也比较小，不可能导致内存溢出呢

java.lang.OutOfMemoryError: Java heap space
   at java.util.Arrays.copyOf(Arrays.java:3332)
   at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)
   at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:649)
   at java.lang.StringBuffer.append(StringBuffer.java:387)
   at java.io.StringWriter.write(StringWriter.java:77)
   at java.io.StringWriter.append(StringWriter.java:202)
   at java.io.StringWriter.append(StringWriter.java:41)
   at com.google.gson.stream.JsonWriter.beforeValue(JsonWriter.java:645)
   at com.google.gson.stream.JsonWriter.value(JsonWriter.java:532)
   at com.google.gson.internal.bind.TypeAdapters$5.write(TypeAdapters.java:189)
   at com.google.gson.internal.bind.TypeAdapters$5.write(TypeAdapters.java:173)

2、分析代码实现

排除代码实现的问题那一定是在代码执行前干了什么时间导致内存溢出，查看日志发现异常发生在 ParamLogAspect.java 中,代码实现如下

@Before("execution(* com.example.controller..*(..))")
public void logBefore(JoinPoint joinPoint) {
    MethodSignature signature = (MethodSignature)joinPoint.getSignature();
    String className = signature.getDeclaringType().getName();
    String methodName = signature.getName();
    Object[] args = joinPoint.getArgs();
    StringBuilder jsonArgsBuilder = new StringBuilder();
    try {
        jsonArgsBuilder.append(new Gson().toJson(arg));
    } catch (Throwable e1) {
        log.info("转换函数入参json失败 - {}", e1, args != null ? args.toString() : "");
    }
    log.info("[aop operation log] {}.{} , Params:{}", className, methodName, jsonArgsBuilder);
}

初看也没发现什么问题，断点发现卡在了 new Gson().toJson(arg) ，断点调试跟进发现入参类型为 HttpServletRequest ，难道它不可直接打印？

查看 HttpServletRequest 说明发现该类包含大量的内部状态和引用，比如输入流、会话信息、请求头等，直接序列化这些信息可能会形成循环引用或过于庞大，导致序列化过程占用过多内存甚至进入无限循环。为了避免这种情况，建议手动提取 HttpServletRequest 中的有用信息，并将这些信息序列化。

3、优化组件日志记录方式

将日志组件的实现改为参数部分初始化，再次请求就可以了

@Before("execution(* com.example.controller..*(..))")
public void logBefore(JoinPoint joinPoint) {
    MethodSignature signature = (MethodSignature)joinPoint.getSignature();
    String className = signature.getDeclaringType().getName();
    String methodName = signature.getName();
    Object[] args = joinPoint.getArgs();
    StringBuilder jsonArgsBuilder = new StringBuilder();
    try {
        // 增加 HttpServletRequest 类型参数解析（HttpServletRequest 直接 toJson 会导致内存溢出）
        for (Object arg : args) {
            if(arg instanceof HttpServletRequest){
                HttpServletRequest request = (HttpServletRequest) args[0];
                Map<String, String> paramMap = new HashMap<>();
                Enumeration<String> parameterNames = request.getParameterNames();
                while (parameterNames.hasMoreElements()) {
                    String paramName = parameterNames.nextElement();
                    String paramValue = request.getParameter(paramName);
                    paramMap.put(paramName, paramValue);
                }
                jsonArgsBuilder.append(new Gson().toJson(paramMap)).append(" ");
            }
            else {
                jsonArgsBuilder.append(new Gson().toJson(arg)).append(" ");
            }
        }
    } catch (Throwable e1) {
        log.info("转换函数入参json失败 - {}", e1, args != null ? args.toString() : "");
    }
    log.info("[aop operation log] {}.{} , Params:{}", className, methodName, jsonArgsBuilder);
}

4、深度分析

什么原因导致的内存溢出呢，初步猜测可能导致的原因如下：

HttpServletRequest 对象内部存在循环引用，如：HttpSession、HttpServletRequest 和 ServletContext、ServletConfig 对象之间相互引用，导致 Gson 在处理这些循环引用时，可能会进入无限循环，导致内存溢出。
HttpServletRequest 内容及数量确实很大，占用大量内存，导致内存溢出
非序列化字段或者动态生成的输入、输出流，在序列化过程中可能会引发异常或者占用大量内存。

从异常日志并没有发现有循环引用的调用栈，难道真是太大了导致的溢出？导出dump文件接着看下，还真是太大导致的