Redis内存使用率高，内存不足问题排查和解决

news2025/1/18 2:10:50

问题现象

表面现象是系统登录突然失效，排查原因发现，使用redis查询用户信息异常，从而定位到redis问题

if (PassWord.equals(dbPassWord)) {
        map.put("rtn", 1);
        map.put("value", validUser);
        session.setAttribute("username", user.getUsername());                                       
        redisWarehouseControlUtil.addObjectData(user.getUsername(),user.getUsername(),30);
}

排查原因

我的redis使用的是华为云的redis分布式缓存服务，所以在问题排查方面，我们可以结合华为云提供的丰富的分析诊断工具来辅助排查解决问题。

1、问题定位到redis上，登陆redis服务器，发现服务器内存使用率100%。

2、使用华为云的性能监控功能，查询指定时段的内存使用率信息。发现“内存利用率”指标持续接近100%。查询内存使用率超过95%的时间段内，“已逐出的键数量”和“命令最大时延”，均呈现显著上升趋势，表明存在内存不足的问题。

当内存不足时，可能导致Key频繁被逐出、响应时间上升、QPS（每秒访问次数）不稳定等问题，基本上redis服务已经瘫痪。

3、先使用实例诊断功能，大体分析一下可能得问题原因：主要还是内存占用过高问题。

4、使用华为云的缓存分析功能，执行大Key扫描，发现另一个项目的ErrorMeterData key，他是一个list队列，竟然存储数据占了2.6G，还有两个key存储数据占用了几百M，就是这三个key把服务器的内存占满了。

5、分析查找原因：去代码中查找ErrorMeterData key对应的功能，找到了问题所在，这个key存储的是解析出现异常的数据队列，但问题是，开发这个功能的同事，并没有给这个key设置过期时间，也没有对这个异常数据队列的数据进行其他处理，就一直存在这个队列中，随着时间的增长，以及异常数据的日复一日的不断累加，会导致存储数据太多，终于内存被占满。这是一个非常严重的bug。

问题就出在：redisMeterDataUtil.AddErrorMeterDataList(baseMessage);这一步

private void MeterDataExtractProcess()  {
    boolean rtn = false;
    while (!needClose) {
      // 普通表数据的解析
      try {
        BaseMessage baseMessage = redisMeterDataUtil.getMeterData();
        if (baseMessage != null) {
          if (!baseMessage.getFunctionCode().equals("") && baseMessage.getFunctionCode() != null) {
            switch (baseMessage.getFunctionCode()) {

                // 温控面板解析 --主动上传 批量
              case FunctionCode.UploadTcStateData:
                UploadTcStateDataMessage tcStateDataMessage =
                    new UploadTcStateDataMessage(baseMessage);
                rtn = tcStateDataService.addUploadTcStateDataDataMessage(tcStateDataMessage);
                break;
                //  //根据表号读取，单条    温控面板解析
              case FunctionCode.getTcStateData:
                ReplyTcStateDataMessage replyTcStateDataMessage =
                    new ReplyTcStateDataMessage(baseMessage);
                rtn = tcStateDataService.addTcStateDataMessage(replyTcStateDataMessage);
                break;

              default:
                break;
            }

            if (rtn == false) {
              // 解析方法存储失败，将数据添加到错误队列
              redisMeterDataUtil.AddErrorMeterDataList(baseMessage);
            }
          } else {
            // 若队列数据为空，则线程休眠1s后继续执行
            ThreadSleep(1000);
            continue;
          }
        }
      } catch (Exception e) {
          logger.error("MeterDataExtractServer--表数据redis解析出错"+e.getMessage());
          ThreadSleep(1000);
      }
public void AddErrorMeterDataList(BaseMessage baseMessage) {
        addData(ErrorMeterDataListSign, baseMessage);
    }


private void addData(String type, Object data) {
        String key = type;
        redisTemplate.opsForList().leftPush(key, data);

    }

6、如果你没有使用华为云或者阿里云的专门的redis服务，而是自己在服务器搭建的Redis服务。那么排查问题的步骤和方法，大体可以分为几步：

  1. 查询诊断服务的CPU、内存、硬盘、网络等是否正常
  2. 查看日志分析异常问题
  3. 如果是内存占满问题，则可以在Redis-cli客户端连接实例后，执行大key扫描命令或者执行过期key扫描（过期key扫描会对键空间进行Redis的scan扫描，释放内存中已过期但是由于惰性删除机制而没有释放的内存空间），并查看key的内存占用情况。并对内存占用过大的key进行处理。

如果你想扫描Redis实例中的大key，你可以使用SCAN命令结合TYPE命令来获取每个键的类型，并根据键的类型获取其大小。

以下是一个示例的命令：

bash复制代码

redis-cli SCAN 0 MATCH * COUNT 1000 | while read key; do type=$(redis-cli TYPE $key); size=$(redis-cli -c GET $key | wc -c); echo "$key: $type, Size: $size"; done

这个命令将使用SCAN命令迭代整个数据库，并对每个键执行TYPE命令来获取键的类型。然后，对于字符串类型的键，使用GET命令获取其值，并使用wc -c命令计算其长度。最后，将键、类型和大小输出到终端。

另外，如果你想查看Redis实例的output buffer占用情况，你可以使用CONFIG GET output-buffer-limit命令来获取output buffer的配置信息。该命令将返回output buffer的配置参数，包括类型、大小和阈值。

请注意，上述命令中的redis-cli -c GET $key是用于获取字符串类型的键的大小。对于其他类型的键，你可能需要使用其他命令或方法来获取其大小。

处理措施

1、为内存占用过大的key设置过期时间，这样数据就不会一直存储在队列中

（1）比较紧急想要恢复redis，且队列中的数据不重要，则可以直接链接redis，执行命令

EXPIRE key seconds：设置键的过期时间（以秒为单位），过期后键将被自动删除。

或者

DEL key：删除指定键

（2）在代码中为key设置过期时间

/**
     * 设置设备缓存过期时间(分钟)
     * @param type 设备分类
     */
    private void setExpireTime(String type,int cacheTime) {
        String key = type;
        redisTemplate.expire(key,cacheTime,TimeUnit.MINUTES);
    }

/**
     * 设置表数据缓存失效时间list集合
     */
    public void setMeterInfoExpire() {
        setExpireTime(MeterDataListSign,deviceCacheTime);
    }

2、业务逻辑上将这个异常数据队列的数据，重新返回处理队列，设置返回次数，如果超过三次以上，还是没有被正常队列处理掉，则将异常数据持久化，并删除redis中的该异常数据。

我的实际业务中，异常数据没有重回队列处理的必要了，所以我的业务代码中，直接不在用redis队列存储异常数据，而是直接将异常数据持久化存储到mongodb中。

if (rtn == false) {
     // 解析方法存储失败，将数据添加到错误队列----不再存在redis，直接持久化存储到mongodb
     //redisMeterDataUtil.AddErrorMeterDataList(baseMessage);
     tcErrorMessageHistoryUtil.addMessage(baseMessage);
}

3、设置key的过期时间后，过了一段时间内存恢复正常

总结

在使用redis的对象或者list队列等实例时，要记得给key设置过期时间，避免数据一直堆积无法释放。对于重要的异常数据队列的数据，要进行业务处理：重回队列或数据持久化。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1345268.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

结构体：子网掩码

结构体：子网掩码

#include<iostream> using namespace std; union IP //创建共用体 {unsigned char a[4];unsigned int ip; }; IP getIP() //获取ip函数 {int a, b, c, d;scanf_s("%d.%d.%d.%d", &a, &b, &c, &d);IP address;address.a[3] a; address.a[2] …
阅读更多...
C. Load Balancing 一个序列同时加一个数和减一个数，直到最大和最小之间相差最大为1（结论可记住）

C. Load Balancing 一个序列同时加一个数和减一个数，直到最大和最小之间相差最大为1（结论可记住）

题目&#xff1a; https://atcoder.jp/contests/abc313/tasks/abc313_c 思想&#xff1a;1.给定一个固定的B&#xff0c;求使A等于B所需的最小运算次数 2.在所有最大值和最小值最多相差1的B中&#xff0c;找出一个所需的运算次数最少的&#xff0c;即1 做法&#xff1a;构造…
阅读更多...
Vue项目优化-组件配置化、插件使用

Vue项目优化-组件配置化、插件使用

Vue中可以根据需要去加载插件&#xff0c;一些自己写的插件在多个项目中都是需要用到的&#xff0c;通过把它们插件化&#xff0c;可以实现在需要用到的项目中便捷地复用&#xff0c;实现热拔插。 一、问题背景 以弹窗表单组件为例&#xff0c;平常我们使用弹窗组件都是通过页面…
阅读更多...
C单片机数据类型与格式化

C单片机数据类型与格式化

C语言数据类型 关键字位数表示范围stdint关键字ST关键字举例unsigned char80 ~ 255uint8_tu8u8 data 128char8-128 ~ 127int8_ts8s8 temperature 25unsigned short160 ~ 65535uint16_tu16u16 counter 5000short16-32768 ~ 32767int16_ts16s16 position 32767unsigned int3…
阅读更多...
[Angular] 笔记 21：@ViewChild

[Angular] 笔记 21：@ViewChild

chatgpt: 在 Angular 中&#xff0c;ViewChild 是一个装饰器&#xff0c;用于在组件类中获取对模板中子元素、指令或组件的引用。它允许你在组件类中访问模板中的特定元素&#xff0c;以便可以直接操作或与其交互。 例如&#xff0c;如果你在模板中有一个子组件或一个具有本地…
阅读更多...
Autosar MCAL-RH850P1HC Dio配置

Autosar MCAL-RH850P1HC Dio配置

文章目录 DioDioGeneralDioCriticalSectionProtectionDioDevErrorDetectDioDeviceNameDioFlipChannelApiDioMaskedWritePortApiDioUseWriteVerifyErrorInterfaceDioVersionCheckExternalModulesDioVersionInfoApiDioWriteVerifyDioWriteVerifyErrorInterface DioPortP0-P9DioPo…
阅读更多...
关于mysql8.0相关的升级

关于mysql8.0相关的升级

不知不觉&#xff0c;MySQL8.0已经有好多个GA小版本了。目前互联网上也有很多关于MySQL8.0的内容了&#xff0c;MySQL8.0版本基本已到稳定期&#xff0c;相信很多小伙伴已经在接触8.0了。本篇文章主要介绍从5.7升级到8.0版本的过程及注意事项&#xff0c;有想做版本升级的小伙伴…
阅读更多...
技术探秘：在RISC Zero中验证FHE——RISC Zero应用的DevOps（2）

技术探秘：在RISC Zero中验证FHE——RISC Zero应用的DevOps（2）

1. 引言 前序博客&#xff1a; 技术探秘&#xff1a;在RISC Zero中验证FHE——由隐藏到证明&#xff1a;FHE验证的ZK路径&#xff08;1&#xff09; 技术探秘&#xff1a;在RISC Zero中验证FHE——由隐藏到证明&#xff1a;FHE验证的ZK路径&#xff08;1&#xff09; 中&…
阅读更多...
DDOS攻击原理，如何解读？

DDOS攻击原理，如何解读？

互联网安全现状 随着网络世界的高速发展&#xff0c;各行业数字化转型也在如火如荼的进行。但由于TCP/IP网络底层的安全性缺陷&#xff0c;钓鱼网站、木马程序、DDoS攻击等层出不穷的恶意攻击和高危漏洞正随时入侵企业的网络&#xff0c;如何保障网络安全成为网络建设中的刚性…
阅读更多...
【JavaEE】多线程(7) -- 线程池的概念和简单实现

【JavaEE】多线程(7) -- 线程池的概念和简单实现

目录 1.线程池是什么 2.标准库中的线程池 2.1ThreadPoolExecutor 2.2构造方法参数介绍 2.3拒绝策略(面试易考) 2.4Executor的使用 3.实现线程池 1.线程池是什么 线程池是一种用来管理线程的机制&#xff0c;它可以有效地控制线程的创建、复用和销毁&#xff0c;从而提高程…
阅读更多...
使用flutter开发windows桌面软件读取ACR22U设备的nfc卡片id，5分钟搞定demo

使用flutter开发windows桌面软件读取ACR22U设备的nfc卡片id，5分钟搞定demo

最近有个需求&#xff0c;要使用acr122u读卡器插入电脑usb口&#xff0c;然后读取nfc卡片的id&#xff0c;并和用户账号绑定&#xff0c;调研了很多方式&#xff0c;之前使用rust实现过一次&#xff0c;还有go实现过一次&#xff0c;然后使用electron的时候遇到安装pcsc-lite失…
阅读更多...
2024年【危险化学品经营单位安全管理人员】复审考试及危险化学品经营单位安全管理人员模拟考试

2024年【危险化学品经营单位安全管理人员】复审考试及危险化学品经营单位安全管理人员模拟考试

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 危险化学品经营单位安全管理人员复审考试是安全生产模拟考试一点通总题库中生成的一套危险化学品经营单位安全管理人员模拟考试&#xff0c;安全生产模拟考试一点通上危险化学品经营单位安全管理人员作业手机同步练习…
阅读更多...
c++ 简单实用万能异常捕获

c++ 简单实用万能异常捕获

多层捕获异常&#xff0c;逐渐严格。并打印出错信息和位置&#xff1a;哪个文件&#xff0c;哪个函数&#xff0c;具体哪一行代码。 #include <stdexcept> // 包含标准异常类的头文件try {int a 2 / 0; }catch (const std::runtime_error& e) {// 捕获 std::runt…
阅读更多...
【Pytorch】学习记录分享10——PyTorchTextCNN用于文本分类处理

【Pytorch】学习记录分享10——PyTorchTextCNN用于文本分类处理

【Pytorch】学习记录分享10——PyTorchTextCNN用于文本分类处理 1. TextCNN用于文本分类2. 代码实现 1. TextCNN用于文本分类 具体流程&#xff1a; 2. 代码实现 # coding: UTF-8 import torch import torch.nn as nn import torch.nn.functional as F import numpy as np…
阅读更多...
Spring高手之路-Spring AOP

Spring高手之路-Spring AOP

目录 什么是AOP Spring AOP有如下概念 补充&#xff1a; AOP是如何实现的 Spring AOP 是通过代理模式实现的。 Spring AOP默认使用标准的JDK动态代理进行AOP代理。 什么是AOP AOP(Aspect-Oriented Programming)&#xff0c;即面向切面编程&#xff0c;用人话说就是把公共的…
阅读更多...
php 8.4 xdebug扩展编译安装方法

php 8.4 xdebug扩展编译安装方法

最新版php8.4 xdebug扩展只能通过编译方式安装, pecl是安装不了的, 编译方法如下 下载最新版xdebug git clone https://github.com/xdebug/xdebug.git 却换入xdebug目录执行编译安装xdebug cd xdebug phpize./configure --enable-xdebugmakemake install3. 配置启用xdebug 这…
阅读更多...
大语言模型（LLM）训练平台与工具

大语言模型（LLM）训练平台与工具

LLM 是利用深度学习和大数据训练的人工智能系统&#xff0c;专门 设计来理解、生成和回应自然语言。 大模型训练平台和工具提供了强大且灵活的基础设施&#xff0c;使得开发和训练复杂的语言模型变得可行且高效。 平台和工具提供了先进的算法、预训练模型和优化技术&#xff0c…
阅读更多...
AI大模型：无需训练让LLM支持超长输入

AI大模型：无需训练让LLM支持超长输入

显式搜索: 知识库外挂 paper: Unleashing Infinite-Length Input Capacity for Large-scale Language Models with Self-Controlled Memory System 看到最无敌的应用&#xff0c;文本和表格解析超厉害https://chatdoc.com/?viaurlainavpro.com ChatGPT代码实现: GitHub - ar…
阅读更多...
攻防技术1-网络攻击（HCIP）

攻防技术1-网络攻击（HCIP）

目录 一、网络攻击方式分类 1、被动攻击&#xff1a; 2、主动攻击&#xff1a; 3、中间人攻击&#xff1a; 二、网络攻击报文类型分类&#xff1a; 1、流量型攻击 2、单包攻击 三、流量型攻击防范技术 1、DNS Request Flood攻击 攻击原理 DNS交互过程 2、TCP类报文…
阅读更多...
ros_ign_bridge:ros2与gazebo fortress的桥梁

ros_ign_bridge:ros2与gazebo fortress的桥梁

如果你启动的gazebo是这样的图标&#xff1a; 那么你实际使用的是fortress版本&#xff0c;我一开始就安装了harmonic版本&#xff0c;但是实际启动的确是这个图标&#xff0c;所以实际使用的是fortress版本&#xff0c;这是因为ros2默认带这个fortress版本。这个时候你使用ros…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023