问题:
服务器安装后两天,发现磁盘空间使用满了【date: write error: No space left on device】
问题排查:
1、使用df -hl命令查看
2、使用du -hl --max-depth=1,从根目录开始查起,最后发现,磁盘的空间全部被
/var/lib/docker/overlay2 目录使用完了(docker的服务使用目录)。
通过对比正常环境的相同目录,发现和问题环境中的查询大小没有什么区别,因此考虑是不是空间释放的问题。
lsof|grep deleted 命令进行查看,发现有很多python代码的相关记录,如下图红框中:
统计了下条数,有二十多万条
3、使用kill -9 7560 杀掉对应的进程,再查看下系统盘的空间,显示正常了
查看Log/common.log日志,发现里面连接redis服务失败,一直在重连(每秒钟很多次)
解决方法:
修改了模块中的代码 处理方法,在尝试重连间隔中休眠几秒,最后验证问题解决。