Ubuntu运行深度学习代码，代码随机epoch中断没有任何报错

news2025/3/11 11:28:48

深度学习运行代码直接中断

文章目录

深度学习运行代码直接中断
- 问题描述
- 设备信息
- 问题补充
- ```解决思路```
- ```问题发现及正确解决思路```
- 新问题出现
- 最终问题：ubuntu系统，4090显卡安装英伟达驱动535.x外的驱动会导致开机无法进入桌面
- 问题记录

问题描述

运行深度学习代码，然后直接中断，就是停止不运行，显卡也停下来，没有任何报错提示。不是在固定的Epoch发生的，像是随机的。中断出现的epoch不确定，时而运行1-2个小时中断，时而运行数10个小时再发生中断。

设备信息

硬件：4090（24G，电竞判客）+i9-14900K+DDR5
系统：Ubuntu22.04.3；
深度学习环境：Pytorch112，cuda12.0，英伟达驱动535.183.01;
代码：计算机视觉相关的代码，相同能够在其它服务器上运行，应该不是代码的问题。
运行方式：使用nohup后台运行，输出的内容会用tqdm包裹。

问题补充

偶尔出现的硬件问题：
服务器的所有外接设备失效，比如网线、鼠标键盘插进去都没有什么反应，需要重启。

`解决思路`

以下是我排查过的问题和思路，并没有发现问题所在

已排查的错误：

显卡、内存等进行压力测试，并没有报任何错误；
主机盖打开，增加散热能力；
重装系统n次：重装之后一般能解决，但是过一段时间又出现；最近又重装了ubuntu22.04.3，第一次运行就发生了中断；
限制cpu功率，没办法解决；
num_works设为0，仍然出现该问题；
pin_memory关闭，还是存在该问题；
环境不兼容？cuda改成11.8还是有问题，Pytorch环境倒是没有尝试用其它的，感觉不是这个问题吧；
Pytorch从1.12换成2.0.0，代码运行了12小时后中断；
batch_size调小，显存只占用17G左右，还是会中断；
不使用nohup后台运行，仍然运行一会后会中断；
正在尝试将tqdm版本切换与另外一台服务器的相同版本，代码还是会中断；
每一步主要的程序使用print输出，用于定位问题所在。

`问题发现及正确解决思路`

代码在一台服务器上能够正常运行，在4090上运行异常，代码中断不报错。

因此，以后当大家第一时间遇见这个问题的时候，就应该主动去查看系统的运行日志，定位代码停止运行时刻对应的日志。

（1）输出系统日志，然后查看代码中断时间的日志记录

# journalctl输出系统日志，后面是将输出重定位的journal.log文件
journalctl > journal.log

（2）查看系统对应的日志记录

在这里插入图片描述

7月 25 12:54:04 4090 kernel: show_signal_msg: 50 callbacks suppressed
7月 25 12:54:04 4090 kernel: yida_24-0725-09[1030438]: segfault at 8 ip 000061cc54bfdefa sp 00007fff10053f90 error 4 in python3.9[61cc54a89000+223000] likely on CPU 7 (core 12, socket 0)
7月 25 12:54:04 4090 kernel: Code: 04 24 4c 8d 15 a7 e8 19 00 41 89 7e 68 49 83 c4 02 0f b6 d0 0f b6 cc 49 89 d0 41 89 c9 41 ff 24 d2 4c 8b 7d f8 44 89 4c 24 20 <49> 8b 47 08 4c 89 ff ff 90 e0 00 00 00 4c 63 4c 24 20 48 85 c0 0f

(3) 定位问题出现的原因
通过baidu发现问题出现的潜在原因，发现是底层的计算错误。因此，我去比对2台服务器的Python版本，发现正常运行代码的一台服务器gcc是11.x，另外异常的一台服务器是gcc7.x。
在这里插入图片描述