目录
- 1 问题背景
- 2 问题探索
- 3 问题解决
- 4 告别Bug
1 问题背景
环境：
- 远程服务器Ubuntu20.04
- CUDA 11.6
现象：在日志文件和终端均显示Python脚本已使用了GPU
但是nvidia-smi中的Processes进程无显示
2 问题探索
首先，可以看到
| 0 Tesla V100-PCIE... On | 00000000:0F:00.0 Off | 0 |
| N/A 34C P0 37W / 250W | 1603MiB / 16384MiB | 0% Default |
GPU显存被占用，换言之有实例在正常使用GPU，表明不是硬件、显卡驱动等问题。
检查Pytorch是否正确配置
>>> import torch
>>> print(torch.cuda.is_available())
True
证明也不是Pytorch的问题
接着安装一个工具查看正在使用显卡的进程
apt install -y psmisc
fuser -v /dev/nvidia*
终端输出
USER PID ACCESS COMMAND
/dev/nvidia-uvm: root kernel mount /dev/nvidia-uvm
root 12860 F...m python
/dev/nvidia-uvm-tools:
root kernel mount /dev/nvidia-uvm-tools
/dev/nvidia7: root kernel mount /dev/nvidia7
root 12860 F...m python
/dev/nvidiactl: root kernel mount /dev/nvidiactl
root 12860 F...m python
由于我这里诊断的进程是一个使用GPU的python脚本，所以记下脚本的PID: 12860
查看系统进程
ps -aux
输出
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
...
root 12860 576 4.2 32781208 17343484 pts/0 Sl+ 14:11 269:00 python test.py
root 13510 0.0 0.0 13900 9076 ? Ss 14:36 0:00 sshd: root@notty
root 13549 0.0 0.0 7024 3768 ? Ss 14:37 0:00 bash
root 15003 0.0 0.0 9092 4092 pts/3 Ss 14:50 0:00 /usr/bin/bash --init-file /root/.vscode-server/bin/da76f93349a72022ca4670c1b84860304616aaa2/out/vs/workbench/contrib/terminal/b
root 15352 0.0 0.0 5476 592 ? S 14:55 0:00 sleep 180
root 15698 0.0 0.0 10856 3316 pts/3 R+ 14:58 0:00 ps -aux
PID: 12860对应的python脚本，正好是我怀疑没用上GPU的脚本，证明该python实例实际上成功跑在了GPU上
3 问题解决
nvidia-smi不显示正在使用GPU的进程很可能不是一个问题，而是GPU的使用率太低(多发生在远程高性能服务器运行小型实验的情形)，如遇到相关问题，可按上面步骤自检
4 告别Bug
本文收录于《告别Bug》专栏，该专栏记录人工智能领域中各类Bug以备复查，文章形式为：问题背景 + 问题探索 + 问题解决，订阅专栏+关注博主后可通过下方名片联系我进入AI技术交流群帮忙解决问题
