做一个项目的时候,发现vscode一开始训练就报如下错误
RuntimeError: CUDA out of memory. Tried to allocate 916.00 MiB
(GPU 0; 6.00 GiB total capacity; 4.47 GiB already allocated; 186.44 MiB free; 4.47 GiB reserved in total by PyTorch)
正常来说这是爆显存了,但是服务器并没有其他训练任务
于是利用nvidia-smi指令查看GPU使用情况,发现报错如下
Failed to initialize NVML: Driver/library version mismatch
这就说明不是显存爆了,网上查阅可能的原因是nvidia自动更新了,然后自动更新不完全,导致libnvidia和nvidia版本不一致。但是我不想去重装nvidia,于是尝试重启服务器解决,
利用指令下面指令重启
shotdown -r now
重启后再用nvidia-smi查看,问题解决