问题
NVIDIA 驱动中默认开启加载GPU卡的GSP功能，会随机导致在执行nvidia-smi命令的时候读取GPU卡为ERR状态，或者导致smi命令卡死；
如下图，以A800为例，Centos系统；
涉及到的包含以下型号的GPU卡；
解决方案
禁用GPU卡GSP功能；下面以CentOS系统为例
1、添加参数到系统下的配置文件中；
echo 'options nvidia NVreg_EnableGpuFirmware=0' > /etc/modprobe.d/nvidia-gsp.conf
写入配置文件后，检查配置文件中的参数是否正确:
cat /etc/modprobe.d/nvidia-gsp.conf
# 正常显示：NVreg_EnableGpuFirmware=0
2、添加完参数之后，然后直接重启机器后生效；
3、检查GSP功能是否被禁用，显示状态为NA，即为禁用状态；如果不显示NA，显示数字则未禁用成功：
nvidia-smi -q | grep -i gsp
# 正常显示： GSP Firmware Version : N/A
附：CentOS和Ubuntu系统禁用GSP的参数：
查看系统
lsb_release -a
CentOS 的配置方法
echo 'options nvidia NVreg_EnableGpuFirmware=0' > /etc/modprobe.d/nvidia-gsp.conf
添加参数后请重启机器；
Ubuntu 的配置方法
sudo su -c 'echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf'
sudo update-initramfs -u
添加完参数，更新完initramfs后请重启机器。
