nvidia-smi(NVIDIA System Management Interface) 是基于nvml的gpu的系统管理接口,主要用于显卡的管理和状态监控。

nvidia-smi简称NVSMI，提供监控GPU使用情况和更改GPU状态的功能，是一个跨平台工具，支持所有标准的NVIDIA驱动程序支持的Linux和WindowsServer 2008 R2 开始的64位系统。这个工具是N卡驱动附带的，只要装好驱动，就会有这个命令

1.基础命令nvidia-smi

安装完成后在命令行或终端输入命令nvidia-smi，即可看到下面的信息:

包含了显卡的信号、温度、风扇、功率、显存、使用率、计算模式等信息。

表格参数详解：

• GPU：本机中的GPU编号（有多块显卡的时候，从0开始编号）图上GPU的编号是：0

• Fan：风扇转速（0%-100%），N/A表示没有风扇

• Name：GPU类型，图上GPU的类型是：Tesla T4

• Temp：GPU的温度（GPU温度过高会导致GPU的频率下降）

• Perf：GPU的性能状态，从P0（最大性能）到P12（最小性能），图上是：P0

• Persistence-M：持续模式的状态，持续模式虽然耗能大，但是在新的GPU应用启动时花费的时间更少，图上显示的是：off

• Pwr：Usager/Cap：能耗表示，Usage：用了多少，Cap总共多少

• Bus-Id：GPU总线相关显示，domain：bus：device.function

• Disp.A：Display Active ，表示GPU的显示是否初始化

• Memory-Usage：显存使用率

• Volatile GPU-Util：GPU使用率

• Uncorr. ECC：关于ECC的东西，是否开启错误检查和纠正技术，0/disabled,1/enabled

• Compute M：计算模式，0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED

• Processes：显示每个进程占用的显存使用率、进程号、占用的哪个GPU

2.实用命令

#帮助
nvidia-smi -h

#持续监控gpu状态 （-lms 可实现毫秒级监控）
nvidia-smi -l 3   #每三秒刷新一次状态，持续监控

#列出所有GPU，大写L
nvidia-smi -L

#查询所有信息
nvidia-smi -q

#查询特定卡的信息，0.1.2.为GPU编号
nvidia-smi -i 0

#显示特定的信息  MEMORY, UTILIZATION, ECC, TEMPERA-TURE, POWER, CLOCK, COMPUTE, PIDS, PERFORMANCE, SUPPORTED_CLOCKS, #PAGE_RETIREMENT, ACCOUNTING 配合-q使用
nvidia-smi -q -d MEMORY

#监控线程
nvidia-smi pmon

#监控设备
nvidia-smi dmon

#此外还有一系列可以配置模式的属性，可以直接利用nvidia-smi配置
#查询命令外的配置命令，请慎重使用！！！
#对于配置类命令，务必事先确认命令的含义！！！

REF：http://developer.download.nvidia.com/compute/DCGM/docs/nvidia-smi-367.38.pdf