1.了解GPU的资源利用情况：

nvidia-smi

2.实时刷新（1秒）：

nvidia-smi -l 1

3.配合watch命令可实时显示GPU运行状态：

watch -n 1 nvidia-smi

其中 1 为刷新的时间间隔。

4.将监控结果写入文件，并且指定写入文件的监控字段：

nvidia-smi -l 1 --format=csv --filename=report.csv --query-gpu=timestamp,name,index,utilization.gpu,memory.total,memory.used,power.draw

5.查询所有GPU的当前详细信息：

nvidia-smi -q

6.设备监控命令，以滚动条形式显示GPU设备统计信息：

nvidia-smi dmon

7.参数

参数描述：

GPU：本机中的GPU编号（有多块显卡的时候，从0开始编号）图上GPU的编号是：0、1

Fan：风扇转速（0%-100%），N/A表示没有风扇

Name：GPU类型，图上GPU的类型是：Tesla T4

Temp：GPU的温度（GPU温度过高会导致GPU的频率下降）

Perf：GPU的性能状态，从P0（最大性能）到P12（最小性能），图上是：P0

Persistence-M：持续模式的状态，持续模式虽然耗能大，但是在新的GPU应用启动时花费的时间更少，图上显示的是：off

Pwr：Usager/Cap：能耗表示，Usage：用了多少，Cap总共多少

Bus-Id：GPU总线相关显示，domain：bus：device.function

Disp.A：Display Active ，表示GPU的显示是否初始化

Memory-Usage：显存使用率

Volatile GPU-Util：GPU使用率

Uncorr. ECC：关于ECC的东西，是否开启错误检查和纠正技术，0/disabled,1/enabled

Compute M：计算模式，0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED

Processes：显示每个进程占用的显存使用率、进程号、占用的哪个GPU