1.显卡

nvidia-smi
nvidia-smi（显示一次当前GPU占用情况）
nvidia-smi -l（每秒刷新一次并显示）
watch -n 5 nvidia-smi （其中，5表示每隔6秒刷新一次终端的显示结果）

表头释义：
Fan：显示风扇转速，数值在0到100%之间，是计算机的期望转速，如果计算机不是通过风扇冷却或者风扇坏了，显示出来就是N/A；
Temp：显卡内部的温度，单位是摄氏度；
Perf：表征性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能；
Pwr：能耗表示；
Bus-Id：涉及GPU总线的相关信息；
Disp.A：是Display Active的意思，表示GPU的显示是否初始化；
Memory Usage：显存的使用率；
Volatile GPU-Util：浮动的GPU利用率；
Compute M：计算模式；
下边的Processes显示每块GPU上每个进程所使用的显存情况。

GPU：编号
Fan：风扇转速，在0到100%之间变动，这里是42%
Name：显卡名，这里是TITAN X
Temp：显卡温度，这里是69摄氏度
Perf：性能状态，从P0到P12，P0性能最大，P12最小
Persistence-M：持续模式的状态开关，该模式耗能大，但是启动新GPU应用时比较快，这里是off
Pwr：能耗
Bus-Id：涉及GPU总线的东西
Disp.A：表示GPU的显示是否初始化
Memory-Usage：现存使用率，这里已经快满了
GPU-Util：GPU利用率
Compute M.：计算模式

参考查看Linux服务器内存、CPU、显卡、硬盘使用情况，链接：https://www.jianshu.com/p/0aed4feba213
https://www.cnblogs.com/wsnan/p/11769838.html

• CUDA版本
  1.查看当前安装的版本（nvcc -V）
  系统自带：通过nvcc(NVIDIA Cuda compiler driver)命令可查看本机安装的CUDA版本:nvcc -V
  nvcc -V查看的是系统自带的cuda的版本。
  虚拟环境中：要看虚拟环境中的版本，查看pip包或者要导入pytorch和tensorflow库进行测试 pytorch中：print(torch.__version__)和tensorflow中：conda list | grep cuda直接在终端里，打开相应环境，进行查看
  2.查看能支持的最高CUDA版本（nvidia-smi）
  通过nvidia-smi 命令可查看本机的Nvidia显卡驱动信息，以及该驱动支持的最高的CUDA版本。nvidia-smi，例如下面的CUDA Version就是我的电脑上面能够安装的最高版本的CUDA，并且该版本号是向下支持的，可以安装低于该版本号的所有CUDA套件

释放显卡内存
在Ubuntu运行代码的时候，有时会出现代码退出了，显存依然在占用的情况。

1、#批量清理显卡中残留进程：(批量包含其他信息时不行，要用/dev/nvidia*设置成指定哪个进行批量kill如：/dev/nvidia0)
sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh

#或
lsof /dev/nvidia* | awk '{print $2}' | xargs -I {} kill {}

#或
fuser -v /dev/nvidia* | awk '{print $0}' |  xargs kill -9

2、手动
apt-get install psmisc
#查找占用GPU资源的PID
fuser -v /dev/nvidia*
# 解除显存占用
kill -9 ***(PID)  

2、CPU内存

1. 查看cup使用率、内存
   （1）top
   （2）htop
   $ sudo apt-get install htop
   $ htop
   （3）free命令
   free命令可以显示Linux系统中空闲的、已用的物理内存及swap内存,及被内核使用的buffer。在Linux系统监控的工具中，free命令是最经常使用的命令之一。

3、硬盘

（1）df命令
（2）df -h命令，df命令直接执行的效果不好，不能以mb或者gb的形式显示磁盘容量。为了以人性化显示，可以在后面加-h参数，h是human-reading的第一个字母，可以理解为人类能读的格式。
（3）查看分区：sudo fdisk -l