Pytorch安装 CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析

Pytorch的CPU版本与GPU版本

Pytorch的CPU版本

仅在 CPU 上运行，适用于没有显卡或仅使用 CPU 的机器。
安装方式相对简单，无需额外配置 CUDA 或 GPU 驱动程序。
使用方式与 GPU 版相同，唯一不同的是计算将自动在 CPU 上进行。

Pytorch的GPU版本

在 NVIDIA GPU 上运行，充分利用 CUDA（Compute Unified Device Architecture）进行加速。
安装时需要确保 NVIDIA 的 CUDA 和 cuDNN 版本兼容。

如何确定使用哪个版本？

在电脑中使用快捷键windows+X，选择设备管理器查看，如果有NVIDIA的显卡，则可以使用GPU版本。

有NVIDIA显卡的情况下也可以使用CPU版本，但是没有NVIDIA显卡则只能使用CPU版本，如果可以使用GPU版本的话，推荐优先使用GPU版本，因为具有更好的性能与更快的速度。

CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN解释与辨析

在电脑拥有NVIDIA显卡的情况下，安装GPU版本之前，可以先查看自己的CUDA版本。

通过命令行窗口输入nvidia-smi可以查看。

现在显示出的CUDA Version，具体来说其实是CUDA Driver Version即CUDA驱动的版本，与其对应的还有CUDA Driver、CUDA Runtime、CUDA Toolkit、nvcc、cuDNN，这几个概念之间有以下的关系。

CUDA Driver

CUDA Driver（CUDA驱动程序）管理CUDA应用程序在GPU上的执行，它使CUDA应用程序与GPU硬件之间进行交互。

CUDA Runtime

CUDA Runtime是NVIDIA提供的一个软件层，它为开发人员提供了一个高层次的接口，以便更方便地使用CUDA进行GPU编程。CUDA Runtime封装了许多底层的CUDA驱动程序功能，使得开发者可以更加专注于算法和应用程序的开发，而不必深入底层的硬件细节。

CUDA Toolkit

CUDA Toolkit是NVIDIA提供的一套开发工具和库，旨在帮助开发人员创建和优化基于CUDA的应用程序。它包括了包括NVIDIA的CUDA编译器（nvcc）、CUDA程序库、CUDA开发工具。安装CUDA Toolkit时，通常也会携带安装CUDA Driver。

nvcc

nvcc（NVIDIA CUDA Compiler）是NVIDIA提供的CUDA编译器，用于将CUDA代码编译成可在NVIDIA GPU上运行的二进制文件。它是CUDA Toolkit的一部分，专门设计用于处理CUDA C/C++代码，并将其与常规C/C++代码结合编译。

cuDNN

cuDNN（CUDA Deep Neural Network library）是NVIDIA提供的一个高性能深度学习库，专门为深度神经网络（DNN）的训练和推理优化，旨在利用NVIDIA GPU的计算能力来加速深度学习任务。

他们之间有什么联系？

在有Nvidia显卡的电脑上，通常会直接自带有CUDA Driver，因为显卡的正常使用就依赖于CUDA Driver，且通过nvidia-smi命令查询到的CUDA Version就是指的CUDA Driver的版本。但是在对原始电脑不做其他操作的情况下，通过nvcc -V命令是会执行报错的，因为电脑中只有CUDA Driver，并没有安装CUDA Runtime的环境，此条命令查询是CUDA编译器nvcc的版本信息，由于nvcc是被包括在CUDA Runtime中的，没有CUDA Runtime自然也就查询不到nvcc的信息。如果要对CUDA Runtime的环境进行安装，就需要安装CUDA Toolkit，安装CUDA Toolkit时选择的版本就对应了CUDA Runtime的版本，因为CUDA Toolkit的版本和CUDA Runtime的版本是一致的，同时安装CUDA Toolkit时也会携带安装一个与当前版本最佳兼容的一个版本的CUDA Driver，如果安装时检测到系统已有CUDA Driver，安装程序可能会检测到现有版本并提示保留或更新。在使用深度学习框架需要进行加速训练时，可以使用到cuDNN，它是一个独立的库，不随CUDA Toolkit安装需要单独下载，但需要配合CUDA Toolkit使用，所以使用cuDNN前需要先安装好CUDA Toolkit，当然如果不使用cuDNN也是可以正常使用Pytorch的。

在安装Pytorch时很多博客中首先记录了对CUDA Toolkit的安装，但这一步是必须的吗？

下面针对CUDA Toolkit与Pytorch的安装关系进行一些说明。

下载Pytorch时通常会附带下载CUDA Toolkit，该CUDA Toolkit作为附带下载的并不带有完整的功能，只有支持Pytorch工作的部分。具体而言，下载Pytroch时附带下载的CUDA Toolkit没有携带驱动程序（CUDA Driver）也没有携带编译工具（nvcc），但它会有供Pytorch功能使用的已经编译好的CUDA函数库，这些编译完成的库函数可以不用再进行编译而直接运行，其CUDA版本号表示的是编译这些CUDA函数库时使用的CUDA Runtime版本，与电脑本机具体使用的CUDA Runtime版本无关，因此本地电脑安装Pytorch时其实不安装CUDA编译工具（nvcc）也可以正常使用，只要保证CUDA Driver存在（nvidia-smi能够查看到）且版本大于大于下载Pytorch时选择的CUDA版本（即附带的CUDA Toolkit中携带的已编译的函数库在编译时的CUDA Runtime版本）。当使用到nvcc编译器的编译功能时，Pytorch附带的CUDA Toolkit功能不够用了，此时才需要对完整的CUDA Toolkit进行下载。

综上所述，可以得出以下结论：

在电脑自带有CUDA Driver的情况下，如果不编写自定义的CUDA扩展或修改PyTorch的底层实现，只使用Pytorch的预编译版本，那么可以不需要去对CUDA Toolkit进行安装，只需要选择与自己电脑上的CUDA Driver版本匹配的Pytorch版本即可。

当使用Pytorch的过程中需要用到cnDNN进行加速时，或是需要编写自定义的CUDA扩展或修改PyTorch的底层实现时，则必须要安装CUDA Toolkit。

以上概念辨析参考图文并茂讲解CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性-CSDN博客

CUDA版本说明

图文来源 23. GPU版本-GPU与CUDA准备工作_哔哩哔哩_bilibili

在安装Pytorch的GPU版本时，必须要选择的就是对应的CUDA版本，而这个CUDA版本指的就是CUDA Runtime Version，即CUDA运行时的版本，这个版本必须要低于或等于本机的CUDA驱动的版本，即CUDA Driver Version，也即通过nvidia-smi命令查询得到的版本，否则会出现低版本无法兼容高版本的情况。

在确定好本机的CUDA Driver Version后，即可安装对应的CUDA Runtime Version的Pytorch版本。若要安装的Pytorch版本对于CUDA Runtime Version的要求高于本机的CUDA Driver Version，可以选择对本机的CUDA Driver Version进行升级，即下载高版本的驱动来更新本机的驱动版本，或是直接安装CUDA Toolkit来顺带更新驱动。

对于更新驱动与CUDA Toolkit安装的操作可以参考 NVIDIA驱动程序（NVIDIA Driver）和CUDA Toolkit安装_nvidia cuda toolkit-CSDN博客

Pytorch安装

明确了CUDA中的各个概念与版本选择，下面可以自信地安装自己合适版本的Pyorch了。

前往官网 PyTorch

当前展示的是最新版本，如果需要早期版本的可以点击下方的标签查看。

由于我需要下载的是1.13.0的版本，所以翻到了这个地方。

此时查看本机的CUDA Driver版本为11.7.

根据前文描述的版本选择要求，可以选择其中的pytorch-cuda=11.7的版本，将命令复制后输入到命令行中即可开始下载。

安装完成后可以查看是否成功安装。

当能够import不报错时表示安装成功了，当查询torch.cuda.is_available()为true时表示能够使用GPU。

需要注意的是，当前安装Pytorch的过程中我都是没有去另外安装CUDA Toolkit的，本机只存在CUDA Driver，而没有CUDA Runtime，所以当前的Pytorch功能的使用都是基于其自带的预编译好的CUDA程序，如果有编写自定义的CUDA扩展或修改PyTorch的底层实现的需求，或是需要使用cuDNN，则需要去安装CUDA Toolkit。