为了方便调试，在Windows上安装了一套CUDA和CuDNN，记录一下过程。

1. 安装显卡驱动（已安装驱动可跳过）

在一台配有GPU的电脑上安装CUDA，首先要确保电脑已经安装了显卡驱动。若未安装，可在NVIDIA官网下载并安装对应的驱动，驱动搜索界面如下：

2. 安装CUDA

CUDA是NVIDIA研发的并行计算平台和变成模型，可利用GPU的能力大幅提升运算效能。

在安装CUDA之前，需要查看自己电脑适配的驱动版本。命令行执行nvidia-smi，查看显卡信息和CUDA版本：

可以看到，目前适配的CUDA驱动版本是12.0。我们可以安装12.0或更早的CUDA runtime版本，我选择的版本是11.7。

CUDA安装文件下载地址：

CUDA Toolkit Archive | NVIDIA Developer

选择合适自己的版本号下载，在版本下载界面，再选择对应的操作系统、指令集架构、安装方式等，最后点击“Download”按钮等待下载完成，可按默认安装。

安装完成后，命令行执行nvcc -V，输出如下结果表示安装成功。

3. 安装CuDNN

安装完CUDA之后，接下来我们需要安装CuDNN。CuDNN的全称是NVIDIA CUDA Neural Network，是专门针对深度神经网络设计的GPU加速库，它提供了DNN应用中常用例程的高度优化实现，如前向和后向卷积、池化、BN和激活，并广泛应用于常用的深度学习框架中，如TensorFlow、PyTorch、Caffe2、PaddlePaddle等。

CuDNN的下载地址为：https://developer.nvidia.com/rdp/cudnn-download

第一次从该网址下载需要注册，略微花费一点时间。

选择与CUDA runtime版本一致的CuDNN版本进行下载，这里我们选择11.X进行下载：

下载完成，进行解压，然后将解压目录下的bin, include, lib三个文件夹拷贝到CUDA安装目录下，替换掉相应的文件夹即可： 

最后，为了验证安装是否生效，可以执行CUDA目录下自带的demo，默认位置在 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\extras\demo_suit。我们运行其中的deviceQuery，正常情况下会输出如下的设备信息，并在最后输出Result = PASS的字样，代表安装成功。