于是，我选择卸载CUDA ：

采用的方法是： 

cd /usr/local/cuda-11.4/bin/
sudo ./cuda-uninstaller
sudo rm -rf /usr/local/cuda-11.4

然后重新下载CUDA：

下载的时候注意：

首先选择下载对应的版本，如果还是要用NTS的话，用CUDA 11.4 这个版本的CUDA Tookit:

需要找一下旧版本：CUDA Toolkit Archive | NVIDIA Developer

下载对应版本：

下载的时候注意使用第一条指令从网上下载就行了，安装采用下述的办法，即：

wget https://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run

sudo chmod +x cuda_11.0.3_450.51.06_linux.run

sudo ./cuda_11.0.3_450.51.06_linux.run

如果有协议，输入accept就行。

然后进入这一步：

在这一步中，你需要把Driver给去掉，否则会报错。（去掉Driver的方法是 再点击一下 Enter）因为已经装了Driver了，所以再次安装会起冲突。我暂时不知道英伟达为什么要把驱动和CUDA捆绑在一起。

去掉之后选Install，稍等一会儿，就能安装成功了。

warning里面关于CUDA driver的内容不用管，说的就是没装NVIDIA driver。

参考：NVIDIA CUDA Toolkit 11.0 安装与卸载(Linux/Ubuntu) - 知乎