这篇文章主要记录下在内网(无法连接外网)服务器安装NVIDIA Driver、CUDA、cuDNN、Python的过程，机器配置GPU：1*NVIDIA T4 16G，CPU：8C42G，操作系统：GPU-RHEL7.9-x86-64。

想了解如何内网部署ollama，使用大模型，可以参考我的另一篇文章：
【内网Tesla T4_16G为例】超详细部署安装ollama、加载uugf格式大模型qwen2、chatglm3及大模型的使用

前言

因为是内网环境，所以文章中的安装过程，不贴实际安装过程的图片。

因为是内网环境，所以所有的安装包都是先外网下载好，拷贝到内网执行的。下面所有安装包都是如此，不再赘述

该服务器除系统盘60G之外，还有一个扩展盘100G，我们可以理解为windows电脑的D盘，我的所有安装包都会装在该盘，如果你只有一个盘，可以新建一个文件夹安装，不建议安装在系统盘的其他文件夹中

一. 安装Python

1. 下载python离线包
安装包下载地址：https://www.python.org/downloads/source/
我下载的是Python 3.10.14

下面是linux服务器上的部署过程
2. 系统更新

sudo yum update -y

3. 安装必要的依赖项

sudo yum groupinstall “Development Tools” -y
sudo yum install openssl-devel bzip2-devel libffi-devel -y

2，3步骤可以在盘的主目录下直接执行。

**4. 解压Python-3.10.14.tgz并安装 **

sudo tar xzf Python-3.10.14.tgz # 解压
cd Python-3.10.14 # 进入解压后的包
sudo ./configure --enable-optimizations --prefix=/mnt/data/python3.10 # 设置安装地址，如果/mnt/data/python3.10之前没有，需要新建
sudo make altinstall # 编译并安装

5. 是否安装成功

python3.10 --version
python3.10 # 该命令直接运行python，可以实现编码

此时安装完之后你可以使用python3.10 --version查看，如果你希望python --version
或者python3 --version等格式的命令，你可以通过符号链接将 python 指向 python3.10。

6. 创建符号链接（可选操作）
1）删除现有的 python 符号链接（如果存在，可通过python --version检查，是否返回其他版本）：

sudo rm /usr/bin/python

2）创建新的符号链接
python --version
pip --version

sudo ln -s /mnt/data/python3.10/bin/python3.10 /usr/bin/python
sudo ln -s /mnt/data/python3.10/bin/pip3.10 /usr/bin/pip

python3 --version
pip3 --version

sudo ln -s /mnt/data/python3.10/bin/python3.10 /usr/bin/python3
sudo ln -s /mnt/data/python3.10/bin/pip3.10 /usr/bin/pip3

二、下载并安装NVIDIA Driver

进入英伟达官网下载：https://www.nvidia.com/Download/index.aspx#
目前pytorch最高支持CUDA Toolkit 12.1，尽管CUDA已经更新到12.5。暂时没有CUDA Toolkit 12.1可选，所以就选择离12.1最近的CUDA Toolkit 12.2。


下面是安装过程：
1. 先安装一些依赖

sudo yum install epel-release
sudo yum update
sudo yum install pkgconfig libglvnd-devel

2. 安装
直接在NVIDIA-Linux-x86_64-535.161.08.run所在文件夹执行，脚本会自动配置安装位置

chmod +x NVIDIA-Linux-x86_64-535.161.08.run # 先赋予权限
sh ./NVIDIA-Linux-x86_64-535.161.08.run -s --no-x-check # 安装
nvidia-smi # 检查是否安装成功

下图为例图证明安装成功：

三、下载并安装CUDA

上面提到了在安装Nvidia驱动的时候，选择CUDA版本是12.2，因此，我们在下载的时候也要下载12.2的。下载地址：https://developer.nvidia.com/cuda-toolkit-archive

根据自己的机器，选择合适的安装包，直接在浏览器地址栏输入地址：https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.run，直接先下载

下面是安装过程：
（1）上传至服务器，进入到安装包目录，执行以下命令安装

sudo sh cuda_12.2.0_535.54.03_linux.run

（2）运行后在出现的页面中执行以下操作

输入 accept，继续执行

到下面这个页面时，在Driver行，按Enter，会取消掉CUDA自带驱动的安装，因为我们已经安装过了，取消掉的状态是没有前面的X了。
然后⬇到Install，按Enter，继续执行。

安装完成后，会出现下面的内容：
因为是内网无法截图和粘贴东西，以下内容参考文章：https://blog.csdn.net/weixin_46398647/article/details/137666448

===========
= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-12.2/

Please make sure that
 -   PATH includes /usr/local/cuda-12.2/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-12.2/lib64, or, add /usr/local/cuda-12.2/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-12.2/bin
***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 535.00 is required for CUDA 12.2 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run --silent --driver

Logfile is /var/log/cuda-installer.log

根据上面的提示信息设置路径：

export PATH=/usr/local/cuda-12.2/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

输入命令nvcc -V进行检验：

[root@Nvidia-Tesla-T4 Downloads]# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Tue_Jun_13_19:16:58_PDT_2023
Cuda compilation tools, release 12.2, V12.2.91
Build cuda_12.2.r12.2/compiler.32965470_0

三、下载并安装CuDNN

（1）下载CuDNN
下载地址：https://developer.nvidia.com/cudnn-archive
因为服务器的操作系统是RHEL7.9的，目前看只有9.0.0支持该系统，所以下载的是9.0.0，如果你是RHEL8或9可以选择其他版本


浏览器地址栏输入：https://developer.download.nvidia.com/compute/cudnn/9.0.0/local_installers/cudnn-local-repo-rhel7-9.0.0-1.0-1.x86_64.rpm，即可下载

（2）安装
拷贝到内网，在文件目录下执行以下命令：

sudo rpm -i cudnn-local-repo-rhel7-9.0.0-1.0-1.x86_64.rpm
sudo yum clean all
sudo yum -y install cudnn

这样就安装完成了。