Ubuntu 22.04 AI大模型环境配置及常用工具安装

一、基础环境准备

1.1 系统准备

建议使用 Ubuntu22.04
以下配置皆以 Ubuntu22.04 系统版本为例

1.2 安装git

  apt-get update && apt-get install git -y

1.3 安装 Python 3.9+

【建议安装 3.10】（安装miniconda或者conda来管理虚拟环境）

  wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && chmod +x Miniconda3-latest-Linux-x86_64.sh && ./Miniconda3-latest-Linux-x86_64.sh && source ~/.bashrc

1.4 安装CUDA

目前 Pytorch 官网提示支持 11.8、12.4、12.6【建议 11.8或者 12.4】

  # CUDA Toolkit Installer-12.4
  wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
  sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
  wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.deb
  sudo dpkg -i cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.deb
  sudo cp /var/cuda-repo-ubuntu2204-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/
  sudo apt-get update
  sudo apt-get -y install cuda-toolkit-12-4
  
  # 安装驱动
  sudo apt-get install -y cuda-drivers
  
  # 设置环境变量（注意cuda安装的路径）
  echo 'export PATH="/usr/local/cuda-12.4/bin${PATH:+:${PATH}}"' >> ~/.bashrc
  source ~/.bashrc  # 重新加载配置
  echo $PATH | grep cuda-12.4 # 验证 PATH
  
  reboot
    
  # 重启后验证是否可以获取 nvidia 显卡信息
  nvcc --version
  nvidia-smi

1.5 安装CUDNN

下载匹配cuda12.4、ubuntu适用的cudnn包

  wget https://developer.download.nvidia.com/compute/cudnn/9.8.0/local_installers/cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.deb
  sudo dpkg -i cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.deb
  sudo cp /var/cudnn-local-repo-ubuntu2204-9.8.0/cudnn-*-keyring.gpg /usr/share/keyrings/
  sudo apt-get update
  sudo apt-get -y install cudnn
  
  # 使用以下命令进行查看
  ldconfig -p | grep cudnn

1.6 安装Pytorch【可选】

# 创建基础环境
conda create -n ai python==3.12 -y && conda activate ai
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

1.7 创建基础目录

  mkdir -p ~/work/ai/models ~/work/ai/datasets ~/work/ai/tools/

二、大模型部署框架

2.1 安装Ollama【可选】

ollama只支持GGUF格式的模型，如果在modelscope
或者huggingface下载模型，需要注意模型格式（GGUF一般指的是量化后的模型，缺点是模型效果变差，优势是模型会更小，推理速度会更快，对硬件要求会更低）
mac以及windows上是直接下载客户端
ollama一般针对的是个人用户

  conda create -n ollama python==3.10 -y && conda activate ollama
  cd ~/work/ai/tools && curl -fsSL https://ollama.com/install.sh | sh
  # 启动ollama服务(开启的端口默认是11434)
  ollama serve
  # 列出已下载的模型
  ollama list
  # 运行模型(没有的话会从modelscope下载)
  ollama run qwen2.5:0.5b

2.2 安装vLLM【可选】

vLLM 是一个 Python 库，它包含预编译的 C++ 和 CUDA (12.1) 二进制文件。
通过 PagedAttention 等技术优化 GPU 内存使用，显著提升推理速度

推理性能高，适合实时和大规模推理任务
支持分布式推理，适合生产环境
兼容 Hugging Face 的 Transformer 模型

要求:
1.操作系统：Linux
2.Python: 3.8 – 3.12
3.GPU: 计算能力 7.0 或更高（例如，V100、T4、RTX20xx、A100、L4、H100 等）

  conda create -n vllm python=3.10 -y && conda activate vllm  
  pip install vllm
  # 运行模型(开启的端口默认是8000)
  vllm serve /path/to/model
  # 显存不足建议使用以下命令启动(测试机显卡为8G 3070ti)
  # 先强制释放残留显存
  python -c "import torch; torch.cuda.empty_cache()"
  # 在进行启动(以Qwen/Qwen2.5-0.5B-Instruct为例)
  vllm serve ~/work/ai/models/Qwen/Qwen2.5-0.5B-Instruct \
  --gpu-memory-utilization 0.95 \
  --max-model-len 1024 \
  --block-size 16 \
  --max-num-seqs 4 \
  --tensor-parallel-size 1

2.3 安装LMDeploy【可选】

LMDeploy 是一个高效且友好的 LLMs 模型部署工具箱，功能涵盖了量化、推理和服务

功能全面，支持从训练到部署的全流程
提供模型压缩和加速技术，适合资源受限的场景

要求:
1.操作系统：windows、linux
2.Python: 3.8 – 3.12

  conda create -n lmdeploy python=3.12 -y && conda activate lmdeploy
  pip install lmdeploy partial_json_parser
  # 运行模型(开启的端口默认是23333)
  lmdeploy serve api_server /path/to/model

三、大模型微调框架

3.1 安装LLaMA-Factory【可选】

LLaMA-Factory 推荐使用python3.10

  conda create -n llamafactory python==3.10 -y && conda activate llamafactory
  cd ~/work/ai/tools && git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git && cd LLaMA-Factory && pip install -e .  
  # 使用可视化界面微调
  llamafactory-cli webui

  使用流程
     1. 下载model
     2. 下载data/data格式处理
     3. 开始微调

四、大模型前端框架

4.1 安装OpenWebui

OpenWebui 要求使用python3.11

  conda create -n openwebui python==3.11 -y && conda activate openwebui
  pip install -U open-webui torch transformers
  
  # 运行ollama
  ollama serve
  # 运行open-webui
  export HF_ENDPOINT=https://hf-mirror.com
  export ENABLE_OLLAMA_API=True
  export OPENAI_API_BASE_URL=http://127.0.0.1:11434/v1
  open-webui serve
  # 启动浏览器(http://localhost:8080)