本机配置
- 品牌：联想拯救者Y9000x-2022
- CPU：12th Gen Intel® Core™ i7-12700H 2.30 GHz
- RAM：24.0 GB (23.8 GB 可用)
- GPU： NVIDIA GeForce RTX 3060 Laptop GPU 6G
- CUDA版本：12.3 (可以在PowerShell下输入
nvidia-smi命令查看自己的CUDA版本)
LLama-Factory
介绍
-
LLaMA Factory 是一个旨在简化大型语言模型训练和微调流程的平台。它支持多种预训练模型，如LLaMA、LLaVA、Mistral等，以及多种训练算法，包括增量预训练、多模态指令监督微调、奖励模型训练等。此外，LLaMA Factory 还支持不同的运算精度和优化算法，以及分布式训练，使得在单机多卡或多机多卡环境下进行训练成为可能。
-
LLaMA Factory 提供了丰富的特性，包括但不限于：
- 模型种类：支持多种大型语言模型。
- 训练算法：支持多种微调技术。
- 运算精度：支持不同精度的微调，包括全参数微调和LoRA微调。
- 优化算法：提供了多种优化算法，如GaLore、BAdam等。
- 加速算子：支持FlashAttention和Unsloth等加速算子。
- 推理引擎：支持Transformers和vLLM。
- 实验面板：支持LlamaBoard、TensorBoard等多种实验面板。
-
LLaMA Factory 还提供了基于gradio的网页版工作台，使得初学者可以快速上手操作，开发出自己的第一个模型。此外，它还支持华为NPU适配，允许在NPU上进行模型训练和推理。
-
对于分布式训练，LLaMA Factory 支持DDP、DeepSpeed和FSDP三种分布式引擎，可以根据任务需求与设备选择使用。DDP通过实现模型并行和数据并行来加速训练，而DeepSpeed和FSDP则提供了更高级的优化技术。
-
LLaMA Factory 还提供了评估工具，可以在模型训练完成后评估模型效果，自动计算BLEU和ROUGE分数，并保存评估结果。
安装步骤
- git下载：
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git - 本机新建虚拟环境，并激活进入deeplearning虚拟环境中。
conda create -n deeplearning python=3.11 -y
conda activate deeplearning
3. cd 到项目中根据项目README.md，安装项目依赖的库：pip install -e ".[torch,metrics]"；等待安装结束；
4. 根据README.md说明，在Windows环境下，还需要安装预编译的 bitsandbytes 库，支持 CUDA 11.1 到 12.2, 请根据自己的 CUDA 版本情况选择适合的发布版本。
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
- 到此，基本根据README.md中说明，已经安装好必备的库，启动项目时候需要啥再进一步安装，具体可以参考README.md中来搭建本地大模型开发训练环境。
启动项目
- LLaMA Board 可视化微调（由 Gradio 驱动）：
llamafactory-cli webui，（也可以执行命令：python src/webui.py）顺利的话会在浏览器弹出如下界面，表示启动成功。
3. 注意一下，需要把梯子卸了，要不执行启动项目命令，无法访问，可能在有梯子的条件下需要配置一些东西，没仔细研究。
界面说明
-
设置语言，可以选择中文
-
选择模型名称，主流的开源的模型都有。
-
模型地址：
-
微调配置：
