【项目实战】基于 LLaMA-Factory 通过 LoRA 微调 Qwen2

news2024/11/18 9:29:37

【项目实战】基于 LLaMAFactory 通过 LoRA 微调 Qwen2

一、项目介绍
二、环境准备
- 1、环境准备
- 2、安装LLaMa-Factory
- 3、准备模型数据集
- - 3.1 模型准备
  - 3.2 数据集准备
三、微调
- 1、启动webui
- 2、选择参数
- 3、训练
四、测试
五、总结

一、项目介绍

在这里插入图片描述

LLaMA-Factory是一个由北京航空航天大学的郑耀威开发的开源框架，作为一个功能强大且高效的大模型微调框架，通过其用户友好的界面和丰富的功能特性,为开发者提供了极大的便利。
项目官网：https://www.llamafactory.cn/
Github：https://github.com/hiyouga/LLaMA-Factory

二、环境准备

1、环境准备

Python 3.10.9
NVIDIA GeForce GTX 1650
CUDA和cuDNN

2、安装LLaMa-Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

进入项目目录，安装必要的Python依赖库。可以使用以下命令：

cd LLaMA-Factory
pip install -e ".[torch,metrics]"

#截止2024.11.16，github拉取的最新版本的requirements.txt
transformers>=4.41.2,<=4.46.1
datasets>=2.16.0,<=3.1.0
accelerate>=0.34.0,<=1.0.1
peft>=0.11.1,<=0.12.0
trl>=0.8.6,<=0.9.6
gradio>=4.0.0,<5.0.0
pandas>=2.0.0
scipy
einops
sentencepiece
tiktoken
protobuf
uvicorn
pydantic
fastapi
sse-starlette
matplotlib>=3.7.0
fire
packaging
pyyaml
numpy<2.0.0
av

3、准备模型数据集

3.1 模型准备

这里我们使用 Qwen2-0.5B 模型进行微调，首先下载模型，这里如果无法从Hugging Face上拉取的话，可以从国内模型库魔塔社区拉去，没有速度限制。

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2-0.5B',cache_dir="model/Qwen")

3.2 数据集准备

LLaMA-Factory 内置了一些数据集，本次就使用内置的 identity 数据集，用于修改模型的自我意识，数据集格式：

#文件地址 LLaMA-Factory-main\data\identity.json
{
    "instruction": "Who are you?",
    "input": "",
    "output": "I am {{name}} an AI assistant developed by {{author}}. How can I assist you today?"
  },
  {
    "instruction": "What is your name?",
    "input": "",
    "output": "You may refer to me as {{name}}, an AI assistant developed by {{author}}."
  },
  {
    "instruction": "Do you have a name?",
    "input": "",
    "output": "As an AI assistant developed by {{author}}, I got the name {{name}}."
  },

对于这个数据集进行大量训练后，会修改模型的自我意识，比如修改前：我的名字是通义千问；修改后：我的名字是{{name}}。

三、微调

1、启动webui

启动webui：llamafactory-cli webui，出现如下提示和页面表示启动成功：

(torch3) D:\AIProject\LLaMA-Factory-main>llamafactory-cli webui
Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.