LLaMA-Factory

news2024/9/20 18:34:10

在这里插入图片描述

文章目录

    • 一、关于 LLaMA-Factory
      • 项目特色
      • 性能指标
    • 二、如何使用
      • 1、安装 LLaMA Factory
      • 2、数据准备
      • 3、快速开始
      • 4、LLaMA Board 可视化微调
      • 5、构建 Docker
        • CUDA 用户：
        • 昇腾 NPU 用户：
        • 不使用 Docker Compose 构建
          • CUDA 用户：
          • 昇腾 NPU 用户：
        • 数据卷详情
      • 6、利用 vLLM 部署 OpenAI API
      • 7、从魔搭社区下载
      • 8、使用 W&B 面板
    • 三、支持
      • 1、模型
      • 2、训练方法
      • 3、数据集
        • 预训练数据集
        • 指令微调数据集
        • 偏好数据集
      • 4、软硬件依赖
        • 硬件依赖

一、关于 LLaMA-Factory

A WebUI for Efficient Fine-Tuning of 100+ LLMs

  • github : https://github.com/hiyouga/LLaMA-Factory

Demo 视频

其他打开方式

  • Colab：https://colab.research.google.com/drive/1d5KQtbemerlSDSxZIfAaWXhKr30QypiK?usp=sharing
  • PAI-DSW: https://gallery.pai-ml.com/#/preview/deepLearning/nlp/llama_factory
  • 本地机器：请见如何使用

项目特色

  • 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
  • 集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
  • 多种精度：16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
  • 先进算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA 和 Agent 微调。
  • 实用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
  • 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
  • 极速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。

性能指标

与 ChatGLM 官方的 P-Tuning 微调相比，LLaMA Factory 的 LoRA 微调提供了 3.7 倍的加速比，同时在广告文案生成任务上取得了更高的 Rouge 分数。结合 4 比特量化技术，LLaMA Factory 的 QLoRA 微调进一步降低了 GPU 显存消耗。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

二、如何使用

1、安装 LLaMA Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

可选的额外依赖项：torch、torch-npu、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、quality

Tip ： 遇到包冲突时，可使用 pip install --no-deps -e . 解决。

Windows 和 昇腾 NPU 用户指南 详见：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md

2、数据准备

关于数据集文件的格式，请参考 data/README_zh.md 的内容。你可以使用 HuggingFace / ModelScope 上的数据集或加载本地数据集。

Note：使用自定义数据集时，请更新 data/dataset_info.json 文件。

3、快速开始

下面三行命令分别对 Llama3-8B-Instruct 模型进行 LoRA 微调、推理和合并。

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml
llamafactory-cli chat examples/inference/llama3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml

高级用法请参考 examples/README_zh.md（包括多 GPU 微调）。

Tip: 使用 llamafactory-cli help 显示帮助信息。

4、LLaMA Board 可视化微调

由 Gradio 驱动

llamafactory-cli webui

5、构建 Docker

CUDA 用户：
cd docker/docker-cuda/
docker-compose up -d
docker-compose exec llamafactory bash
昇腾 NPU 用户：
cd docker/docker-npu/
docker-compose up -d
docker-compose exec llamafactory bash
不使用 Docker Compose 构建
CUDA 用户：
docker build -f ./docker/docker-cuda/Dockerfile \
    --build-arg INSTALL_BNB=false \
    --build-arg INSTALL_VLLM=false \
    --build-arg INSTALL_DEEPSPEED=false \
    --build-arg INSTALL_FLASHATTN=false \
    --build-arg PIP_INDEX=https://pypi.org/simple \
    -t llamafactory:latest .

docker run -dit --gpus=all \
    -v ./hf_cache:/root/.cache/huggingface \
    -v ./ms_cache:/root/.cache/modelscope \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -p 7860:7860 \
    -p 8000:8000 \
    --shm-size 16G \
    --name llamafactory \
    llamafactory:latest

docker exec -it llamafactory bash
昇腾 NPU 用户：
# 根据您的环境选择镜像
docker build -f ./docker/docker-npu/Dockerfile \
    --build-arg INSTALL_DEEPSPEED=false \
    --build-arg PIP_INDEX=https://pypi.org/simple \
    -t llamafactory:latest .

# 根据您的资源更改 `device`
docker run -dit \
    -v ./hf_cache:/root/.cache/huggingface \
    -v ./ms_cache:/root/.cache/modelscope \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -p 7860:7860 \
    -p 8000:8000 \
    --device /dev/davinci0 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    --shm-size 16G \
    --name llamafactory \
    llamafactory:latest

docker exec -it llamafactory bash
数据卷详情
  • hf_cache：使用宿主机的 Hugging Face 缓存文件夹，允许更改为新的目录。
  • data：宿主机中存放数据集的文件夹路径。
  • output：将导出目录设置为该路径后，即可在宿主机中访问导出后的模型。

6、利用 vLLM 部署 OpenAI API

API_PORT=8000 llamafactory-cli api examples/inference/llama3_vllm.yaml

Tip ： API 文档请查阅 https://platform.openai.com/docs/api-reference/chat/create。

7、从魔搭社区下载

如果您在 Hugging Face 模型和数据集的下载中遇到了问题，可以通过下述方法使用魔搭社区。

export USE_MODELSCOPE_HUB=1 # Windows 使用 `set USE_MODELSCOPE_HUB=1`

将 model_name_or_path 设置为模型 ID 来加载对应的模型。在魔搭社区查看所有可用的模型，例如 LLM-Research/Meta-Llama-3-8B-Instruct。

8、使用 W&B 面板

若要使用 Weights & Biases 记录实验数据，请在 yaml 文件中添加下面的参数。

report_to: wandb
run_name: test_run # 可选

在启动训练任务时，将 WANDB_API_KEY 设置为密钥来登录 W&B 账户。

三、支持

1、模型

模型名模型大小Template
Baichuan 27B/13Bbaichuan2
BLOOM/BLOOMZ560M/1.1B/1.7B/3B/7.1B/176B-
ChatGLM36Bchatglm3
Command R35B/104Bcohere
DeepSeek (Code/MoE)7B/16B/67B/236Bdeepseek
Falcon7B/11B/40B/180Bfalcon
Gemma/Gemma 2/CodeGemma2B/7B/9B/27Bgemma
GLM-49Bglm4
InternLM27B/20Bintern2
Llama7B/13B/33B/65B-
Llama 27B/13B/70Bllama2
Llama 38B/70Bllama3
LLaVA-1.57B/13Bvicuna
Mistral/Mixtral7B/8x7B/8x22Bmistral
OLMo1B/7B-
PaliGemma3Bgemma
Phi-1.5/Phi-21.3B/2.7B-
Phi-34B/7B/14Bphi
Qwen/Qwen1.5/Qwen2 (Code/MoE)0.5B/1.5B/4B/7B/14B/32B/72B/110Bqwen
StarCoder 23B/7B/15B-
XVERSE7B/13B/65Bxverse
Yi/Yi-1.56B/9B/34Byi
Yi-VL6B/34Byi_vl
Yuan 22B/51B/102Byuan

Note : 对于所有“基座”（Base）模型，template 参数可以是 default, alpaca, vicuna 等任意值。但“对话”（Instruct/Chat）模型请务必使用对应的模板。

请务必在训练和推理时采用完全一致的模板。

项目所支持模型的完整列表请参阅 constants.py。

您也可以在 template.py 中添加自己的对话模板。

2、训练方法

方法全参数训练部分参数训练LoRAQLoRA
预训练✅✅✅✅
指令监督微调✅✅✅✅
奖励模型训练✅✅✅✅
PPO 训练✅✅✅✅
DPO 训练✅✅✅✅
KTO 训练✅✅✅✅
ORPO 训练✅✅✅✅
SimPO 训练✅✅✅✅

3、数据集

预训练数据集
  • Wiki Demo (en)
  • RefinedWeb (en)
  • RedPajama V2 (en)
  • Wikipedia (en)
  • Wikipedia (zh)
  • Pile (en)
  • SkyPile (zh)
  • FineWeb (en)
  • FineWeb-Edu (en)
  • The Stack (en)
  • StarCoder (en)
指令微调数据集
  • Identity (en&zh)
  • Stanford Alpaca (en)
  • Stanford Alpaca (zh)
  • Alpaca GPT4 (en&zh)
  • Glaive Function Calling V2 (en&zh)
  • LIMA (en)
  • Guanaco Dataset (multilingual)
  • BELLE 2M (zh)
  • BELLE 1M (zh)
  • BELLE 0.5M (zh)
  • BELLE Dialogue 0.4M (zh)
  • BELLE School Math 0.25M (zh)
  • BELLE Multiturn Chat 0.8M (zh)
  • UltraChat (en)
  • OpenPlatypus (en)
  • CodeAlpaca 20k (en)
  • Alpaca CoT (multilingual)
  • OpenOrca (en)
  • SlimOrca (en)
  • MathInstruct (en)
  • Firefly 1.1M (zh)
  • Wiki QA (en)
  • Web QA (zh)
  • WebNovel (zh)
  • Nectar (en)
  • deepctrl (en&zh)
  • Advertise Generating (zh)
  • ShareGPT Hyperfiltered (en)
  • ShareGPT4 (en&zh)
  • UltraChat 200k (en)
  • AgentInstruct (en)
  • LMSYS Chat 1M (en)
  • Evol Instruct V2 (en)
  • Cosmopedia (en)
  • STEM (zh)
  • Ruozhiba (zh)
  • Neo-sft (zh)
  • WebInstructSub (en)
  • Magpie-Pro-300K-Filtered (en)
  • LLaVA mixed (en&zh)
  • Open Assistant (de)
  • Dolly 15k (de)
  • Alpaca GPT4 (de)
  • OpenSchnabeltier (de)
  • Evol Instruct (de)
  • Dolphin (de)
  • Booksum (de)
  • Airoboros (de)
  • Ultrachat (de)
偏好数据集
  • DPO mixed (en&zh)
  • UltraFeedback (en)
  • Orca DPO Pairs (en)
  • HH-RLHF (en)
  • Nectar (en)
  • Orca DPO (de)
  • KTO mixed (en)

部分数据集的使用需要确认，我们推荐使用下述命令登录您的 Hugging Face 账户。

pip install --upgrade huggingface_hub
huggingface-cli login

4、软硬件依赖

必需项至少推荐
python3.83.11
torch1.13.12.3.0
transformers4.41.24.41.2
datasets2.16.02.19.2
accelerate0.30.10.30.1
peft0.11.10.11.1
trl0.8.60.9.4
可选项至少推荐
CUDA11.612.2
deepspeed0.10.00.14.0
bitsandbytes0.39.00.43.1
vllm0.4.30.4.3
flash-attn2.3.02.5.9
硬件依赖

* 估算值

方法精度7B13B30B70B110B8x7B8x22B
FullAMP120GB240GB600GB1200GB2000GB900GB2400GB
Full1660GB120GB300GB600GB900GB400GB1200GB
Freeze1620GB40GB80GB200GB360GB160GB400GB
LoRA/GaLore/BAdam1616GB32GB64GB160GB240GB120GB320GB
QLoRA810GB20GB40GB80GB140GB60GB160GB
QLoRA46GB12GB24GB48GB72GB30GB96GB
QLoRA24GB8GB16GB24GB48GB18GB48GB

2024-07-17（三）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1933521.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

变阻器与电位器有什么区别？

变阻器与电位器有什么区别？

变阻器和电位器都是可以改变电阻值的电子元件，它们在电路中的作用和调节方式有一定的相似性，但它们之间还是存在一些区别的。 1. 结构上的区别：变阻器主要由固定电阻体和可动滑片组成，通过滑动滑片来改变电阻体的电阻值。而电位器…
阅读更多...
数据库（创建数据库和表）

数据库（创建数据库和表）

目录 一：创建数据库 二：创建表 2.1：创建employees表 2.2：创建orders表 2.3：创建invoices表 一：创建数据库 mysql> create database mydb6_product; Query OK, 1 row affected (0.01 sec) mysql&g…
阅读更多...
linux centos limits.conf 修改错误，无法登陆问题修复 centos7.9

linux centos limits.conf 修改错误，无法登陆问题修复 centos7.9

一、问题描述 由于修改/etc/security/limits.conf这个文件中的值不当，重启后会导致其账户无法远程登录，本机登录。 如改成这样《错误示范》： 会出现： 二、解决 现在知道是由于修改limits.conf文件不当造成的，那么就…
阅读更多...
智慧农业新纪元：解锁新质生产力，加速产业数字化转型

智慧农业新纪元：解锁新质生产力，加速产业数字化转型

粮食安全乃国家之根本，“浙江作为农业强省、粮食生产重要省份，在维护国家粮食安全大局中肩负着重大使命。浙江粮食产业经济年总产值已突破4800亿元，稳居全国前列，然而，同样面临着规模大而不强、质量效益有待提升、数字…
阅读更多...
JVM高频面试点

JVM高频面试点

文章目录 JVM内存模型程序计数器Java虚拟机栈本地方法栈Java堆方法区运行时常量池 Java对象对象的创建如何为对象分配内存 对象的内存布局对象头实例数据对齐填充 对象的访问定位 垃圾收集器找到垃圾引用计数法可达性分析（根搜索法） 引用概念的扩充回收方…
阅读更多...
字符数组的魅力：C语言字符数组与字符串编程实践

字符数组的魅力：C语言字符数组与字符串编程实践

1.概念 字符数组，数组元素是char(字符型)的数组，它可以是一维数组，也可以是二维数组。 2.定义的时候赋值 char ch1[]{c,h,i,n,a}; char ch2[]{"china"}; //相当于 char ch2[] "china"; 元素个数为6，默认会…
阅读更多...
探索Linux世界 —— shell与权限的相关知识

探索Linux世界 —— shell与权限的相关知识

一、shell以及其运行原理 1、什么是shell Linux严格意义上说的是一个操作系统，我们称之为“核心（kernel）“ ，但我们一般用户，不能直接使用kernel。而是通过kernel的“外壳”程序，也就是所谓的shell&#x…
阅读更多...
6个高效再利用的UI作品集设计模板

6个高效再利用的UI作品集设计模板

UI 作品集是指用户界面设计师的个人作品集。它展示了设计师的设计能力、技巧和风格，也是充分展示他们设计能力的证明。优秀的UI 作品集应具有简洁明了、美观大方、良好的互动体验和明确的目标。本文将从两个方面的介绍 Ui 作品集模板的全部内容：UI 作品集…
阅读更多...
Linux - 基础开发工具（yum、vim、gcc、g++、make/Makefile、git、gdb）

Linux - 基础开发工具（yum、vim、gcc、g++、make/Makefile、git、gdb）

目录 Linux软件包管理器 - yum Linux下安装软件的方式 认识yum 查找软件包 安装软件 如何实现本地机器和云服务器之间的文件互传 卸载软件 Linux编辑器 - vim vim的基本概念 vim下各模式的切换 vim命令模式各命令汇总 vim底行模式各命令汇总 vim的简单配置 Linux编译器 - gc…
阅读更多...
近距离无线通信技术简介

近距离无线通信技术简介

个人早几年整理的材料，学识有限，喜欢指正。
阅读更多...
Java.Net.UnknownHostException：揭开网络迷雾，解锁异常处理秘籍

Java.Net.UnknownHostException：揭开网络迷雾，解锁异常处理秘籍

在Java编程的浩瀚宇宙中，java.net.UnknownHostException犹如一朵不时飘过的乌云，让开发者在追求网络畅通无阻的道路上遭遇小挫。但别担心，今天我们就来一场说走就走的探险，揭秘这个异常的真面目，并手把手教你几招应对之…
阅读更多...
【React】React18 Hooks 之memo、useCallback

【React】React18 Hooks 之memo、useCallback

目录 React.memo()案例1: 无依赖项，无props案例1: props比较机机制（1）传递基本类型，props变化时组件重新渲染（2）传递的是引用类型的prop，比较的是新值和旧值的引用（3）保证…
阅读更多...
pyinstall 打包基于PyQt5和PaddleOCR的项目为.exe

pyinstall 打包基于PyQt5和PaddleOCR的项目为.exe

简介： 最近做了一个小项目，是基于PyQt5和PaddleOCR的。需要将其打包为.exe，然后打包过程中遇到了很多问题，也看了很多教程，方法千奇百怪的，最后也是一步一步给试出来了。记录一下，防止以后忘记…
阅读更多...
【2024年“数据要素×”大赛宁夏分赛】赛程制度

【2024年“数据要素×”大赛宁夏分赛】赛程制度

“数据要素”大赛宁夏分赛怎么报名？看这里 官方网站：https://nxsjysds.sznxgs.com/ 赛程制度 （一）启动报名（7月16日-8月10日）举办启动仪式，组织线上和线下推广工作，动员参赛队伍报…
阅读更多...
vue3 vxe-grid修改currentPage，查询数据的时候，从第一页开始查询

vue3 vxe-grid修改currentPage，查询数据的时候，从第一页开始查询

1、当我们设置好VxeGrid.Options进行数据查询的时候,下面是可能的设置&#xff1a; const gridOptions reactive<BasicTableProps>({id: UserTable,showHeaderOverflow: false,showOverflow: true,keepSource: true,columns: userColumns,size: small,pagerConfig: {cur…
阅读更多...
Python求均值，方差，标准差

Python求均值，方差，标准差

参考链接&#xff1a;变异系数&#xff08;Coefficient of Variation,COV&#xff09;和协方差&#xff08;Covariance, Cov&#xff09;-CSDN博客 参考链接&#xff1a;pandas中std和numpy的np.std区别_numpy pandas std-CSDN博客 在计算蛋白质谱数据中的每个蛋白对应的变异…
阅读更多...
【Java面向对象】多态

【Java面向对象】多态

文章目录 1.动态绑定2.对象转换和 instanceof 操作符稍作总结3.Object 类的 equals 方法4.ArrayList 类5.继承体系中的权限问题6.final 1.动态绑定 多态意味着父类型的变量可以引用子类型的对象。 方法可以在沿着继承链的多个类中实现。JVM 决定运行时调用哪个方法。 一个变量…
阅读更多...
新手小白攻略：如何用AI工具搭建个人知识库

新手小白攻略：如何用AI工具搭建个人知识库

个人知识库是指个人通过积累和整理&#xff0c;将各种领域的知识、经验和技能进行分类、归纳和存储的系统化工具或平台。 随着信息技术的飞速发展和知识经济的兴起&#xff0c;个人知识库不仅成为个人学习、成长和创新的基石&#xff0c;也是适应快速变化社会、提升竞争力的关…
阅读更多...
python--实验 11 模块

python--实验 11 模块

目录 知识点 模块基础 模块使用方式 自定义模块示例 模块的有条件执行 Python包结构 定义和导入包 常用第三方库及安装 实例代码 第三方库自动安装脚本 Python标准库介绍 PyInstaller 小结 实验 1.(基础题)制作文本进度条。 2.(基础题) 蒙特卡罗方法计算圆周率…
阅读更多...
nginx全局块的user指令

nginx全局块的user指令

文章目录 1、user指令1.1、进入nginx解压的目录1.2、./configure --help1.3、工作进程默认是nobody 2、user指令的使用步骤:2.1、设置一个用户信息"www"2.2、 创建一个用户2.3、./nginx -s reload2.4、创建/root/html/index.html页面&#xff0c;添加如下内容2.5、修…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023