LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练

news2024/9/24 5:31:44

LLaMA-Factory

基础篇

LLaMA-Factory简介

在这里插入图片描述

LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mistral等，旨在帮助用户快速适应和调整这些模型以适应特定的应用场景。LLaMA-Factory通过提供一套完整的工具和接口，使用户能够轻松地对预训练的模型进行定制化的训练和调整，包括（增量）预训练、指令监督微调、奖励模型训练、PPO训练、DPO训练和ORPO训练
等多种训练方法。此外，它还支持多种精度调整，如32比特全参数微调、16比特冻结微调、16比特LoRA微调和基于AQLM/AWQ/GPTQ/LLM.int8的2/4/8比特QLoRA微调，以及一系列先进算法和实用技巧，如GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ和Agent微调等。

LLaMA-Factory的特色在于它提供了一个内置的Web UI，使用户能够灵活定制100多个LLMs的微调，几乎不需要编写代码。这个框架不仅简化了大模型微调的过程，使得即使是技术门外汉也能通过学习LLaMA-Factory后，快速训练出自己需要的模型，同时也为想要了解微调大模型技术的技术人员提供了一个快速理解模型微调相关概念的平台。通过LLaMA-Factory，企业可以更好地利用大模型技术，实现真正的大模型应用。此外，LLaMA-Factory还支持通过命令行或Web界面进行操作，进一步降低了使用门槛。

整体架构：

在这里插入图片描述

调优框架：

在这里插入图片描述

项目特点：

  • 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
  • 集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
  • 多种精度：16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
  • 先进算法：GaLore、BAdam、Adam-mini、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA 和 Agent 微调。
  • 实用技巧：FlashAttention-2、Unsloth、Liger Kernel、RoPE scaling、NEFTune 和 rsLoRA。
  • 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
  • 极速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。

支持模型:

模型名模型大小Template
Baichuan 27B/13Bbaichuan2
BLOOM/BLOOMZ560M/1.1B/1.7B/3B/7.1B/176B-
ChatGLM36Bchatglm3
Command R35B/104Bcohere
DeepSeek (Code/MoE)7B/16B/67B/236Bdeepseek
Falcon7B/11B/40B/180Bfalcon
Gemma/Gemma 2/CodeGemma2B/7B/9B/27Bgemma
GLM-49Bglm4
InternLM2/InternLM2.57B/20Bintern2
Llama7B/13B/33B/65B-
Llama 27B/13B/70Bllama2
Llama 3/Llama 3.18B/70Bllama3
LLaVA-1.57B/13Bllava
MiniCPM1B/2Bcpm
Mistral/Mixtral7B/8x7B/8x22Bmistral
OLMo1B/7B-
PaliGemma3Bpaligemma
Phi-1.5/Phi-21.3B/2.7B-
Phi-34B/7B/14Bphi
Qwen/Qwen1.5/Qwen2 (Code/Math/MoE)0.5B/1.5B/4B/7B/14B/32B/72B/110Bqwen
Qwen2-VL2B/7Bqwen2_vl
StarCoder 23B/7B/15B-
XVERSE7B/13B/65Bxverse
Yi/Yi-1.56B/9B/34Byi
Yi-VL6B/34Byi_vl
Yuan 22B/51B/102Byuan

提供的训练方法：

方法全参数训练部分参数训练LoRAQLoRA
预训练✅✅✅✅
指令监督微调✅✅✅✅
奖励模型训练✅✅✅✅
PPO 训练✅✅✅✅
DPO 训练✅✅✅✅
KTO 训练✅✅✅✅
ORPO 训练✅✅✅✅
SimPO 训练✅✅✅✅

支持的数据集：

  1. 预训练数据集：
    • Wiki Demo (en)
    • RefinedWeb (en)
    • RedPajama V2 (en)
    • Wikipedia (en)
    • Wikipedia (zh)
    • Pile (en)
    • SkyPile (zh)
    • FineWeb (en)
    • FineWeb-Edu (en)
    • The Stack (en)
    • StarCoder (en)
  2. 指令微调数据集
    • Identity (en&zh)
    • Stanford Alpaca (en)
    • Stanford Alpaca (zh)
    • Alpaca GPT4 (en&zh)
    • Glaive Function Calling V2 (en&zh)
    • LIMA (en)
    • Guanaco Dataset (multilingual)
    • BELLE 2M (zh)
    • BELLE 1M (zh)
    • BELLE 0.5M (zh)
    • BELLE Dialogue 0.4M (zh)
    • BELLE School Math 0.25M (zh)
    • BELLE Multiturn Chat 0.8M (zh)
    • UltraChat (en)
    • OpenPlatypus (en)
    • CodeAlpaca 20k (en)
    • Alpaca CoT (multilingual)
    • OpenOrca (en)
    • SlimOrca (en)
    • MathInstruct (en)
    • Firefly 1.1M (zh)
    • Wiki QA (en)
    • Web QA (zh)
    • WebNovel (zh)
    • Nectar (en)
    • deepctrl (en&zh)
    • Advertise Generating (zh)
    • ShareGPT Hyperfiltered (en)
    • ShareGPT4 (en&zh)
    • UltraChat 200k (en)
    • AgentInstruct (en)
    • LMSYS Chat 1M (en)
    • Evol Instruct V2 (en)
    • Cosmopedia (en)
    • STEM (zh)
    • Ruozhiba (zh)
    • Neo-sft (zh)
    • WebInstructSub (en)
    • Magpie-Pro-300K-Filtered (en)
    • Magpie-ultra-v0.1 (en)
    • LLaVA mixed (en&zh)
    • Pokemon-gpt4o-captions
    • Open Assistant (de)
    • Dolly 15k (de)
    • Alpaca GPT4 (de)
    • OpenSchnabeltier (de)
    • Evol Instruct (de)
    • Dolphin (de)
    • Booksum (de)
    • Airoboros (de)
    • Ultrachat (de)
  3. 偏好数据集
    • DPO mixed (en&zh)
    • UltraFeedback (en)
    • RLHF-V (en)
    • Orca DPO Pairs (en)
    • HH-RLHF (en)
    • Nectar (en)
    • Orca DPO (de)
    • KTO mixed (en)

实战篇

昇腾NPU环境测试

前置条件：已安装NPU卡驱动/CANN Toolkit/CANN kernels，并设置好环境变量

1.安装LLaMA-Factory
##克隆LLaMA-Factory代码仓：
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
##NPU环境安装
cd LLaMA-Factory
pip install -e ".[torch-npu,metrics]"
2.验证LLaMA-Factory可用性：
llamafactory-cli help

在这里插入图片描述

根据报错提示，镜像中默认安装了vllm，执行llamafactory-cli会默认调用vllm这个库，昇腾NPU不支持vllm库，卸载vllm解决

pip uninstall vllm

在这里插入图片描述

3.使用LLaMA-Factory仓进行qwen2-vl-7b微调训练
3.1.下载模型权重
yum install git-lfs
git clone https://www.modelscope.cn/qwen/qwen2-vl-7b-instruct.git
3.2使用LLaMA-Factory 提供的数据集进行测试

在这里插入图片描述

3.3修改启动脚本：
vim examples/train_lora/qwen2vl_lora_dpo.yaml

在这里插入图片描述

3.4指定运算设备
export ASCEND_RT_VISIBLE_DEVICES=0,1  ###指定两张NPU卡进行训练
3.5启动训练任务
llamafactory-cli train examples/train_lora/qwen2vl_lora_dpo.yaml

报keyerror“qwen2_vl”错误

在这里插入图片描述

根据提示报错原因为pip源中transformers版本问题不适配，需要从github上拉取安装最新的transformers

3.6安装最新版本transformers
pip install git+https://github.com/huggingface/transformers accelerate
#一次可能失败，拉取不下来，多尝试几次；
#上述方法不行，就使用以下方式安装：
git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e

重新拉起训练任务解决

在这里插入图片描述

loss收敛：

在这里插入图片描述

GPU环境测试

前置条件：已安装GPU卡驱动/CUDA/cudnn等基础环境，并设置好环境变量

1.安装LLaMA-Factory
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
2.验证LLaMA-Factory可用性：
llamafactory-cli help

在这里插入图片描述

3.使用LLaMA-Factory仓进行qwen2-vl-7b微调训练
3.1.下载模型权重
yum install git-lfs
git clone https://www.modelscope.cn/qwen/qwen2-vl-7b-instruct.git
3.2使用LLaMA-Factory 提供的数据集进行测试

在这里插入图片描述

3.3修改启动脚本：
vim examples/train_lora/qwen2vl_lora_dpo.yaml

在这里插入图片描述

3.4安装最新版本transformers
pip install git+https://github.com/huggingface/transformers accelerate
#一次可能失败，拉取不下来，多尝试几次；
#上述方法不行，就使用以下方式安装：
git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e
3.5启动训练任务
llamafactory-cli train examples/train_lora/qwen2vl_lora_dpo.yaml

报端口错误

在这里插入图片描述

指定端口号解决：

export MASTER_PORT=45123

在这里插入图片描述

loss曲线收敛：
在这里插入图片描述

日常学习总结

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2110654.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

数据脱敏处理

数据脱敏处理

有关于数据脱敏处理，小编也是在文章上面看到的，感觉很有意思，那么，便深入研究了一下，首先我们先来看一下数据脱敏之后的结果吧？ 用结果说话更能深入人心！！ 下面是数据库中的字段&a…
阅读更多...
fantastic-admin前端+django后端，初始化全流程记录

fantastic-admin前端+django后端，初始化全流程记录

fantastic-admin前端是我目前看到最完善的前端框架，只需要简单的设置就可以快速开始项目。 但是我本人的能力有限，对前端知识一知半解，之前废了九牛二虎之力才跑通了前后端流程，由于新的项目需要，有了开发新后台的想法…
阅读更多...
了解PD快充协议和QC快充协议

了解PD快充协议和QC快充协议

PD快充协议的实现依赖充电器与设备之间的通信协议，这种通信协议确保了充电器能够提供设备所需要的特定电压和电流。在快充技术中快充协议起到关键角色。 现在市面上最常见的快充协议有PD、QC、华为FCP/SCP、三星AFC协议 、VOOC闪充。PD和QC 协议属于公用协议 。华…
阅读更多...
C/C++经典排序问题，sort函数使用

C/C++经典排序问题，sort函数使用

目录 1. 前言 2. 正文 2.1 问题 2.2 解决办法 2.2.1 思路 2.2.2 代码实现 2.2.3 测试结果 3. 备注 1. 前言 大家在学习C语言的时候，是不是经常被排序算法折磨的很难那首，其实都是但是在C中有专门的，排序函数，而且支持自定…
阅读更多...
vue系统获取授权平台授权码实现单点登录、注销功能

vue系统获取授权平台授权码实现单点登录、注销功能

公司平台需要对接别的平台 实现单点登录 注销。简而言之，不需要在自己公司系统登录 统一在别的平台登录后获取到登录凭证（授权码） 在本公司系统实现免密登录的功能。 流程： 跳转授权页面和保存授权码的代码： hrefLog…
阅读更多...
模型融合创新性好强！最新成果直接登顶SOTA，分分钟拿下顶会

模型融合创新性好强！最新成果直接登顶SOTA，分分钟拿下顶会

Transformer作者创业新成果火了！他们提出了一个70亿参数的日语数学大模型，直接打败700亿参数的Llama-2取得SOTA！更牛的是，得出这样的模型无需任何梯度训练，所需计算资源大大减少。 这种炸裂的成果得益于模型融合&…
阅读更多...
C++模板(初识)

C++模板(初识)

一、泛型编程 我们平时写交换函数的时候，会这样写： //交换两个int类型变量 void Swap(int& left, int& right) {int temp left;left right;right temp; } //交换两个double类型变量 void Swap(double& left, double& right) {doubl…
阅读更多...
随着人们网络安全意识提高，软件架构设计与评估也成为重中之重

随着人们网络安全意识提高，软件架构设计与评估也成为重中之重

目录 案例 【题目】 【问题 1】(13 分) 【问题 2】(12分) 【答案】 【问题 1】答案 【问题 2】答案 相关推荐 案例 阅读以下关于软件架构设计与评估的叙述，回答问题 1 和问题 2。 【题目】 某电子商务公司为正更好地管理用户，提升企业销售业绩&…
阅读更多...
Linux中Ubuntu系统安装Windows得字体

Linux中Ubuntu系统安装Windows得字体

背景 安装了geoserver 然后geoserver中需要用到微软雅黑字体 所以需要安装一下Linux系统安装Windows中的字体 创建字体目录 cd /usr/share/fonts/ mkdir winfont在Windows找到对应字体 C:\Windows\Fonts 复制该字体到桌面 Linux系统中上传字体 roottest-server03:/usr/sha…
阅读更多...
一键解决物流追踪难题：批量查询工具助力电商运营

一键解决物流追踪难题：批量查询工具助力电商运营

探索固乔科技，解锁高效物流查询新纪元！固乔快递批量查询助手，一款专为电商、物流从业者及自媒体人打造的神器，让繁琐的物流追踪变得轻松快捷。 想象一下，万级单号批量导入，仅需5分钟，所有物流动…
阅读更多...
如何利用mHand Pro动捕数据手套连接虚拟与现实？

如何利用mHand Pro动捕数据手套连接虚拟与现实？

数据手套作为虚拟现实中的一种交互动捕设备，能够模拟真人手部的动作和感知反馈，实现人机交互的效果。随着虚拟现实技术的不断发展，数据手套也在不断地改进和升级。 mHand Pro是一款由拥有多年经验的惯性动作捕捉技术团队广州虚拟动力研发的数…
阅读更多...
第142天： 内网安全-权限维持黄金白银票据隐藏账户C2 远控RustDeskGotoHTTP

第142天： 内网安全-权限维持黄金白银票据隐藏账户C2 远控RustDeskGotoHTTP

案例一： 内网域&单机版-权限维持-基于用户-隐藏用户 项目下载地址： GitHub - wgpsec/CreateHiddenAccount: A tool for creating hidden accounts using the registry || 一个使用注册表创建隐藏帐户的工具 用这个工具的话在域中会把它加入adminis…
阅读更多...
会声会影哪个版本最好用?

会声会影哪个版本最好用?

会声会影哪个版本最好用? 会声会影2023这个版本是最受欢迎的，它为多数用户提供了稳定且强大的功能。以下是关于为什么这个版本最好用的 一、功能丰富 会声会影X系列版本拥有从视频剪辑、音频编辑到特效添加等全方位的功能。用户可以轻松完成视频的录制、剪辑、转…
阅读更多...
SAP ABAP 程序迁移工具 SAPLINK ABAP GIT

SAP ABAP 程序迁移工具 SAPLINK ABAP GIT

SAP ABAP 程序迁移工具 SAPLINK ABAP GIT 1. saplink 这个工具功能挺强大的. 但是使用起来有点麻烦, 需要针对不同的开发对象导入不同的插件.才能处理特定的对象. 而且版本还在不断变化. saplink 项目地址：https://github.com/sapmentors/SAPlink saplink plugin…
阅读更多...
鸿蒙轻内核M核源码分析系列六 任务及任务调度（1）任务栈

鸿蒙轻内核M核源码分析系列六 任务及任务调度（1）任务栈

往期知识点记录： 鸿蒙（HarmonyOS）应用层开发（北向）知识点汇总 持续更新中…… 继续分析鸿蒙轻内核源码，我们本文开始要分析下任务及任务调度模块。首先，我们介绍下任务栈的基础概念。任务栈是高…
阅读更多...
SpringBoot整合Minio及阿里云OSS（配置文件无缝切换）

SpringBoot整合Minio及阿里云OSS（配置文件无缝切换）

SpringBoot整合Minio及阿里云OSS 文章目录 SpringBoot整合Minio及阿里云OSS1.Minio安装测试1.Docker安装启动容器 2.创建bucket3.上传文件修改权限 2.SpringBoot整合Minio及阿里云OSS1.公共部分抽取2.Minio配置整合1.添加pom依赖2.添加配置文件3.操作接口实现 3.阿里云OSS配置整…
阅读更多...
Class4——Esp32|Thonny两种方式同过电脑控制LED灯，路由器与电脑自带热点连接ESP32

Class4——Esp32|Thonny两种方式同过电脑控制LED灯，路由器与电脑自带热点连接ESP32

上一节我们通过路由器和设备创建了连接，不懂可按上节配置 Class3——Esp32|Thonny——网络连接主机-wifi连接（源代码带教程）-CSDN博客文章浏览阅读57次。Esp32|Thonny网络连接主机-wifi连接（源代码带教程）https://blo…
阅读更多...
免费开源的低代码表单FormCreate安装教程，支持可视化设计，适配移动端

免费开源的低代码表单FormCreate安装教程，支持可视化设计，适配移动端

低代码表单FormCreate 是一个可以通过 JSON 生成具有动态渲染、数据收集、验证和提交功能的表单生成组件。它支持 6 个 UI 框架，适配移动端，并且支持生成任何 Vue 组件。内置 20 种常用表单组件和自定义组件，再复杂的表单都可以轻松搞定 源码…
阅读更多...
网页时装购物：Spring Boot框架的创新应用

网页时装购物：Spring Boot框架的创新应用

第2章相关技术 2.1 B/S架构 B/S结构的特点也非常多，例如在很多浏览器中都可以做出信号请求。并且可以适当的减轻用户的工作量，通过对客户端安装或者是配置少量的运行软件就能够逐步减少用户的工作量，这些功能的操作主要是由服务器来进行控制的…
阅读更多...
时尚购物革命：Spring Boot技术在网页时装系统中的应用

时尚购物革命：Spring Boot技术在网页时装系统中的应用

第1章 绪论 1.1背景及意义 随着社会的快速发展，计算机的影响是全面且深入的。人们生活水平的不断提高，日常生活中人们对时装购物系统方面的要求也在不断提高，喜欢购物的人数更是不断增加，使得时装购物系统的开发成为必需而且紧迫的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023