Hugging Face Accelerate 两个后端的故事：FSDP 与 DeepSpeed

news2024/11/22 16:56:03

社区中有两个流行的零冗余优化器 (Zero Redundancy Optimizer，ZeRO)算法实现，一个来自DeepSpeed，另一个来自PyTorch。Hugging FaceAccelerate对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中之一。

本文重点介绍了 Accelerate 对外暴露的这两个后端之间的差异。为了让用户能够在这两个后端之间无缝切换，我们在 Accelerate 中合并了一个精度相关的 PR及一个新的概念指南。

  • 零冗余优化器 (Zero Redundancy Optimizer，ZeRO)https://arxiv.org/abs/1910.02054

  • DeepSpeedhttps://github.com/microsoft/DeepSpeed

  • PyTorchhttps://pytorch.org/docs/stable/fsdp.html

  • Acceleratehttps://hf.co/docs/accelerate/en/index

  • 一个精度相关的 PRhttps://github.com/huggingface/accelerate/issues/2624

  • 一个新的概念指南https://hf.co/docs/accelerate/concept_guides/fsdp_and_deepspeed

FSDP 和 DeepSpeed 可以互换吗？

最近，我们尝试分别使用 DeepSpeed 和 PyTorch FSDP 进行训练，发现两者表现有所不同。我们使用的是 Mistral-7B 基础模型，并以半精度 (bfloat16) 加载。可以看到 DeepSpeed (蓝色) 损失函数收敛良好，但 FSDP (橙色) 损失函数没有收敛，如图 1 所示。

8a14918ed7dfb7f513ff78f540a7dc75.png

我们猜想可能需要根据 GPU 数量对学习率进行缩放，且由于我们使用了 4 个 GPU，于是我们将学习率提高了 4 倍。然后，损失表现如图 2 所示。

c2eec36e23f3e42b226a18df283e92a5.png

看起来，通过按 GPU 数量缩放 FSDP 学习率，已经达到了预期！然而，当我们在不进行缩放的情况下尝试其他学习率 (1e-5) 时，我们却又观察到这两个框架的损失和梯度范数特征又是趋近一致的，如图 3 所示。

4b11b02ceec22bbde20f9eafe2444974.png

精度很重要

在 DeepSpeed 代码库的 DeepSpeedZeroOptimizer_Stage3 (顾名思义，处理第 3 阶段优化器分片) 实现代码中，我们注意到 trainable_param_groups (可训参数组) 被传入一个内部函数 _setup_for_real_optimizer，该函数会调用另一个名为 _create_fp32_partitions 的函数。正如其名称中的 fp32 所示，DeepSpeed 内部执行了精度上转，并在设计上始终将主权重保持为 fp32 精度。而上转至全精度意味着：同一个学习率，上转后的优化器可以收敛，而原始低精度下的优化器则可能不会收敛。前述现象就是这种精度差异的产物。

在 FSDP 中，在把模型和优化器参数分片到各 GPU 上之前，这些参数首先会被“展平”为一维张量。FSDP 和 DeepSpeed 对这些“展平”参数使用了不同的 dtype，这会影响 PyTorch 优化器的表现。表 1 概述了两个框架各自的处理流程，“本地？”列说明了当前步骤是否是由各 GPU 本地执行的，如果是这样的话，那么上转的内存开销就可以分摊到各个 GPU。

流程本地？框架详情
模型加载 (如 AutoModel.from_pretrained(..., torch_dtype=torch_dtype))❌

准备，如创建“展平参数”✅FSDP
DeepSpeed		使用 torch_dtype
不管 torch_dtype，直接创建为 float32
优化器初始化✅FSDP
DeepSpeed		用 torch_dtype 创建参数
用 float32 创建参数
训练步 (前向、后向、归约)❌FSDP
DeepSpeed		遵循fsdp.MixedPrecision
遵循 deepspeed_config_file 中的混合精度设置
优化器 (准备阶段)✅FSDP
DeepSpeed		按需上转至 torch_dtype
所有均上转至 float32
优化器 (实际执行阶段)✅FSDP
DeepSpeed		以 torch_dtype 精度进行
以 float32 精度进行

表 1：FSDP 与 DeepSpeed 混合精度处理异同

  • fsdp.MixedPrecisionhttps://pytorch.org/docs/stable/fsdp.html#torch.distributed.fsdp.MixedPrecision

几个要点：

  • 正如 🤗 Accelerate 上的这一问题所述，混合精度训练的经验法则是将可训参数精度保持为 float32。

  • 当在大量 GPU 上进行分片时，上转 (如 DeepSpeed 中所做的那样) 对内存消耗的影响可能可以忽略不计。然而，当在少量 GPU 上使用 DeepSpeed 时，内存消耗会显著增加，高达 2 倍。

  • FSDP 的 PyTorch 原生实现不会强制上转，其支持用户以低精度操作 PyTorch 优化器，因此相比 DeepSpeed 提供了更大的灵活性。

  • 这一问题https://github.com/huggingface/accelerate/issues/2624#issuecomment-2058402753

在 🤗 Accelerate 中对齐 DeepSpeed 和 FSDP 的行为

为了在🤗 Accelerate 中更好地对齐 DeepSpeed 和 FSDP 的行为，我们可以在启用混合精度时自动对 FSDP 执行上转。我们为此做了一个 PR，该 PR 现已包含在0.30.0 版本中了。

  • 0.30.0 版本https://github.com/huggingface/accelerate/releases/tag/v0.30.0

cdbb25770a3c65bbb3f87990fd626d09.png

有了这个 PR，FSDP 就能以两种模式运行：

  • 与 DeepSpeed 一致的混合精度模式

  • 针对内存受限场景的低精度模式，如图 4 所示。

表 2 总结了两种新的 FSDP 模式，并与 DeepSpeed 进行了比较。

框架模型加载 (torch_dtype)混合精度准备 (本地)训练优化器 (本地)
FSDP (低精度模式)bf16缺省 (无)bf16bf16bf16
FSDP (混合精度模式)bf16bf16fp32bf16fp32
DeepSpeedbf16bf16fp32bf16fp32

表 2：两种新 FSDP 模式总结及与 DeepSpeed 的对比

吞吐量测试结果

我们使用IBM Granite 7B模型 (其架构为 Meta Llama2) 进行吞吐量比较。我们比较了模型的浮点算力利用率 (Model Flops Utilization，MFU) 和每 GPU 每秒词元数这两个指标，并针对 FSDP (完全分片) 和 DeepSpeed (ZeRO3) 两个场景进行了测量。

  • IBM Granite 7Bhttps://hf.co/ibm-granite/granite-7b-base

如上文，我们使用 4 张 A100 GPU，超参如下：

  • batch size 为 8

  • 模型加载为 torch.bfloat16

  • 使用 torch.bfloat16 混合精度

表 3 表明 FSDP 和 DeepSpeed 的表现类似，这与我们的预期相符。

随着大规模对齐技术 (如InstructLab及GLAN) 的流行，我们计划对结合各种提高吞吐量的方法 (如，序列组装 + 4D 掩码、torch.compile、选择性 checkpointing) 进行全面的吞吐量对比基准测试。

  • InstructLabhttps://github.com/instructlab

  • GLANhttps://arxiv.org/abs/2402.13064

框架每 GPU 每秒词元数**每步耗时 (s) ****浮点算力利用率 (MFU) **
FSDP (混合精度模式)3158.710.40.41
DeepSpeed3094.510.60.40

表 3：四张 A100 GPU 上 FSDP 和 DeepSpeed 之间的大致吞吐量比较。

最后的话

我们提供了新的概念指南以帮助用户在两个框架之间迁移。该指南可以帮助用户厘清以下问题：

  • 如何实现等效的分片策略？

  • 如何进行高效的模型加载？

  • FSDP 和 DeepSpeed 中如何管理权重预取？

  • 与 DeepSpeed 对等的 FSDP 封装是什么？

我们在 🤗 Accelerate 中考虑了配置这些框架的各种方式:

  • 使用 accelerate launch 从命令行配置

  • 从🤗 Accelerate 提供给DeepSpeedhttps://hf.co/docs/accelerate/main/en/package_reference/deepspeed和FSDPhttps://hf.co/docs/accelerate/main/en/package_reference/fsdp的各种 Plugin 类中配置

🤗 Accelerate 使得在 FSDP 和 DeepSpeed 之间切换非常丝滑，大部分工作都只涉及更改 Accelerate 配置文件 (有关这方面的说明，请参阅新的概念指南) 。

除了配置变更之外，还有一些如检查点处理方式的差异等，我们一并在指南中进行了说明。

本文中的所有实验都可以使用原始 🤗 Accelerate 问题中的代码重现。

  • 概念指南https://hf.co/docs/accelerate/v0.31.0/en/concept_guides/fsdp_and_deepspeed

  • 原始 🤗 Accelerate 问题https://github.com/huggingface/accelerate/issues/2624

我们计划后续在更大规模 GPU 上进行吞吐量比较，并对各种不同技术进行比较，以在保持模型质量的前提下更好地利用更多的 GPU 进行微调和对齐。

致谢

本工作凝聚了来自多个组织的多个团队的共同努力。始于 IBM 研究中心，特别是发现该问题的 Aldo Pareja 和发现精度差距并解决该问题的 Fabian Lim。Zach Mueller 和Stas Bekman在提供反馈和修复 accelerate 的问题上表现出色。Meta PyTorch 团队的 Less Wright 对有关 FSDP 参数的问题非常有帮助。最后，我们还要感谢 DeepSpeed 团队对本文提供的反馈。

  • Stas Bekmanhttps://github.com/stas00

  • DeepSpeedhttps://www.deepspeed.ai/

英文原文: https://hf.co/blog/deepspeed-to-fsdp-and-back

原文作者: Yu Chin Fabian, aldo pareja, Zachary Mueller, Stas Bekman

译者: Matrix Yao (姚伟峰)，英特尔深度学习工程师，工作方向为 transformer-family 模型在各模态数据上的应用及大规模模型的训练推理。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1878078.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Python | Leetcode Python题解之第191题位1的个数

Python | Leetcode Python题解之第191题位1的个数

题目： 题解： class Solution:def hammingWeight(self, n: int) -> int:ret 0while n:n & n - 1ret 1return ret
阅读更多...
PAE：从潮流报告中提炼有效产品属性

PAE：从潮流报告中提炼有效产品属性

本文将介绍PAE，一种用于包含 PDF格式的文本和图像的产品属性提取算法。目前大部分的方法侧重于从标题或产品描述中提取属性，或利用现有产品图像中的视觉信息。与之前的工作相比，PAE从潮流趋势报告的PDF文件中提取属性，提取的属性包…
阅读更多...
ISO26262标准

ISO26262标准

什么是ISO26262？ ISO 26262(国际功能安全标准)是一个涵盖整个汽车产品开发过程的汽车功能安全标准。ISO 26262继承或改编自工业自动化行业的安全要求标准IEC61508，但专门为汽车行业量身定制。最新版本是ISO26262-1:2018。 它包括诸如需求分析、安全分析…
阅读更多...
一个简单的文件上传功能

一个简单的文件上传功能

代码如下&#xff1a; PostMapping("/upload")public ResponseEntity<String> handleFileUpload(RequestParam(value "uploadDirectory") String uploadDirectory,RequestParam("fileName") MultipartFile fileName) {try {// 确保文件不…
阅读更多...
乱扔垃圾自动识别摄像头

乱扔垃圾自动识别摄像头

如今&#xff0c;随着城市化进程的加快和人们生活水平的提高&#xff0c;环境保护和城市美观成为社会关注的焦点。乱扔垃圾问题长期困扰着城市管理者和居民&#xff0c;给城市环境卫生带来严重挑战。为了有效解决这一问题&#xff0c;乱扔垃圾自动识别摄像头应运而生&#xff0…
阅读更多...
nvm-desktop window安装，支持动态切换nodejs版本

nvm-desktop window安装，支持动态切换nodejs版本

一、安装 nvm-desktop 概述 1 、卸载干净笔记的nodejs 和nodejs的环境变量 2、安装 nvm-desktop 软件 3、配置环境变量 4、测试功能 # 此时已安装完成 其他&#xff1a;常见nodejs的问题解决参考&#xff1a;官网 mac 安装教程 https://github.com/1111mp/nvm-desktop/blob/…
阅读更多...
大模型微调实战之基于星火大模型的群聊对话分角色要素提取挑战赛：Task01：跑通Baseline

大模型微调实战之基于星火大模型的群聊对话分角色要素提取挑战赛：Task01：跑通Baseline

目录 0 背景1 环境配置1.1 下载包1.2 配置密钥1.3 测试模型 2 解决问题2.1 获取数据2.2 设计Prompt2.2 设计处理函数2.3 开始提取 附全流程代码 0 背景 Datawhale AI夏令营第二期开始啦&#xff0c;去年有幸参与过第一期&#xff0c;收获很多&#xff0c;这次也立马参与了第二…
阅读更多...
基于Python的求职招聘管理系统【附源码】

基于Python的求职招聘管理系统【附源码】

摘 要 随着互联网技术的不断发展&#xff0c;人类的生活已经逐渐离不开网络了&#xff0c;在未来的社会中&#xff0c;人类的生活与工作都离不开数字化、网络化、电子化与虚拟化的数字技术。从互联网的发展历史、当前的应用现状和发展趋势来看&#xff0c;我们完全可以肯定&…
阅读更多...
AI视界引擎 | ​基于 YOLOv8 和计算机视觉 CV 的实时识别系统！

AI视界引擎 | ​基于 YOLOv8 和计算机视觉 CV 的实时识别系统！

本文来源公众号“AI视界引擎”&#xff0c;仅用于学术分享&#xff0c;侵权删&#xff0c;干货满满。 原文链接&#xff1a;​基于 YOLOv8 和计算机视觉 CV 的实时识别系统&#xff01; 技术进步和创新正在尽可能地推进作者的日常生活&#xff0c;但仍有很大一部分社会群体因为…
阅读更多...
OverTheWire Bandit 靶场通关解析（中）

OverTheWire Bandit 靶场通关解析（中）

介绍 OverTheWire Bandit 是一个针对初学者设计的网络安全挑战平台&#xff0c;旨在帮助用户掌握基本的命令行操作和网络安全技能。Bandit 游戏包含一系列的关卡&#xff0c;每个关卡都需要解决特定的任务来获取进入下一关的凭证。通过逐步挑战更复杂的问题&#xff0c;用户可…
阅读更多...
poi-tl 生成 word 文件（插入文字、图片、表格、图表）

poi-tl 生成 word 文件（插入文字、图片、表格、图表）

文章说明 本篇文章主要通过代码案例的方式&#xff0c;展示 poi-tl 生成 docx 文件的一些常用操作&#xff0c;主要涵盖以下内容 &#xff1a; 插入文本字符&#xff08;含样式、超链接&#xff09;插入图片插入表格引入标签&#xff08;通过可选文字的方式&#xff0c;这种方…
阅读更多...
昇思MindSpore学习笔记3--张量 Tensor

昇思MindSpore学习笔记3--张量 Tensor

一、张量Tensor概念 矢量、标量和其他张量的计算函数&#xff0c;有内积、外积、线性映射以及笛卡儿积等 张量坐标在 n 维空间内&#xff0c;有 nr 个分量 每个分量都是坐标的函数,变换时每个坐标分量都按规则作线性变换 张量是一种特殊的数据结构&#xff0c;类似于数组和…
阅读更多...
haproxy实现代理和负载均衡

haproxy实现代理和负载均衡

HaProxy介绍&#xff1a; haproxy是法国开发者威利塔罗在2000年使用C语言开发的一个开源软件&#xff0c;是一款具备高并发(一万以上)、高性能的TCP和HTTP负载均衡器&#xff0c;支持基于cookie的持久性&#xff0c;自动故障切换&#xff0c;支持正则表达式及web状态统计&…
阅读更多...
狼人杀系列

狼人杀系列

目录 杀人游戏&#xff08;天黑请闭眼&#xff09; &#xff08;1&#xff09;入门版 &#xff08;2&#xff09;标准版 &#xff08;3&#xff09;延伸版——百度百科 &#xff08;3.1&#xff09;引入医生和秘密警察 &#xff08;3.2&#xff09;引入狙击手、森林老人和…
阅读更多...
学习gateway网关路由时遇到的问题

学习gateway网关路由时遇到的问题

遇到这个问题先别慌&#xff0c;我们首先要检查是哪里出问题了&#xff0c;从报错信息中我们可以看到&#xff0c;他说 Unable to find GatewayFilterFactory with name -AddRequestHeader 找不到这个路由过滤器&#xff0c;所以导致网关设置失败&#xff0c;从这条信息上我…
阅读更多...
Mac可以读取NTFS吗 Mac NTFS软件哪个好 mac ntfs读写工具免费

Mac可以读取NTFS吗 Mac NTFS软件哪个好 mac ntfs读写工具免费

在跨操作系统环境下使用外部存储设备时&#xff0c;特别是当Windows系统的U盘被连接到Mac电脑时&#xff0c;常常会遇到文件系统兼容性的问题。由于Mac OS原生并不完全支持对NTFS格式磁盘的读写操作&#xff0c;导致用户无法直接在Mac上向NTFS格式的U盘或硬盘写入数据。下面我们…
阅读更多...
web学习笔记（六十九）vue2

web学习笔记（六十九）vue2

目录 1. vue2创建脚手架项目 2.vue2如何关闭eslint 1. vue2创建脚手架项目 &#xff08;1&#xff09;在cmd窗口输入npm install -g vue/cli命令行&#xff0c;快速搭建脚手架。 &#xff08;2&#xff09; 创建vue2项目 &#xff08;3&#xff09; 选择配置项目&#xff0c…
阅读更多...
ic基础|功耗篇04：门级低功耗技术

ic基础|功耗篇04：门级低功耗技术

大家好&#xff0c;我是数字小熊饼干&#xff0c;一个练习时长两年半的IC打工人。我在两年前通过自学跨行社招加入了IC行业。现在我打算将这两年的工作经验和当初面试时最常问的一些问题进行总结&#xff0c;并通过汇总成文章的形式进行输出&#xff0c;相信无论你是在职的还是…
阅读更多...
pdf合并，pdf合并成一个pdf，pdf合并在线网页版

pdf合并，pdf合并成一个pdf，pdf合并在线网页版

在处理pdf文件的过程中&#xff0c;有时我们需要将多个pdf文件合并成一个pdf文件。作为一名有着丰富计算机应用经验的技术博主&#xff0c;我将为您详细介绍如何将多个pdf文件合并成一个pdf文件。 pdf合并方法&#xff1a;使用&#xff0c; “轻云处理pdf官网” 打开 “轻云处…
阅读更多...
mysql_config 命令, 可以查看mysqlclient库的位置在/usr/lib64/mysql下

mysql_config 命令, 可以查看mysqlclient库的位置在/usr/lib64/mysql下

好吧&#xff0c;其实我是从这里知道了 -l 后面加的库名和so文件这种名不一样&#xff0c;因为库文件实际叫下面这个名&#xff08;前面有lib)。
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023