01

国内大语言模型训练使用的存储系统应用现状

近年来，中国在人工智能领域，特别是大语言模型(LLM)的研发和应用方面取得了显著进展。随着百度文心一言、阿里通义千问、讯飞星火等国产大模型的推出，中国AI产业进入了快速发展期。这一趋势带动了对高性能存储系统的巨大需求，尤其是在模型训练阶段。

当前，中国大语言模型训练的存储市场呈现以下特点，随着更多企业和研究机构投入LLM研发，对大容量、高性能存储系统的需求急剧上升。出于数据安全和技术自主的考虑，市场对国产存储解决方案的需求日益增长。不同规模的LLM训练对存储系统有着差异化的需求，推动了更灵活、可扩展的存储解决方案的发展。

在LLM训练场景下，传统存储系统面临诸多挑战。传统存储系统难以提供足够的IOPS和带宽，无法满足大规模并行训练的数据需求。随着数据集规模增长，传统存储架构难以实现线性扩展。高端SAN存储价格昂贵，不利于中小型企业和研究机构开展LLM研究。传统存储灵活性不足，难以根据不同阶段的训练需求动态调整存储资源。

极客天成公司开发的NVFile分布式文件存储系统针对LLM训练的特殊需求，提供了一系列创新解决方案，它采用全闪存架构，结合为NVMe闪存优化的分布式存储软件。支持RDMA技术，大幅降低网络延迟，提高数据传输效率。能够实现百万级IOPS和微秒级延迟，满足LLM训练的极致性能需求。存储体系上使用分布式架构设计，支持横向扩展，轻松应对PB级数据集。

02

极客天成NVFile优化大语言模型训练案例

NVFile被一家致力于开发先进自然语言处理技术的AI公司作为存储平台，用来存储一个包含千亿参数的大语言模型的训练数据，以提升该模型多语言理解和生成方面的能力。模型训练项目构建了一个由128个节点组成的高性能计算集群，每个节点配备8张NVIDIA H100 GPU和1TB内存。集群使用InfiniBand 400G网络互连。

训练大语言模型过程面临很多存储技术上的问题，首先需要海量训练数据，该公司PB级别的多语言文本语料需要高效存储和快速访问。其次模型需要并行处理，千亿级别参数的模型需要跨多个GPU和节点进行分布式训练。通信开销，频繁的梯度同步和权重更新需要高带宽、低延迟的网络传输。传统的存储技术，在性能方面无法达到大语言模型训练的要求，NVFile作为先进的分布式存储解决方案，实施细节如下：

1. 存储集群配置：部署了32个NVFile存储节点，每个节点配备16块NVMe SSD，总容量达到3.84PB。存储节点通过InfiniBand 400G网络与计算节点互连。配置NVFile以使用RDMA直接访问，最大化I/O性能。

2. 数据预处理和存储：使用自定义的ETL（提取、转换、加载）管道，将原始文本数据处理成适合模型训练的格式。将处理后的数据以内存映射文件的形式存储在NVFile中，便于快速随机访问。实现数据分片策略，确保数据均匀分布在所有存储节点上。

3. 训练框架集成：基于PyTorch开发自定义的分布式训练框架。实现NVFile客户端API与PyTorch的DataLoader集成，支持高效的并行数据加载。利用NCCL（NVIDIA Collective Communications Library）进行多GPU间的通信

4. 模型并行策略：采用混合并行策略：张量并行、流水线并行和数据并行相结合。将模型层分布在不同的GPU和节点上，最小化跨节点通信。

5. 梯度累积和同步：实现基于RDMA的高效梯度聚合算法。利用NVFile的分布式特性，在存储节点上进行部分梯度累积，减少网络传输。

6. 检查点保存和恢复：定期将模型参数和优化器状态保存为检查点。利用NVFile的快照功能，实现高效的分布式检查点保存和恢复

7. 动态负载均衡：开发自适应数据分发算法，根据各节点的处理速度动态调整数据分配。利用NVFile的元数据服务，实时监控和调整数据分布。

8. 监控和调优：部署分布式监控系统，实时收集GPU利用率、网络吞吐量、存储I/O等指标。基于收集的指标，动态调整批大小、学习率等超参数。

通过应用NVFile和上述优化策略，成功提升大语言模型训练的性能：

1. 将数据加载时间减少了1.8倍，显著提高了GPU利用率。

2. 实现了近线性的扩展性，128节点集群的有效吞吐量达到单节点的100倍。

3. 将检查点保存和恢复时间缩短了1.7倍，增强了系统容错能力。

4. 整体训练时间比使用传统分布式文件系统缩短了2.6倍。

NVFile在大规模AI训练中发挥了重要作用，体现其处理大规模模型和数据集时的优势。NVFile通过充分利用RDMA和分布式存储技术，克服了传统存储系统的限制，实现了高效的大语言模型训练。

03

极客天成NVFile存储技术介绍

极客天成专注为大语言模型训练项目提供高性能、低延迟的AI模型存储解决方案NVFile。NVFile采用全闪存技术，支持高达200/400Gbps的InfiniBand高速网络，具有卓越的速度和低延迟特性，能够满足大规模语言模型训练场景的海量数据存储和快速访问需求。

在系统架构方面，计算节点与存储节点通过InfiniBand交换机进行互联，每个端口提供高达200/400Gb/s的传输带宽。NVFile充分利用RDMA技术，每个节点通过双链路实现400Gb/s以上的I/O带宽和微秒级时延，有效消除了传统架构中的数据传输瓶颈，加速了模型训练过程中的数据读取和梯度同步。

在存储容量方面，NVFile具有出色的横向扩展能力，能够满足不断增长的大语言模型训练数据存储需求，为预训练语料库和中间检查点提供海量的数据存储空间。同时，该存储系统还具有灵活的扩容能力和全冗余设计，确保数据的高可用性和一致性。所有节点均采用冗余设计，即使出现单硬盘故障、单节点故障或单交换机故障，也不会导致训练中断或数据丢失。

此外，NVFile支持POSIX标准，可以无缝集成到现有的大语言模型训练框架中，如PyTorch、TensorFlow等。它还兼容Kubernetes等分布式平台，便于在容器化环境中部署和管理大规模训练任务。NVFile的分布式特性允许训练框架根据模型并行度和数据并行度选择最优的数据存储和访问策略，提高了训练效率。

NVFile凭借其高性能、低延迟、海量存储、高可靠性等特点，非常适合存储和管理大语言模型训练中的海量数据，包括原始语料、预处理后的训练集、模型参数和中间状态等。它为研究人员和工程师提供了一个强大的基础设施，以加速大语言模型的开发和优化过程。