NVIDIA Hopper 架构 GPU 的重要新功能。
文章目录
- 一、Transformer engine 变压器发动机
- 二、第四代 NVLink 和 NVLink 网络
- 三、第三代 NVSwitch
- 四、New NVLink Switch System 新的 NVLink 开关系统
- 五、PCIe Gen 5 PCIe 第 5 代
一、Transformer engine 变压器发动机
Transformer 模型是当今广泛使用的语言模型的支柱,从 BERT 到 GPT-3,它们需要大量的计算资源。Transformer 最初是为自然语言处理 (NLP) 开发的,现在越来越多地应用于计算机视觉、药物发现等不同领域。
它们的大小继续呈指数级增长,现在达到数万亿个参数,并导致它们的训练时间延长到数月,由于计算需求很大,这对于业务需求来说是不切实际的。例如,Megatron Turing NLG (MT-NLG) 需要 2048 个 NVIDIA A100 GPU 运行 8 周才能进行训练。总体而言,在过去 5 年中,transformer 模型的增长速度比大多数其他 AI 模型快得多,每 2 年增长 275 倍(图 19)。
H100 包括一个新的变压器引擎,该引擎使