NVIDIA DGX 互联结构
NVIDIA DGX 是Nvidia 推出的turnkey 解决方案，其中按照组合关系:
- DGX GB200 System: NVL72
- 36 Nvidia Grace CPU
- 72 BlackWell GPU
- 每台机柜包含18 个GB200 计算节点，每个节点包含2 个GB200s
- 9 个NVSwitches Tray 节点，每个2 颗 NVSwitch 芯片
- 节点间使用nvlink 进行互联，互联线缆使用铜（Cooper），不需要光收发器（铜进光退）
1.4 exaFLOPS of AI performance, 30 terabytes (TB) of fast memory, and 130 terabytes per second (TB/s) of bidirectional GPU bandwidth.
下图为1U 高度的NVL72 单节点实物形态，其中每个节点包含两组GB200s 系统，整合水冷散热。
实物NVL72 机柜
- DGX SuperPOD™：最多576 组DGX GB200 系统组成超级pod
- DGX GB200 BasePod
Rank 之间的互联通过 Infiniband
Rank 内的互联通 Nvlink
NVidia发布了GB200 NVL72 解决方案架构, 我们以公开的资料进一步探讨下NV的DGX 内部互联结构.
DGX 软件架构
作为TurnKey 解决方案, DGX 具备完备的软件栈, 实现开箱即用的交付.
