急速了解什么是GPU服务器

GPU服务器是一种专门配置了高性能图形处理器（GPU）的服务器，旨在提供高性能计算、深度学习、科学计算等多种场景的计算服务。与传统的CPU服务器相比，GPU服务器在处理并行密集型计算任务时具有显著优势。本文将详细介绍GPU服务器的定义、分类、关键技术以及HGX和DGX服务器的差异。

GPU服务器的定义与优势

GPU服务器，简而言之，就是装有高性能GPU卡的服务器。这些GPU卡通常用于加速计算密集型任务，释放CPU的工作负荷，从而大幅提升应用程序的运行速度和数据处理效率。GPU服务器在处理大规模并行计算任务时表现出色，如视频编解码、深度学习、科学计算等。

GPU服务器

与传统CPU服务器相比，GPU服务器在处理并行密集型计算任务时具有以下显著优势：

高性能计算：GPU具有大量的核心和高速内存带宽，能够并行处理大量数据，从而在高性能计算领域表现出色。例如，在深度学习领域，GPU能够加速神经网络的训练和推理过程，显著提高计算效率。
低能耗：尽管GPU的功耗相对较高，但在处理大规模并行计算任务时，其能效比（即计算性能与功耗之比）通常优于CPU。因此，在需要高性能计算的场景中，GPU服务器能够提供更高的计算性能和更低的能耗。
可扩展性：GPU服务器通常支持多个GPU卡的安装，从而实现计算能力的线性扩展。这对于需要处理海量数据的场景尤为重要，如大规模人工智能研发、高性能计算等。

GPU服务器的分类

GPU服务器根据接口方式的不同，主要分为PCIE机型和Nvlink机型（或SXM机型）。这两种机型代表了GPU芯片之间的互联方式，也决定了GPU的通信带宽能力。

PCIE机型

PCIE机型是通过服务器上的PCIE卡槽来安装GPU卡的。GPU卡与GPU卡之间通过PCIE总线互连。PCIE是PCI-Express（Peripheral Component Interconnect Express）的简称，它是一种内部总线，也是一种计算机扩展总线标准。PCIE总线具有高速串行、高带宽的特点，通常用于主板上连接显卡、固态硬盘、各类采集卡和无线网卡等外设。

随着技术的不断发展迭代，PCIE技术从原先的PCIE 1.0逐渐发展到了PCIE 7.0。传输速率也从PCIE 1.0的每秒2.5Gbps逐渐发展到PCIE 7.0的每秒128Gbps。每一代PCIE的速度都是上代的2倍（但需要注意的是，由于编码的原因，实际带宽提升并非严格的2倍关系）。

然而，受限于PCIE的带宽上限，GPU卡与卡之间的双向互联带宽相对较低（目前最高的为128GB/s）。因此，PCIE机型常见于早期的英伟达服务器（如4090、L40、A100等）以及国产GPU服务器。

Nvlink机型/SXM机型

Nvlink机型（也称SXM机型）是英伟达专为高性能GPU卡间互联而设计的解决方案。它采用了铺设在电路板上的专用协议，类似于CPU芯片的安装方式，直接铺设在电路板上面。GPU卡与GPU卡之间通过Nvlink链路来互连。

Nvlink机型/SXM机型

NVLink是由英伟达开发的一种高速互连技术，专为高性能计算（HPC）和人工智能（AI）应用设计。它旨在加快CPU与GPU、GPU与GPU之间的数据传输速度，从而提高系统性能。

Nvlink技术随着GPU架构的演进不断发展。从P100的Nvlink 1到H100的Nvlink 4，再到GB200的Nvlink 5，每一代都在性能和带宽上有所提升。例如，Nvlink 1.0的带宽为40GB/s，而Nvlink 2.0的带宽则提升到了200GB/s（双向400GB/s）。到了Nvlink 4.0，其带宽已经达到了600GB/s（双向1.2TB/s），为大规模并行计算提供了强有力的支持。

由于Nvlink是英伟达的独家专利，因此SXM机型也就只有英伟达有了。Nvlink技术相比PCIE带宽更高，因此比较适用于大模型训练场景。在英伟达服务器里面，SXM机型通常通过SXM模组来把GPU芯片集成在一起，里面包含了GPU芯片、显存、NVSwitch、电源接口、风扇等组件。

HGX和DGX服务器

HGX和DGX都是指的英伟达GPU芯片的服务器类型（国产服务器中没有这种说法）。为了更通俗易懂地解释这两者之间的差异，可以简单理解为：HGX为组装设备（英伟达只提供了SXM GPU模组，其他都由不同公司组装而成），而DGX是原装完整设备（即服务器里面的所有配件都是英伟达原厂生产或组装的）。

HGX服务器

HGX服务器可以理解为组装服务器。英伟达提供GPU模组（如SXM模组），其他厂商（如超微、浪潮、华硕等）根据它的接口类型，开发出适配主板，然后再配置不同品牌型号的CPU、内存、硬盘、网卡、电源、机箱等，形成一个完整的GPU服务器。这个服务器集成器通常被称为“机头”。

HGX

英伟达推出HGX的主要目的是方便OEM厂商集成，可以灵活地组装在不同配置和型号的服务器里面。这使得HGX服务器具有较高的定制性和可扩展性，能够满足不同用户的计算需求。

以国内某国产服务器的机型为例，英伟达HGX模组只是其中的一部分组件，其他组件都来自其他厂商的部件。这种组装方式使得HGX服务器在成本、性能和定制性方面都具有较大的优势。

DGX服务器

DGX服务器指的是完全英伟达原厂品牌的GPU服务器。除了包括最核心的SXM模组外，它还配套了服务器该有的机箱、主板、电源、CPU、内存、硬盘、网卡等部件以及软件系统。通过软硬件完整封装，DGX服务器形成了一个无法定制的标准化一体机。

DGX

DGX服务器强调简易性和便捷性，可以快速部署和运行。它适合需要即用型解决方案的大型企业。DGX服务器还通过如DGX SuperPOD这样的解决方案提供了很好的可扩展性。例如，Nvidia最新发布的DGX GB200 SuperPod由8个NVL72组成，共包含576个B200 GPU，提供了前所未有的计算性能。

英伟达推出DGX的主要目的是提高客单价和利润率，同时提供一整套的售后服务和保障。这使得DGX服务器在性能、可靠性和售后服务方面都具有较高的水平。

HGX和DGX服务器的区别

（1）硬件配置方面：

HGX服务器是一个使用英伟达提供的计算模组而组成的服务器。它可以根据用户需求灵活配置不同型号和数量的GPU、CPU、内存、硬盘等组件。
DGX服务器是一个英伟达提供的完整主机服务器。它包括了所有必要的硬件组件和软件系统，用户无需进行额外的配置即可使用。

（2）软件配置方面：

HGX服务器的操作系统和软件可以根据用户习惯自行安装。这使得HGX服务器在软件方面具有较大的灵活性和可定制性。
DGX服务器的操作系统和软件通常是出厂后就安装好了的。用户打开即可使用，无需进行额外的软件安装和配置。英伟达还会提供相应的软件服务和技术支持。

（3）定制性方面：

HGX服务器只是英伟达提供的一个计算模组，用户可以根据计算需求添加或删除GPU数量，包括配置不同型号性能的CPU、硬盘、内存等。这使得HGX服务器在定制性方面具有较大的优势。
DGX服务器为一体机，不可随意定制。其软硬件配置是固定的，用户无法根据需求进行灵活的调整。这使得DGX服务器在定制性方面相对较弱。

（4）目标用户和应用场景方面：

HGX服务器主要面向需要灵活且可扩展的平台来满足高性能计算需求的研究人员和开发人员。它适用于云数据中心、高性能计算、大规模人工智能研发、可定制基础设施等应用。
DGX服务器专为需要强大、即用型AI解决方案的企业而设计。它除了包含HGX服务器的目标用户外，还非常适合人工智能和深度学习开发、边缘计算、医疗保健和医学研究以及内容创建和媒体等应用。

（5）运算性能方面：

在相同GPU数量下，由于DGX服务器采用了更优化的硬件配置和软件系统，其运算能力通常会比HGX服务器更强。这使得DGX服务器在高性能计算和深度学习等领域具有更高的竞争力。

（6）成本方面：

HGX服务器的成本主要来自SXM GPU模组的成本以及其他硬件组件的采购成本。由于SXM GPU模组受到美国高端芯片的制裁和市场出货量的影响较大，其价格也会波动较大。因此，HGX服务器的成本也会受到一定程度的影响。
DGX服务器作为英伟达原厂生产的完整一体机，其成本相对较高。但考虑到其高性能、可靠性和售后服务等方面的优势，DGX服务器的性价比仍然较高。

GPU服务器作为一种高性能计算设备，在深度学习、科学计算等领域发挥着重要作用。本文详细介绍了GPU服务器的定义、分类、关键技术以及HGX和DGX服务器的差异。通过对比和分析，简单得出以下结论：

GPU服务器通过配置高性能GPU卡，能够大幅提升应用程序的运行速度和数据处理效率，在处理大规模并行计算任务时具有显著优势。
GPU服务器根据接口方式的不同主要分为PCIE机型和Nvlink机型（或SXM机型）。这两种机型在GPU芯片之间的互联方式和通信带宽能力上存在差异，适用于不同的应用场景。
HGX和DGX服务器作为英伟达提供的两种不同类型的GPU服务器，在硬件配置、软件配置、定制性、目标用户和应用场景以及运算性能方面存在差异。用户可以根据自身需求选择合适的服务器类型。
在成本方面，HGX服务器的成本主要受SXM GPU模组价格和其他硬件组件采购成本的影响；而DGX服务器作为原厂生产的完整一体机，其成本相对较高。