GPU参数指标

news2024/9/30 5:21:55

以英伟达的A800卡为例，简单聊聊GPU卡的核心参数指标，A800的核心指标主要有5个，为算力、显存大小、显存带宽、功耗情况和卡间互联速率。
在这里插入图片描述

性能：则可以理解为货车对不同货物类型的马力大小，决定能“拉动”多少重量的货，不同数据类型好比不同的货物，木板（FP16）和钢卷（FP32）对于运输要求不同，木材能拉10顿，可能钢卷就拉5顿（钢卷的放置要求高，需要配套各种固定装置）；
显存：可以理解为货车的车厢，能够放下多大“尺寸”的物品，这个需要和算力匹配，避免吕布骑狗或者小马拉大车。
显存带宽：这个可以理解为装卸货的速度，带宽越大装卸“一车”货物的时间越快。这个与GPU显存类型有关，比如A800 SXM 的为HBM2e,就高达2TB/s；就像货车中装了自动装卸货装置，卸货效率飞起，而普通显卡的GDDR6则相当于人工，效率就慢了很多。
卡间互联：2个A800通过nvlink互联，主要是实现了显存容量共享，相当于把2个货车的车厢相加，可以放下更大的货物。现在的大模型可以比作一个家具，一张GPU的显存放不的下大模型，可以多卡互联扩大显存来实现，而一个货车的车厢装不下，可以把两个货车的车厢合成一个（这个比喻可能有点不恰当）；
功耗TDP：这个更好理解就像货车的油耗，拉相同重量的货物，油耗越低肯定越好。

在这里插入图片描述

流处理器：也叫渲染管、着色器。画面都是由一个又一个像素点组成的，而流处理器就负责这些像素点的渲染工作；
RT核心：光追核心，用作于光线追踪效果；正常数据中心级的GPU核心是没有RT Core的，主要是消费级显卡才为光线追踪运算添加了 RT Cores，考虑到芯片的空间有限，每个SM里面只有1个光追核心（为此还砍掉了大部分的 FP64）。可以极大地提升了游戏渲染效率。
CUDA 核心和Tensor 核心：CUDA Core和Tensor Core，为GPU提供计算能力的硬件单元。CUDA core也叫Streaming Processor（SP），是单精度，组成SM的重要部分。Core的数量越多，并行运算的线程越大，计算的峰值越高。
Tensor Core：核心特别大，用于机器学习加速，它可以把整个矩阵都载入寄存器中批量运算，实现十几倍的效率提升，从Volta 架构发布以来，奠定了英伟达在AI训练的领军地位，每次升级都有新支持的数据类型。
显存容量：显存容量决定着显存临时存储数据的多少，大显存能减少读取数据的次数，降低延迟；
显存带宽：显存带宽，指显示芯片与显存之间的数据传输速率，单位是字节/秒。显卡的显存是由一块块的显存芯片构成的，显存总位宽同样也是由显存颗粒的位宽组成，显存带宽＝显存频率×显存位宽/8。显存带宽是决定显卡性能和速度最重要的因素之一。
显存位宽：是显存在一个时钟周期内所能传送数据的位数,位数越大则瞬间所能传输的数据量越大,这是显存的重要参数之一；
浮点性能：代表显卡的浮点计算能力，越高算力越强，深度学习、科学计算用途较多；
核心代号：显卡核心代号就是指显卡的显示核心的开发代号。
核心频率：指显示核心的工作频率,其工作频率在一定程度上可以反映出显示核心的性能；
加速频率：指显示核心的工作频率最高可达频率。
Vulkan API：Vulkan API 是一种跨平台的图形接口，能提供更高的图形性能和更低的能耗。支持 Vulkan API 的显卡在运行 Vulkan 游戏或应用时性能更佳。这对于追求高帧率、低延迟的游戏玩家来说是一个重要的参数。
DirectX 支持：DirectX 是微软开发的一组多媒体编程接口，用于处理图形、音频和输入输出等多媒体任务。支持 DirectX 的显卡通常在运行 DirectX 游戏时性能更佳。因此，如果您是一个热衷于玩 DirectX 游戏的游戏玩家，那么这一参数对您来说尤为重要。
热设计功耗（TDP）：它指的是显卡运行时所产生的最大热量输出。TDP 越低，显卡的散热和电源需求就越低，相应的成本也越低。因此，在选择显卡时，应根据自己的需求和预算来平衡 TDP 与性能的关系。
纹理处理集群：TPC（Texture Processor Cluster）