英伟达GB300新宠:新型LPDDR5X SOCAMM内存

news2025/3/31 22:11:28

随着人工智能(AI)、机器学习(ML)和高性能计算(HPC)应用的快速发展,对于高效能、大容量且低延迟内存的需求日益增长。NVIDIA在其GB系列GPU中引入了不同的内存模块设计,以满足这些严格的要求。

此前,当从H100升级到H200时,由于后者提供了更高的内存带宽(4.8TB/s对比H100的3.35TB/s),所有可比较的批处理大小上的交互性普遍提高了43%。得益于KVCache对总批处理大小的限制减少,H200能够以更高的批处理速度运行,从而每秒生成三倍数量的token。这使得整体运营成本降低了约三倍,远超出了单纯硬件规格所能带来的预期收益。

图片

随着NVIDIA推出GB300 GPU,其供应链和提供的组件发生了重大变化。此前,针对GB200,NVIDIA提供了完整的Bianca板(包括Blackwell GPU、Grace CPU、512GB的LPDDR5X内存、VRM内容等集成在一个PCB上),以及交换托盘和铜背板。然而,对于GB300,NVIDIA采取了不同的策略,仅提供核心组件,并允许更多原始设备制造商(OEM)和原始设计制造商(ODM)参与计算模块的制造。

图片

NVIDIA将只提供B300 GPU作为“SXM Puck”模块,而不是整个Bianca板。这种转变使得更多的OEM和ODM能够参与到计算模块的生产中来。Grace CPU将以BGA封装形式单独提供,不再集成在Bianca板上。高带宽内存(HBM)控制器(HMC)将由美国初创公司Axiado提供,取代了GB200上的Aspeed产品。

图片

在GB200时代,NVIDIA选择了直接焊接在Bianca板上的512GB LPDDR5X作为主存方案。GB300,然而,在GB300的设计中,为了提高灵活性并降低成本,NVIDIA决定二级内存采用可插拔式的LPCAMM模块来替代传统的焊接内存,这一变化不仅简化了制造过程,还允许用户根据具体需求灵活配置内存容量和类型。

面对数据中心空间有限以及对更高密度内存解决方案的需求,NVIDIA提出了全新的SOCAMM(Space-Optimized CAMM)概念。SOCAMM旨在通过紧凑的设计实现最大化的存储容量,同时保持优异的性能表现。它特别适用于那些需要在有限的空间内部署大量计算资源的应用场景,如超大规模数据中心、边缘计算节点等。

近日,美光(Micron)与 SK 海力士(SK hynix)在存储技术领域迈出了重要一步,推出了新型的 LPDDR5X SOCAMM 内存,最高容量可达 128GB,并首次在英伟达(Nvidia)的 GB300 系统中亮相。这一创新成果为人工智能(AI)和低功耗服务器领域带来了全新的解决方案,有望重塑相关行业的内存应用格局。

SOCAMM,其尺寸仅为14x90mm,约为传统RDIMM的三分之一 。然而,“小身材”却蕴含着“大能量”,它最多可承载四个16芯片的LPDDR5X内存堆栈。美光的初始SOCAMM模块就提供了高达128GB的容量,这一容量规格在当前的内存市场中具备很强的竞争力,能够满足AI和低功耗服务器对大容量内存的需求。

image.png

美光的SOCAMM模块基于其1β(1-beta,第五代10nm级)DRAM工艺技术生产的LPDDR5X内存设备打造。虽然美光并未透露其初始SOCAMM内存棒具体支持的数据传输速率,但表明该内存的额定速度高达9.6 GT/s。

图片

而SK海力士在GTC 2025上展示的SOCAMM额定速度也达到了7.5 GT/s。与相同容量的RDIMM相比,LPDDR5X SOCAMM的带宽提升了2.5倍 ,这意味着数据能够以更快的速度在内存与处理器之间传输,大大提高了系统的数据处理能力,对于AI计算中大量数据的快速读写操作极为有利。

在服务器运行过程中,内存的功耗是一个不可忽视的问题。以配备每插槽TB级DDR5内存的服务器为例,其中DRAM的功耗甚至超过了CPU的功耗 。英伟达围绕LPDDR5X内存设计了Grace CPU,正是看中了LPDDR5X相较于DDR5更低的功耗特性。美光宣称,其128GB的SOCAMM内存功耗仅为同等容量DDR5 RDIMM的三分之一 。低功耗不仅有助于降低服务器的运营成本,还能减少数据中心的散热压力,对于追求绿色节能的数据中心而言,具有重要的意义。

图片

此次推出的LPDDR5X SOCAMM内存将首先应用于基于英伟达GB300 Grace Blackwell Ultra Superchip系统的服务器。

在AI领域,无论是训练还是推理应用,都需要处理海量的数据,这对内存的性能和容量提出了严苛的要求。例如,在AI训练过程中,深度学习模型需要频繁读取和存储大量的参数和数据,高带宽、大容量的内存能够显著加速数据的传输和处理,缩短训练时间。而在推理应用中,如智能语音助手、图像识别系统等,快速的内存响应速度可以使系统更及时地给出准确的结果。

LPDDR5X SOCAMM内存的出现,为英伟达GB300系统在AI计算方面提供了强大的内存支持,有助于进一步挖掘AI的潜力,推动相关应用的发展。

随着云计算和数据中心的发展,低功耗服务器的需求日益增长。低功耗服务器不仅可以降低运营成本,还能减少对环境的影响。LPDDR5X SOCAMM内存凭借其低功耗、高容量和高性能的特点,成为低功耗服务器的理想选择。它能够在保证服务器性能的前提下,有效降低能耗,提升服务器的能效比。这对于构建绿色、高效的数据中心具有重要意义,有助于数据中心运营商在控制成本的同时,满足不断增长的数据处理需求。

尽管LPDDR5X SOCAMM内存展现出了诸多优势,但目前仍存在一些不确定性。例如,SOCAMM是否会成为JEDEC(固态技术协会)支持的行业标准尚未可知。如果能成为行业标准,将有利于其更广泛地推广和应用,促进整个行业的规范化发展;反之,若仅作为美光、三星、SK海力士和英伟达为特定服务器开发的专有解决方案,其应用范围可能会受到一定限制 。但无论如何,LPDDR5X SOCAMM内存的出现都为存储技术的发展注入了新的活力,值得业界持续关注。

如果您看完有所受益,欢迎点击文章底部左下角“关注”并点击“分享”、“在看”,非常感谢!

精彩推荐:

  • 深度解读PCIe相关内存操作原理

  • 基于CXL内存的热数据检测技术解读

  • 学术前沿|专为CXL SSD设计的文件系统

  • 2025伊始,PCIe 7.0的脚步更近了

  • 存储随笔2024年度技术分享总结

  • 浅析下一代NAND接口新特性SCA

  • 2025年CXL强势启航:开启内存扩展新时代

  • PCIe SSD在温变环境的稳健性技术剖析

  • DWPD指标:为何不再适用于大容量SSD?

  • 突破内存墙:DRAM的过去、现在与未来

  • E1.S接口如何解决SSD过热问题?

  • ZNS SSD是不是持久缓存的理想选择?

  • 存储正式迈入超大容量SSD时代!

  • FMS 2024: 带来哪些存储技术亮点?

  • IEEE报告解读:存储技术发展趋势分析

  • PCIe P2P DMA全景解读

  • 深度解读NVMe计算存储协议

  • 浅析不同NAND架构的差异与影响

  • 浅析PCI配置空间

  • 浅析PCIe系统性能

  • 存储随笔《NVMe专题》大合集及PDF版正式发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2324412.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

具身智能 - Diffusion Policy:技术解析与应用实践

具身智能之 Diffusion Policy:技术解析与应用实践 一、Diffusion Policy 的核心概念 Diffusion Policy 是一种基于扩散模型(Diffusion Models)的决策生成框架,专为具身智能(Embodied Intelligence)设计。其核心思想是通过逐步去噪的过程,在复杂环境中生成鲁棒的动作序列…

[C++] 智能指针 进阶

标题:[C] 智能指针 进阶 水墨不写bug 在很久之前我们探讨了智能指针的浅显认识,接下来会更加深入,从源码角度认识智能指针,从而了解智能指针的设计原理,并应用到以后的工作项目中。 本文将会按照C智能指针的发展历史&…

kubernetes》》k8s》》 kubeadm、kubectl、kubelet

kubeadm 、kubectl 、kubelet kubeadm、kubectl和kubelet是Kubernetes中不可或缺的三个组件。kubeadm负责集群的快速构建和初始化,为后续的容器部署和管理提供基础;kubectl作为命令行工具,提供了与Kubernetes集群交互的便捷方式;而…

C++中的new、malloc、realloc、calloc——特点?函数原型?释放方式?区别?校招面试常问内容?

作者:求一个demo 版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处 内容通俗易懂,没有废话,文章最后是面试常问内容(建议通过标题目录学习) 废话不多…

27_promise

插入一下前端助手测试&#xff0c;顺手可以用来做安全 promise promise 是一个es6新增的语法 汉语&#xff1a;承诺的意思 作用:是专门用来解决回调地狱!!!! 什么是回调函数&#xff1f; <script>// 回调函数 callback回调// 就是把函数A当作参数传递到函数B中// 在函…

leetcode刷题日记——跳跃游戏 II

[ 题目描述 ]&#xff1a; [ 思路 ]&#xff1a; 题目要求在一个一定能达到数组末尾的跳跃数组中(见55题 跳跃游戏)&#xff0c;找出能够跳到末尾的最小次数要求次数最少&#xff0c;那肯定是选取能选步数中最大的数。也就是在当前能够达到的距离中&#xff0c;选择能够达到的…

无人机进行航空数据收集对于分析道路状况非常有用-使用无人机勘测高速公路而不阻碍交通-

无人机进行航空数据收集对于分析道路状况非常有用-使用无人机勘测高速公路而不阻碍交通- 瑞士拥有1,400 多公里长的高速公路网络。这些公路将人和货物从山谷高原运送到阿尔卑斯山的最高山口。维护这些高速公路使国家得以顺利运转。高速公路维护的重要性显而易见&#xff0c;但在…

注意力蒸馏技术

文章目录 摘要abstract论文摘要简介方法预备知识注意力蒸馏损失注意力引导采样 实验结论总结参考文献 摘要 本周阅读了一篇25年二月份发表于CVPR 的论文《Attention Distillation: A Unified Approach to Visual Characteristics Transfer》,论文开发了Attention Distillation…

PERL开发环境搭建>>Windows,Linux,Mac OS

特点 简单 快速 perl解释器直接对源代码程序解释执行,是一个解释性的语言, 不需要编译器和链接器来运行代码>>速度快 灵活 借鉴了C/C, Basic, Pascal, awk, sed等多种语言, 定位于实用性语言,既具备了脚本语言的所有功能,也添加了高级语言功能 开源.免费 没有&qu…

鸿蒙项目源码-记账本app个人财物管理-原创!原创!原创!

鸿蒙记账项目源码个人财务管理含文档包运行成功ArkTS语言。 我一个月写的原创作品&#xff0c;请尊重原创。 原创作品&#xff0c;盗版必究&#xff01;&#xff01;&#xff01; api12 SDK5.0.0仅适用于最新的2024版本DevEco studio 共9个页面&#xff1a;广告倒计时页、登录、…

Ovito的python脚本

在 OVITO 里,Python 对象是构建脚本化操作的基础。下面为你详细介绍 OVITO 中 Python 对象的基本概念: 1. 数据管道(Pipeline) 数据管道是 OVITO 里最核心的对象之一。它就像一个流水线,把数据输入进来,经过一系列处理步骤,最后输出处理好的数据。 创建管道:借助 imp…

【免费】2007-2019年各省地方财政文化体育与传媒支出数据

2007-2019年各省地方财政文化体育与传媒支出数据 1、时间&#xff1a;2007-2019年 2、来源&#xff1a;国家统计局、统计年鉴 3、指标&#xff1a;行政区划代码、地区、年份、地方财政文化体育与传媒支出 4、范围&#xff1a;31省 5、指标说明&#xff1a;地方财政在文化、…

NOIP2007提高组.矩阵取数游戏

题目 492. 矩阵取数游戏 思路 不难发现, 每一行之间是独立的, 因此可以求出每一行的最大值, 然后行与行之间最大值相加, 就是总的最大值 对于行内来说, 每次可以选取左边或者右边, 可以使用区间 d p dp dp求解, 时间复杂度 O ( n 3 ) O(n ^ 3) O(n3), 因为列的最大值是 80 …

项目实战--权限列表

后端数据&#xff1a; 用表格实现权限列表 const dataSource [{key: 1,name: 胡彦斌,age: 32,address: 西湖区湖底公园1号,},{key: 2,name: 胡彦祖,age: 42,address: 西湖区湖底公园1号,}, ];const columns [{title: 姓名,dataIndex: name,key: name,},{title: 年龄,dataInd…

若依赖前端处理后端返回的错误状态码

【背景】 后端新增加了一个过滤器&#xff0c;用来处理前端请求中的session 若依赖存放过滤器的目录&#xff1a;RuoYi-Vue\ruoyi-framework\src\main\java\com\ruoyi\framework\security\filter\ 【问题】 后端返回了一个状态码为403的错误&#xff0c;现在前端需要处理这…

【计网】数据包

期末复习自用的&#xff0c;处理得比较草率&#xff0c;复习的同学或者想看基础的同学可以看看&#xff0c;大佬的话可以不用浪费时间在我的水文上了 1.数据包的定义&#xff1a; 数据包是网络通信中的基本单元&#xff0c;它包含了通过网络传输的所有必要信息。数据包的结构…

web权限划分提权和移权

前言&#xff1a;权限的基本认知 渗透权限划分&#xff1a;假如我们通过弱口令进入到web的后台 这样我们就拿到了web的管理员权限 管理员权限是web中最高的权限&#xff08;一般我们进入web的时候数据库会进行用户权限的划分&#xff1a;假设 0-10为最高的权限 11-10000为普通…

LocalDateTime序列化总结

版权说明&#xff1a; 本文由CSDN博主keep丶原创&#xff0c;转载请保留此块内容在文首。 原文地址&#xff1a; https://blog.csdn.net/qq_38688267/article/details/146703276 文章目录 1.背景2.序列化介绍常见场景关键问题 3.总体方案4.各场景实现方式WEB接口EasyExcelMybat…

[ 春秋云境 ] Initial 仿真场景

文章目录 靶标介绍&#xff1a;外网内网信呼oa永恒之蓝hash传递 靶标介绍&#xff1a; Initial是一套难度为简单的靶场环境&#xff0c;完成该挑战可以帮助玩家初步认识内网渗透的简单流程。该靶场只有一个flag&#xff0c;各部分位于不同的机器上。 外网 打开给的网址, 有一…

unity 截图并且展现在UI中

using UnityEngine; using UnityEngine.UI; using System.IO; using System.Collections.Generic; using System; using System.Collections;public class ScreenshotManager : MonoBehaviour {[Header("UI 设置")]public RawImage latestScreenshotDisplay; // 显示…