HBM(High Bandwidth Memory)

news2024/11/16 17:55:21

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

选择正确的高带宽内存

构建高性能芯片的选择越来越多,但附加内存的选择却几乎没有变化。为了在汽车、消费和超大规模计算中实现最大性能,选择取决于一种或多种 DRAM,而最大的权衡是成本与速度。

尽管多年来人们一直在努力用更快、更便宜或更通用的内存来取代 DRAM,甚至将其嵌入到 SoC 中,但 DRAM 仍然是所有这些架构中的重要组成部分。但 DRAM 制造商并没有停滞不前,而是根据性能、功耗和成本提供了多种选择。这些仍然是基本的权衡,要进行这些权衡,需要深入了解如何使用内存、如何连接所有部件,以及芯片或使用芯片的系统的关键属性是什么。

Rambus产品管理高级总监 Frank Ferro 表示:“即使在宏观经济形势下,我们仍然看到对更多带宽内存的需求呈非常积极的趋势。 ” “有很多公司正在研究不同类型的内存架构。这包括解决带宽问题的各种方法,无论是具有大量片上内存的处理器还是其他方式。虽然这种方法是最便宜、最快的,但容量相当低,因此人工智能算法必须针对这种类型的架构进行定制。”

小芯片

这仍然没有减少对附加内存的需求。总体而言,向异构计算(尤其是小芯片)的发展只会加速对高带宽内存(无论是 HBM、GDDR6 还是 LPDDR6)的需求。

HBM 是三者中最快的。但到目前为止,HBM 一直基于 2.5D 架构,这限制了它的吸引力。“制作 2.5D 中介层仍然是相对昂贵的技术,”Ferro 说。“供应链问题并没有太大帮助。在过去的两年里,这种情况有所缓解,但它确实凸显了您在制作这些复杂的 2.5D 系统时的一些问题,因为您必须组合大量组件和基板。如果其中任何一件不可用,就会扰乱整个流程或导致较长的交货时间。”

一段时间以来,人们一直致力于将 HBM​​ 连接到其他一些封装方法,例如扇出,或使用不同类型的中介层或桥来堆叠芯片。随着更前沿的设计包括某种类型的先进封装以及可能在不同工艺节点开发的异构组件,这些将变得至关重要。

“许多 HBM 空间实际上更多的是制造问题,而不是 IP 问题,” Cadence IP 小组产品营销小组总监 Marc Greenberg 说。“当您拥有一个内部带有硅中介层的系统时,您需要弄清楚如何构建一个带有硅中介层的系统。首先,您将如何在那里制造硅中介层?它比普通硅芯片大得多。它必须被稀释。它必须粘合到其上的各种芯片上。它需要被包装。HBM 解决方案涉及大量专业制造。这最终超出了 IP 领域,更多地属于 ASIC 供应商和 OSAT 所做的领域。”
在这里插入图片描述

汽车中的高带宽内存

HBM 引起广泛关注的领域之一是汽车领域。但仍有一些障碍需要克服,而且目前还没有解决这些问题的时间表。

Synopsys产品营销总监 Brett Murdock 表示:“HBM3 具有高带宽、低功耗的特点,并且具有良好的密度。” “唯一的问题是它很贵。这是那段记忆的一个失败。HBM 的另一个缺点是它尚不符合汽车行业的要求,尽管它非常适合汽车行业。在汽车领域,正在发生的一件有趣的事情是所有电子设备都变得集中化。当这种集中化发生时,基本上现在你的后备箱里就有了一台服务器。发生的事情如此之多,因此不一定总是发生在单个 SoC 或单个 ASIC 上。因此,现在汽车公司开始研究小芯片以及如何在设计中使用小芯片以获得该集中式域中所需的所有计算能力。巧妙的是,小芯片的潜在用途之一是与中介层一起使用。如果他们现在使用中介层,他们就无法解决 HBM 的中介层问题。他们正在解决小芯片的中介层问题,也许 HBM 也能参与其中。然后,如果他们已经在为车辆进行小芯片设计,也许它就不再那么昂贵了。”

HBM 非常适合该领域,因为车辆中需要快速移动的数据量很大。“如果你考虑一下汽车中摄像头的数量,所有这些摄像头的数据速率以及处理所有信息的速度都是天文数字。HBM 是所有汽车行业人士都想去的地方。”Murdock 说道。“对于他们来说,成本可能并没有那么高,因为它只是解决技术、解决汽车内插器以及解决 HBM 设备的汽车温度问题。

不过,这可能需要一段时间。与此同时,GDDR 似乎是后起之秀。虽然它的吞吐量比 HBM 更有限,但它仍然足以满足许多应用的需求,并且已经符合汽车标准。

Rambus 的 Ferro 表示:“HBM 绝对会进入汽车应用领域,在汽车领域,汽车可以与不动的物体进行对话。” “但在车辆方面,GDDR 做得很好。LPDDR 已经出现在汽车中,您可以用 GDDR 替换大量 LPDDR,获得更小的占用空间和更高的带宽。然后,随着人工智能处理能力的提高,LPDDR5 和 LPDDR6 开始达到相当可观的速度(现在分别接近 8Gbps 和 10Gbps),它们也将成为汽车中非常可行的解决方案。仍然会有少量 DDR,但 LPDDR 和 GDDR 将成为汽车领域最受欢迎的技术。”

Cadence 的 Greenberg 表示,这种方法可能会在相当长的一段时间内发挥作用。“仅使用标准 PCB 和标准制造技术的解决方案似乎比尝试在方程中引入硅中介层并验证其温度、振动或 10 年寿命更明智。寿命。试图验证车辆中的 HBM 解决方案似乎比 GDDR-6 面临更大的挑战,GDDR-6 可以将内存放置在 PCB 上。如果我在一家汽车公司负责一些汽车项目,我只会选择HBM作为最后的选择。”

边缘 AI/ML 内存需要

GDDR 和 LPDDR5,甚至可能是 LPDDR6,在某些边缘加速卡上也开始看起来像是可行的解决方案。

“对于进行边缘 AI 推理的 PCIe 卡,多年来我们已经在 NVIDIA 等公司的加速卡中看到了 GDDR,”Ferro 说。“现在我们看到越来越多的公司愿意考虑替代方案。例如,Achronix 在其加速卡中使用 GDDR6,并开始研究如何使用 LPDDR,尽管速度仍约为 GDDR 的一半。它正在缓慢上升,并且密度增加了一些。这是另一个解决方案。这些给出了一个很好的权衡。它们提供了性能和成本优势,因为它们仍然使用传统的 PCB。您将它们焊接在芯片上。如果您过去使用过 DDR,则可以丢弃大量 DDR,并用一个 GDPR 或两个 LPDDR 替换它们。这就是我们现在看到的很多情况,因为开发人员试图找出如何在成本、功耗和价格之间达到适当的平衡。这始终是一个边缘挑战。”

一如既往,权衡是许多因素的平衡。

格林伯格指出,在当前人工智能革命的早期阶段,第一批 HBM 存储器正在被使用。“人们采用了一种不考虑成本/不考虑带宽的方法。HBM 非常自然地融入其中,有人希望有一个典型的例子来说明他们可以从系统中获得多少带宽。他们将构建基于 HBM 的芯片,根据该芯片的性能指标获得风险投资资金,而且没有人真正太担心这一切的成本是多少。现在我们看到的是,也许您需要一些好的指标,也许是使用 HBM 可以实现的 75%,但您希望它的成本只有一半。我们该怎么做呢?我们所看到的 GDDR 的吸引力在于它可以实现成本更低的解决方案,但带宽绝对接近 HBM 空间。”

Murdock 也看到了做出正确内存选择的困难。“由于带宽要求较高,他们通常会做出成本权衡决定。我是否应该选择 HBM?如果不是考虑到成本因素,HBM 通常非常适合该应用程序?有客户向我们询问 HBM,试图在 HBM 和 LPDDR 之间做出选择。这确实是他们做出的选择,因为他们需要带宽。他们可以在这两个地方之一得到它。我们已经看到工程团队在 SoC 周围放置了多达 16 个 LPDDR 接口实例,以满足他们的带宽需求。当你开始谈论这么多实例时,他们会说,“哦,哇,HBM 真的非常适合这个要求。” 但这仍然归结为成本,因为许多公司只是不想支付 HBM3 带来的溢价。”

HBM 还存在架构方面的注意事项。“HBM 一开始就是一种多通道接口,因此使用 HBM,一个 HBM 堆栈上就有 32 个伪通道,”Murdock 说。“有 16 个通道,所以实际上有 32 个伪通道。伪通道是您在每个伪通道的基础上执行实际工作负载的地方。因此,如果您有 16 个伪通道,而不是在 SoC 上放置许多不同的 LPDDR 实例,那么在这两种情况下,您都必须弄清楚流量将如何瞄准整个通道中的整体地址空间定义。在这两种情况下,你都有很多渠道,所以也许并没有太大的不同。”

对于 AI/机器学习开发人员来说,LPDDR 通常采用 bi-32 封装,然后具有 2-16 位通道。

“你需要在你的架构中做出一个基本的选择,”他解释道。“从系统的角度来看,我是否将内存上的这两个 16 位通道视为真正独立的通道?或者我是否将它们集中在一起并使其看起来像一个 32 位通道?他们总是选择 16 位通道,因为这为他们提供了更高的性能接口。在内存中,我有两个通道。我的打开页面数量是我可能点击的两倍,并通过页面点击减少了整体系统延迟。拥有更多更小的通道可以使系统性能更好,这就是我们在 HBM 中看到的情况。从 HBM2e 到 HBM3,我们专门放弃了通道和伪通道大小,以应对此类市场。我们甚至在 DDR4 的 DDR5 中看到了这一点。我们从 DDR4 中的 64 位通道改为 DDR5 中的一对 32 位通道,每个人都喜欢较小的通道尺寸,以帮助提高整体系统性能。”

对于边缘人工智能推理,Greenberg 一直在观察这些应用走到最前沿,并发现 GDDR-6 是一项伟大的技术。“有很多芯片都希望拥有这种功能。这使得人工智能推理接近边缘,因此您可以接收多个摄像头输入或多个其他传感器输入。然后,在边缘使用人工智能,您可以深入了解正在处理的数据,而不是将所有数据发送回服务器来执行该功能。”

格林伯格预计很快就会出现大量芯片,这些芯片将具有各种有趣的功能,而无需将大量数据发送回服务器。他预计 GDDR6 将在那里发挥重要作用。

“前几代 GDDR 主要针对显卡,”他说。“GDDR6 具有很多功能,使其更适合作为通用内存。事实上,虽然我们确实有用户将其用于显卡,但大多数实际上是将其用于人工智能边缘应用程序,”格林伯格说。“如果您需要尽可能多的带宽,并且不关心它的成本是多少,那么 HBM 是很好的解决方案。但如果您不需要那么多带宽,或者成本是一个问题,那么 GDDR6 在该领域会发挥有利作用。GDDR6的优点是可以在标准FR4 PCB上完成。制造过程中不需要特殊材料。没有特殊的工艺,甚至PCB本身也不需要进行背钻。它不需要隐藏的通孔或类似的东西。”

最后,GDDR 领域的最后一个趋势是努力使 GDDR 对消费者更加友好。“它仍然有一些非常受图形引擎青睐的规范部分,但作为一项技术,GDDR 正在向消费者方向发展,”他说。“随着 GDDR 类型技术的更广泛部署,它将继续朝这个方向发展。”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1485819.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【MySQL】索引(重点)-- 详解

一、索引 没有索引,可能会有什么问题? 索引 :提高数据库的性能,索引是物美价廉的东西了。不用加内存,不用改程序,不用调 sql ,只要执行正确的 create index ,查询速度就可能提高成…

06.QT信号和槽-1

一、信号和槽概述 在Qt中,用户和控件的每次交互过程称为一个事件。比如"用户点击按钮"是一个事件,"用户关闭窗口"也是一个事件。每个事件都会发出一个信号,例如用户点击按钮会发出"按钮被点击"的信号&#xff…

武汉灰京文化:多样化推广与创新引领游戏行业

作为专业的游戏推广服务商,武汉灰京文化注重多样化的推广策略,通过与各大媒体、社交平台和游戏社区建立紧密的合作关系,为游戏企业提供全方位的推广服务。他们通过精确的广告投放、内容创作和社交媒体互动等方式,将游戏信息传播给…

MySQL 核心模块揭秘 | 07 期 | 二阶段提交 (1) prepare 阶段

二阶段提交的 prepare 阶段,binlog 和 InnoDB 各自会有哪些动作? 本文基于 MySQL 8.0.32 源码,存储引擎为 InnoDB。 1. 二阶段提交 二阶段提交,顾名思义,包含两个阶段,它们是: prepare 阶段。…

xxl-job--02--可视化界面各功能详细介绍

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 可视化界面1 新增执行器2.新增任务**执行器**:**任务描述**:**路由策略**:**Cron**:cron表达式**运行模式**JobHandl…

YOLO算法

YOLO介绍 YOLO,全称为You Only Look Once: Unified, Real-Time Object Detection,是一种实时目标检测算法。目标检测是计算机视觉领域的一个重要任务,它不仅需要识别图像中的物体类别,还需要确定它们的位置。与分类任务只关注对…

【Python】进阶学习:pandas--query()用法详解

📚【Python】进阶学习:pandas–query()用法详解 🌈 个人主页:高斯小哥 🔥 高质量专栏:Matplotlib之旅:零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程👈 希…

Docker知识点总结

二、Docker基本命令: Docker支持CentOs 6 及以后的版本; CentOs7系统可以直接通过yum进行安装,安装前可以 1、查看一下系统是否已经安装了Docker: yum list installed | grep docker 2、安装docker: yum install docker -y -y 表示自动确认…

RH850P1X芯片学习笔记-Generic Timer Module -ATOM

文章目录 ARU-connected Timer Output Module (ATOM)OverviewGLOBAL CHANNEL CONTROL BLOCK ATOM Channel architectureATOM Channel modesSOMP-Signal Output Mode PWMSOMP - ARUSOMC-Signal Output Mode CompareSOMC - ARUSOMC – COMPARE COMMANDSOMC – OUTPUT ACTIONATOM …

【如何像网吧一样弄个游戏菜单在家里】

GGmenu 个人家庭版游戏、应用管理 桌面图标管理器

【笔试强训错题选择题】Day5.习题(错题)解析

文章目录 前言 错题题目 错题解析 总结 前言 错题题目 1. ​ ​ 2. 3. ​ 4. ​ 5. ​ 错题解析 1. 移位运算符的使用 2. 3. 4. 5. 总结

应用机器学习回归离群值处理

异常值可能会破坏机器学习模型的运转,导致结果出现偏差并影响准确性。在这篇博文中,我们将深入研究应用机器学习领域,并探索使用 Python 识别和处理异常值的有效技 了解异常值 离群值是与数据集其余部分显着偏差的数据点。它们可能是错误、异…

土壤类型数据

国家地球系统科学数据中心

3、Linux-命令提示符与常用命令(一)

目录 一、命令提示符 二、命令格式 三、常用命令(一) 0、clear:清空终端窗口的内容。 1、ls:列出当前目录或指定目录下的文件和子目录 2、pwd:显示当前所在工作目录的完整路径。 3、cd:切换目录。 …

【MySQL】深入解析 Buffer Pool 缓冲池

文章目录 1、前置知识1.1、Buffer Pool介绍1.2、后台线程1.2.1、Master Thread1.2.2、IO Thread1.2.3、Purge Thread1.2.4、Page Cleaner Thread 1.3、重做日志缓冲池 2、Buffer Pool 组成2.1、数据页2.2、索引页2.3、undo页2.4、插入缓冲2.5、锁空间2.6、数据字典2.6、自适应哈…

金三银四求职攻略:如何在面试中脱颖而出

随着春天的脚步渐近,对于众多程序员来说,一年中最繁忙、最重要的时期也随之而来。金三银四,即三月和四月,被广大程序员视为求职的黄金时段。在这段时间里,各大公司纷纷开放招聘,求职者们则通过一场又一场的…

搜索算法(算法竞赛、蓝桥杯)--双向DFS+二分查找

1、B站视频链接&#xff1a;B26 双向DFS 送礼物_哔哩哔哩_bilibili #include <bits/stdc.h> using namespace std; int n,m; int g[46];//存储所有物品的质量 int w[1<<23];//存储所有能凑出来的重量 int ans,cnt;//w的个数是cnt//搜索第u个数&#xff0c;和为s; …

Java数据类型(八种基本数据类型 + 四种引用类型)、数据类型转换

1.总览 Java的数据类型只有两大类&#xff1a;8大基本数据类型与引用数据类型。其中基本数据类型又被称为值类型 基本数据类型&#xff1a;6种数字类型&#xff08;byte/short/int/long/float/double&#xff09;、1种字符型&#xff08;char&#xff09;、1种布尔型&#xff…

Java中常见延时队列的实现方案总结

&#x1f3f7;️个人主页&#xff1a;牵着猫散步的鼠鼠 &#x1f3f7;️系列专栏&#xff1a;Java全栈-专栏 &#x1f3f7;️个人学习笔记&#xff0c;若有缺误&#xff0c;欢迎评论区指正 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&…

爬虫的一些小技巧总结

一、在爬虫中&#xff0c;爬取的数据类型如下 1.document:返回的是一个HTML文档 2.png:无损的图片&#xff0c;jpg:压缩后的图片,wbep:有损压缩&#xff0c;比png差&#xff0c;比jpg好 3.avgxml图像编码字符串 4.script:脚本文件&#xff0c;依据一定格式编写的可执行的文…