悄然崛起的英伟达新对手
英伟达都有哪些对手?
当然首选AMD和英特尔。AMD具备AI加速卡业务,融合CPU和GPU设计能力;英特尔作为x86架构的开创者,如今也涉足AI加速卡领域。它们的产品在参数上与英伟达对标,同时在定位和售价方面展开激烈竞争。
英伟达的竞争对手博通和Marvell组成统一战线,推出创新定制芯片,逐步取代传统通用AI加速卡,给英伟达带来新的挑战。
而在网络领域,英伟达也迎来了自己的对手。
英伟达独占AI网络
自21世纪初,云计算与大数据的兴起推动了数据中心的繁荣。在这一进程中,InfiniBand发挥了举足轻重的作用。特别是从2023年起,以ChatGPT为代表的大型AI模型开始依赖于InfiniBand,进一步提升了这一网络技术的社会关注度。
现代数字计算机自诞生以来就一直采用冯·诺依曼体系结构,该体系结构中有CPU(算术逻辑单元和控制单元)、内存(RAM、硬盘)和I/O(输入/输出)设备。20世纪90年代初,为了支持越来越多的外部设备,Intel率先在标准PC架构中引入了外围组件互连(PCI)总线设计。
随着互联网的快速发展,在线业务和用户规模的不断增长对IT系统容量提出了巨大挑战。在摩尔定律的支持下,CPU、内存、硬盘等部件都在飞速进步,而PCI总线的更新换代速度却比较慢,大大限制了I/O性能,成为了整个系统的瓶颈。
为了解决I/O瓶颈问题,Intel、微软和SUN联合制定了“下一代I/O(NGIO)”技术标准,IBM、康柏和惠普则牵头制定了“未来I/O(FIO)”,并于1998年联合制定了PCI-X标准。这些标准旨在提高计算机的I/O性能,从而提高计算机的整体性能。
InfiniBand贸易协会(IBTA)成立于1999年,由FIO开发者论坛和NGIO论坛合并成立。2000年,InfiniBand架构规范1.0版本正式发布。
在1999年5月,几位从英特尔和伽利略科技公司出走的员工在以色列成立了一家叫Mellanox的芯片公司。后来,NGIO与FIO合并,Mellanox也加入了InfiniBand阵营,并于2001年推出了第一款InfiniBand产品。
随着英特尔转向PCIe和微软退出InfiniBand,网络技术正转向计算机集群互联应用领域。新成立的Mellanox逐渐崛起,成为InfiniBand发展过程中的中流砥柱。
InfiniBand技术在2012年以后,随着高性能计算(HPC)需求的不断增长,取得了长足进步,市场份额不断提升。2015年,InfiniBand技术在TOP500榜单中的份额首次突破50%,达到51.4%(257个系统) 。这标志着InfiniBand技术首次成功挑战以太网技术,成为超级计算机首选的内部互连技术 。
而Mellanox也在不断成长:2010年,Mellanox与Voltaire合并,Mellanox和QLogic成为InfiniBand的主要供应商;2013年,Mellanox 进一步进军网络领域,收购硅光技术公司 Kotura 和并行光互连芯片制造商 IPtronics,进一步巩固其行业地位;到 2015 年,Mellanox 已占据全球 InfiniBand 市场80% 的份额。业务范围从芯片扩展到网卡、交换机/网关、远程通信系统、线缆和模块,成为世界级网络供应商。
AI崛起,InfiniBand价值凸显,Mellanox凭借在这项技术上的垄断地位,成为厂商竞相追逐的焦点。
InfiniBand在AI领域的重要性不可忽视。对于构建AI超级计算机,我们可以将其视为由众多图形处理单元(GPUs)组成的集群,这些单元负责执行大量复杂的计算任务。同时,还有一些中央处理单元(CPUs)负责协调整个系统的运行,以及一些DRAM芯片和NAND芯片来存储数据。总体来看,成本分配大约为:50-60%用于GPUs,10-15%用于CPUs和DRAM芯片,5-10%用于NAND芯片。
尽管如此,所有这些芯片仍需相互连接,这便依赖于InfiniBand或以太网电缆这类“网络”技术。它们在硬件成本中所占比例约为10-15%,其目的在于提供尽可能高的带宽,以确保数据能够迅速传输。若无法实现更高的带宽,那么无论在GPUs上投入多少成本,最终都将变得毫无意义。
作为AI领域的先驱,英伟达洞悉行业趋势,果断将重心转向AI。2019年,英伟达以惊人的690亿美元收购Mellanox,超越竞争对手英特尔和微软,后者分别出价600亿和550亿美元。这笔巨额交易为英伟达进军网络技术市场铺平了道路。
黄仁勋,英伟达CEO,阐述收购Mellanox的缘由:“两家全球顶级高性能计算巨头的融合,我们致力加速计算,而Mellanox则专精互连与存储。”
黄仁勋的GPU与网络技术捆绑销售策略,出人意料地取得了巨大成功。据统计,截至今年1月,英伟达年收入翻倍至609亿美元,计算和网络部门销售额飙升215%,占总业务的78%。尽管GPU部分吸引了大量关注,但网络业务同样功不可没。在公司最近的财报电话会议上,黄仁勋透露,InfiniBand收入同比增长五倍,相当于整个计算和网络业务增长速度的两倍。这一模式的成功表明,GPU与网络技术的紧密结合将为英伟达带来更多的商业机会。
英伟达结合Mellanox网络技术,打造出卓越的“计算引擎”,在计算基础设施领域,展现出无可匹敌的领先地位。
英伟达的大威胁
过去,业界普遍采用英伟达的InfiniBand网络解决方案来加速人工智能和机器学习应用。然而,这一选择受限于InfiniBand作为目前最成熟大规模部署网络技术的固有优势,同时也暴露出其局限性:首先,英伟达收购使其成为独家产品;其次,高昂的成本使得普通企业难以承受。
黄仁勋,英伟达CEO,曾以轻松幽默的方式指出,尽管InfiniBand仅占集群成本的20%,却在很大程度上提升了人工智能训练性能,达到收回成本的效果,因此被看作是“免费”的。然而,这样的观点过于简化。实际上,客户需先投入相当于集群成本20%的资金,才能充分发挥集群的潜力,从而创造出120%的性能。
相较而言,基于以太网的集群成本仅需额外10%,甚至更低。尽管在性能上难以与InfiniBand匹敌,但其低价吸引了一部分用户。如今,高性能网络竞争集中在InfiniBand与高速以太网之间。资源充足的厂商倾向于选择InfiniBand,而注重性价比的厂商可能更青睐高速以太网。
尽管如此,财力雄厚的大企业也在寻求更经济、更合适的网络方案,英伟达与InfiniBand面临持续挑战。
【独家】2023年7月,Linux基金会隆重宣布成立超级以太网联盟!该联盟汇聚了业界翘楚,包括AMD、Arista、Broadcom、思科、Eviden、HPE、英特尔、Meta和微软等巨头,共同致力于优化以太网技术,满足高性能计算和人工智能系统对低延迟和可扩展性的巨大需求。让我们拭目以待,这一行业颠覆性变革即将拉开序幕!
该联盟致力于创新,其首要任务是开发并定义一种新的传输层协议——超以太网传输(UET)。这种协议专为满足人工智能和高性能计算(HPC)工作负载的需求而设计,将提供更优质的网络传输服务。
在高级层面,超以太网联盟致力于通过微创手术式的方法优化以太网,仅对实现目标的关键部分进行调整。自成立之初,该联盟就专注于提升以太网技术的软件和物理层面,同时保持其基本架构不变,以确保成本效益和跨平台兼容性。
"我们的技术目标聚焦于开发超以太网通信的规范、应用接口和源代码,塑造协议、接口和数据结构的统一框架。不仅如此,我们积极探索更新现有链路传输协议,创新遥测、信令、安全及拥塞机制,以满足大型AI计算集群的复杂需求。考虑到人工智能与高性能计算各异的工作负载特性,我们还特别设计了UET以提供针对性的部署配置方案。"
得益于超级以太网联盟,以太网在AI工作负载方面的挑战得到解决,进一步推动其在传统HPC工作负载中的广泛应用。这为以太网网络公司提供了反击InfiniBand的良机。
超级以太网联盟成员之一,以太网络公司Arista Networks在今年2月的财报电话会议中,其首席执行官Jayshree Ullal解释了InfiniBand和以太网之间的区别:“如你所知,从历史上看,当单独考虑InfiniBand和以太网时各有优势。
传统上,InfiniBand被认为是无损的,而以太网被认为有一些损失特性。然而当你实际将一个完整的GPU集群连同光学设备等一同考虑,并查看所有数据包大小上的任务完成时间一致性时,数据——包括来自博通的第三方数据——显示在现实环境中比较这些技术,以太网的任务完成时间大约快10%。
所以,你可以孤立地看待这些技术,也可以在实际集群中看待它们。而在实际集群中,我们已经看到以太网的改进。请记住,这只是我们今天所知的以太网。一旦我们有了超级以太网联盟和一些改进,比如数据包喷洒、动态负载平衡和拥塞控制,我相信这些数字会变得更好。”
Arista以太网在任务完成速度上超越InfiniBand约10%,这一出人意料的表现,尤其鉴于InfiniBand在当前GPU集群中的广泛应用。Jefferies分析师George Notter在会议后如是说。
他认为,英伟达成功的关键在于将GPU与InfiniBand捆绑销售。如今,由于GPU积压订单减少,使用InfiniBand的动机也可能减弱。这对Arista和博通(一家以太网网络公司)来说无疑是个好消息。
在四个主要的AI以太网集群中,Arista成功战胜了InfiniBand。从试验到试点,每年连接数千个GPU,这一成果由Arista首席执行官Jayshree Ullal解释。
Arista上季度业绩亮眼,3个月收入同比增长16%,每股收益大增44%。分析师预计,随着AI基础设施投资的持续增加,这一增长势头将进一步强化。
微软和Meta是Arista约40%的业务来源,这两家公司已宣布明年将继续加大资本支出。Jefferies分析师George Notter最近将Arista评级从持有上调至买入,并指出:“GPU基础设施(包括以太网)部署热潮将持续不衰。”
博通,一家网络技术巨头,在“部署热潮”中同样收获颇丰。截至2月4日的三个月,其收入同比增长34%,高达120亿美元,其中网络收入更是激增46%,达到33亿美元。这一成绩的取得,得益于博通两大超大规模客户对AI加速器的强烈需求,首席执行官Hock Tan在财报电话会议上如是解释。
网络硬件需求超预期,大型企业和AI数据中心客户强劲需求推动博通网络业务增长。全年增长预期上调至35%,今年收入预计达500亿美元,同比增长40%。
国外媒体nextplatform提出了一个有趣的数学问题:Arista Networks 在 AI 集群互连销售中每赚取 7.5 亿美元,英伟达可能会损失 15 亿至 22.5 亿美元。在过去的 12 个月中,粗略估计英伟达在 InfiniBand 网络方面的销售额为 64.7 亿美元,而数据中心的 GPU 计算销售额为 397.8 亿美元,在四比一的分红率和稳定的市场条件下,英伟达可以保留约 13 亿美元,而超级以太网联盟可以保留 17 亿至 26 亿美元,如果一切保持不变,InfiniBand 的销售目标将达到 120 亿美元。
超级以太网联盟的成员有机会在市场上占据重要地位,他们将采取与Linux对Unix的策略相似的方式来争夺市场份额,即通过从系统中移除收入。这种方式并非简单地将收入从一种技术转换为另一种技术,而是将节省下来的资金重新投入到GPU中,进一步提升竞争力。
挑战英伟达
英伟达在网络领域面临挑战,其核心业务GPU正受到AMD、英特尔、博通等巨头的竞争。尽管市值高达3万亿美元,但压力仍然不小。
在网络市场中,Arista虽然目前规模尚小,与英伟达数十亿美元的营收相比,短期内难以匹敌。然而,巨头们对AI集群网络垄断的担忧为Arista提供了快速发展的契机。随着时间的推移,Arista有望成为英伟达的新竞争对手。
-对此,您有什么看法见解?-
-欢迎在评论区留言探讨和分享。-