黄仁勋最新专访：机器人基础模型可能即将出现，新一代GPU性能超乎想象

最近，《连线》的记者采访了英伟达CEO黄仁勋。

记者表示，与Jensen Huang交流应该带有警告标签，因为这位Nvidia首席执行官对人工智能的发展方向如此投入，以至于在经过近 90 分钟的热烈交谈后，我（指代本采访的记者，下同）确信未来将是神经网络的涅槃。我还可以看到这一切：机器人复兴、医疗天赐物（medical godsends）、自动驾驶汽车、有记忆的聊天机器人。该公司圣克拉拉园区的建筑物并没有起到任何作用。无论我的目光落在哪里，我都会看到三角形中的三角形，这种形状帮助英伟达获得了第一笔财富。

黄是过去一年的风云人物，甚至可能是未来十年。因为科技公司确实对 Nvidia 的超级计算 GPU 爱不释手。这不是以前的 Nvidia，它是 X 代视频游戏显卡的供应商，通过有效渲染无数的三角形使图像变得栩栩如生。这就是英伟达，它的硬件开创了一个我们与计算机对话、计算机与我们对话的世界，最终，根据你与哪位技术专家交谈，它们超越了我们。

在我们的会面中，现年 61 岁的黄穿着他标志性的皮夹克和简约的黑色运动鞋。他在那个星期一早上告诉我，他讨厌星期一早上，因为他星期日工作一整天，开始正式工作周时已经很累了。

黄仁勋制定了一种模式，让英伟达走在每一个科技大趋势的前面。2012 年，一小群研究人员发布了一个名为 AlexNet 的突破性图像识别系统，该系统使用 GPU（而不是 CPU）来处理代码，开启了深度学习的新时代。于是，黄立即指挥公司全力追逐人工智能。2017 年，当谷歌发布了被称为 Transformer 的新型神经网络架构（ ChatGPT 中的T）并引发了当前的人工智能淘金热时，Nvidia 处于完美的位置，可以开始向饥饿的科技公司出售其专注于人工智能的 GPU。

Nvidia 目前占据 AI 芯片市场 70% 以上的销售额，估值刚刚超过 2 万亿美元。2023 年最后一个季度的收入为 220 亿美元，比上年增长 265%。去年其股价上涨了231%。黄要么在他所做的事情上出奇地出色，要么非常幸运——或者两者兼而有之！——每个人都想知道他是如何做到的。

但没有人能永远统治。黄仁勋在人工智能芯片领域的一些挑战者是家喻户晓的名字——谷歌、亚马逊、Meta 和微软——并且在科技领域拥有最雄厚的财力。12月底，半导体公司AMD推出了一款用于人工智能计算的大型处理器，旨在与Nvidia竞争。初创公司也瞄准了这一目标。研究公司 Pitchbook 的数据显示，仅去年第三季度，风险投资家就向人工智能芯片投资了超过 8 亿美元。

究竟黄仁勋是如何看待这些的呢？

黄仁勋：你和我都是斯坦福大学的毕业生。

Lauren Goode：是的。嗯，我读的是新闻专业，而你没有读新闻专业。

黄仁勋：我希望我有。

Lauren Goode：这是为什么？

黄仁勋：嗯，作为领导者和个人，我真正敬佩的人是 Adobe 首席执行官尚塔努·纳拉延 (Shantanu Narayen)。他说他一直想成为一名记者，因为他喜欢讲故事。

Lauren Goode：能够有效地讲述企业的故事似乎是建立企业的重要组成部分。

黄仁勋：是的。战略制定就是讲故事。文化建设就是讲故事。

Lauren Goode：您曾多次说过，您并没有根据宣传材料推销 Nvidia 的想法。

黄仁勋：这是正确的。这实际上是为了讲故事。

Lauren Goode：所以我想从另一位技术主管告诉我的事情开始。他指出，英伟达比亚马逊早一年，但在很多方面，英伟达比亚马逊更有“day one”的做法。您如何保持这种前景？

黄仁勋：坦白说，这确实是一个好词。我每天早上醒来都像第一天一样，原因是我们总是在做一些以前从未做过的事情。它也有脆弱的一面。我们很可能会失败。刚才，我正在开会，我们正在做一些对我们公司来说是全新的事情，但我们不知道如何正确地做。

Lauren Goode：什么是新事物？

黄仁勋：我们正在建设一种新型的数据中心。我们称之为人工智能工厂。按照当今数据中心的构建方式，很多人共享一组计算机并将他们的文件放在这个大型数据中心中。人工智能工厂更像是一台发电机。这是相当独特的。过去几年我们一直在构建它，但现在我们必须将其变成产品。

Lauren Goode：你打算怎么称呼它？

黄仁勋：我们还没有给它命名。但它会无处不在。云服务提供商将构建它们，我们将构建它们。每个生物技术公司都会有它。每个零售公司，每个物流公司。未来的每家汽车公司都将拥有一家制造汽车（实际商品、原子）的工厂，以及一家为汽车制造人工智能（电子）的工厂。事实上，就在我们说话的时候，你看到埃隆·马斯克正在这样做。在思考工业公司未来会是什么样子方面，他远远领先于大多数人。

Lauren Goode：您之前曾说过，您经营的是一个扁平化组织，有 30 到 40 名高管直接向您汇报，因为您希望融入信息流中。最近是什么激起了你的兴趣，让你想，“我最终可能需要在这件事上押注 Nvidia？”

黄仁勋：信息不必像尼安德特人时代那样从组织的顶部流向底部，当时我们没有电子邮件和短信以及所有这些东西。如今，信息流动得更加迅速。因此，不需要从上到下解释信息的分层树。扁平网络使我们能够更快地适应，这是我们所需要的，因为我们的技术发展如此之快。

如果你看看英伟达技术的发展方式，就会发现摩尔定律每隔几年就会翻一番。嗯，在过去 10 年里，我们已经将人工智能进步了大约一百万倍。这是摩尔定律的很多很多倍。如果您生活在一个指数世界中，您不希望信息一次从上到下一层传播。

Lauren Goode：但我问你，你的罗马帝国是什么？这是一个模因。今天的transformer paper是什么版本？现在正在发生什么你觉得会改变一切的事情？

黄仁勋：有几件事。其中之一并没有真正的名字，但它是我们在基础机器人领域所做的一些工作。如果你可以生成文本，如果你可以生成图像，你也可以生成运动吗？答案可能是肯定的。然后，如果您可以生成动作，您就可以理解意图并生成通用版本的清晰度。因此，人形机器人技术应该指日可待。

我认为围绕状态空间模型（SSM：state-space models）的工作可能是下一个transformer，它允许您学习极长的模式和序列，而无需在计算中呈二次方增长。

Lauren Goode：这能带来什么？现实生活中的例子是什么？

黄仁勋：您可以与计算机进行持续很长时间的对话，但上下文永远不会被忘记。您甚至可以暂时改变主题并回到之前的主题，并且可以保留该上下文。您也许能够理解极长链的序列，例如人类基因组。只需查看遗传密码，您就可以了解其含义。

Lauren Goode：我们距离这个目标还有多远？

黄仁勋：从我们有了 AlexNet 到超人的 AlexNet，只用了大约五年的时间。机器人基础模型可能即将出现——或许是明年。从那时起，五年后，您将看到一些非常令人惊奇的事情。

Lauren Goode：哪个行业将从广泛训练的机器人行为模型中受益最多？

黄仁勋：嗯，重工业代表了世界上最大的工业。移动电子并不容易，但移动原子却极其困难。运输、物流、将重物从一个地方移动到另一个地方、发现下一种药物——所有这些都需要了解原子、分子和蛋白质。这些是人工智能尚未影响到的巨大而令人难以置信的行业。

Lauren Goode：你提到了摩尔定律。这个定律现在已经无关紧要了吗？

黄仁勋：摩尔定律现在更多地是一个系统问题，而不是一个芯片问题。更多的是关于多个芯片的互连性。大约 10、15 年前，我们开始了分解计算机的旅程，以便您可以将多个芯片连接在一起。

Lauren Goode：这就是你在 2019 年收购以色列公司 Mellanox 的初衷。Nvidia 当时表示，现代计算对数据中心提出了巨大的要求，而 Mellanox 的网络技术将使加速计算更加高效。

黄仁勋：对，完全正确。我们购买了 Mellanox，这样我们就可以扩展我们的芯片，将整个数据中心变成一个超级芯片，从而实现现代人工智能超级计算机。这实际上是为了认识到摩尔定律已经结束，如果我们想继续扩大计算规模，我们必须在数据中心规模上做到这一点。我们研究了摩尔定律的制定方式，然后说：“不要受其限制。摩尔定律并不是计算的限制。”我们必须抛弃摩尔定律，这样我们才能考虑新的扩展方法。

Lauren Goode：Mellanox 现在被认为是 Nvidia 一次非常明智的收购。早两年，您试图收购全球最重要的芯片 IP 公司之一 Arm，但遭到监管机构的阻挠。

黄仁勋：那太好了！（That would’ve been wonderful!）

Lauren Goode：我不确定美国政府是否同意，但是是的，让我们确定这一点。当您现在考虑收购时，您会关注哪些具体领域？

黄仁勋：这些大型系统的操作系统极其复杂。如何在计算堆栈中创建一个操作系统，以协调 GPU 中数千万、数亿乃至数十亿个微型处理器？这是一个非常困难的问题。如果我们公司外部有团队这样做，我们可以与他们合作，或者我们可以做更多的事情。

Lauren Goode：你的言下之意是否代表着，对于 Nvidia 来说，拥有一个操作系统并将其构建成一个平台至关重要？

黄仁勋：我们已然是一家平台公司。

Lauren Goode：你越成为一个平台，你面临的问题就越多。人们往往会对平台的输出承担更多的责任。自动驾驶汽车的行为方式、医疗保健设备的误差幅度是多少、人工智能系统是否存在偏见。你如何解决这个问题？

黄仁勋：不过，我们不是一家应用程序公司。这可能是最简单的思考方式。我们将尽我们所能，但尽可能少地服务于一个行业。因此，就医疗保健而言，药物发现不是我们的专长，计算才是。制造汽车不是我们的专长，但为汽车制造极其擅长人工智能的计算机，才是我们的专长。坦率地说，一家公司很难擅长所有这些事情，但我们可以非常擅长其中的人工智能计算部分。

Lauren Goode：去年有报道称，您的一些客户为您的 AI GPU 等待了几个月。现在情况怎么样？

黄仁勋：嗯，我认为今年我们不会赶上供应。今年不会，明年也可能不会。（Well, I don’t think we’re going to catch up on supply this year. Not this year, and probably not next year.）

Lauren Goode：目前的等待时间是多少？

黄仁勋：我不知道现在的交货时间是多少。但是，你知道，今年对我们来说也是新一代的开始。

Lauren Goode：您是指 Blackwell，您传闻中的新 GPU 吗？

黄仁勋：是的，新一代 GPU 即将问世，Blackwell 的性能超乎想象。这将是令人难以置信的。

Lauren Goode：这是否意味着客户需要更少的 GPU？

黄仁勋：这就是目标。目标是极大地降低训练模型的成本。然后人们可以扩大他们想要训练的模型的规模。

Lauren Goode：英伟达投资了很多人工智能初创公司。去年有报道称，您投资了 30 多家初创公司。这些初创公司是否会在购买您的硬件时排长队？

黄仁勋：他们和大家一样面临着供应紧张的问题，因为他们大多数都使用公有云，所以他们不得不自己与公有云服务提供商进行谈判。不过，他们确实获得的是我们的人工智能技术，这意味着他们可以使用我们的工程能力和我们优化其人工智能模型的特殊技术。我们让他们变得更有效率。如果您的吞吐量增加五倍，您实际上会多获得五个 GPU。这就是他们从我们那里得到的。

Lauren Goode：在这方面你认为自己是一个造王者吗？

黄仁勋：不。我们投资这些公司是因为他们的工作令人难以置信。能够投资它们是我们的荣幸，而不是相反。他们是世界上一些最聪明的人。他们不需要我们来支持他们的信誉。

Lauren Goode：当机器学习更多地转向推理而不是训练时（基本上，如果人工智能工作的计算强度降低）会发生什么？这会减少对 GPU 的需求吗？

黄仁勋：我们喜欢推理。事实上，我想说，如果我猜的话，Nvidia 今天的业务可能是 70% 的推理，30% 的训练。这是一件好事，因为那时你就会意识到人工智能终于成功了。如果 Nvidia 的业务 90% 是训练，10% 是推理，你可能会说人工智能仍处于研究阶段。七八年前就是这样。但今天，每当您在云中输入提示时，它都会生成一些内容 - 它可以是视频，可以是图像，可以是 2D，可以是 3D，可以是文本，可以是图形 - 它是最有可能的是它背后有一个 Nvidia GPU。

Lauren Goode：您是否认为 AI GPU 的需求会在任何时候减弱？

黄仁勋：我认为我们正处于生成式人工智能革命的开端。如今，世界上进行的大部分计算仍然基于检索。检索意味着您触摸手机上的某些内容，它会向云端发送信号以检索一条信息。它可能会用一些不同的东西组成一个响应，并使用 Java 将其呈现在您的手机的漂亮屏幕上。未来，计算将更加基于 RAG（Retrieval-augmented generation：检索增强生成，这是一个框架，允许大型语言模型从其通常参数之外提取数据），它的检索部分会更少，而个性化生成部分会高得多。

Lauren Goode：您多次说过，您的超级计算机中的 35,000 个组件中，有 8 个来自台积电。当我听到这个时，我想这一定是很小的一部分。您是否正在淡化对台积电的依赖？

黄仁勋：一点都不。一点也不。

Lauren Goode：那么你想表达什么观点呢？

黄仁勋：我只是强调，为了构建人工智能超级计算机，还涉及很多其他组件。事实上，在我们的人工智能超级计算机中，几乎整个半导体行业都与我们合作。我们已经与三星、SK 海力士、英特尔、AMD、博通、Marvell 等密切合作。在我们的人工智能超级计算机中，当我们成功时，一大堆公司也会与我们一起成功，我们对此感到高兴。

Lauren Goode：您多久与台积电的张忠谋或刘德音交谈一次？

黄仁勋：每时每刻。不断地。是的。不断地。

Lauren Goode：你们的谈话是什么样的？

黄仁勋：这些天我们谈论先进封装，规划未来几年的产能，先进的计算能力。CoWoS [台积电将芯片芯片和内存模块塞入单个封装的专有方法] 需要新工厂、新生产线和新设备。所以他们的支持真的非常非常重要。

Lauren Goode：我最近与一位专注于生成人工智能的首席执行官进行了交谈。我问 Nvidia 的竞争对手可能是谁，这个人建议是谷歌的 TPU。其他人提到AMD。我想这对你来说并不是一个二元对立的问题，但你认为谁是你最大的竞争对手？谁让你彻夜难眠？

黄仁勋：Lauren，他们都这样做。TPU 团队非常出色。最重要的是，TPU 团队真的很棒，AWS Trainium 团队和 AWS Inferentia 团队真的非常出色，非常优秀。微软正在进行内部 ASIC 开发，称为 Maia。中国的每个云服务提供商都在构建内部芯片，还有一大堆初创公司以及现有的半导体公司正在构建出色的芯片。每个人都在构建芯片。

这不应该让我彻夜难眠——因为我应该确保我已经因工作而精疲力尽，以至于没有人可以让我彻夜难眠。这确实是我唯一能控制的事情。

但早上叫醒我的肯定是，我们必须继续兑现我们的承诺，也就是说，我们是世界上唯一一家每个人都可以合作构建数据中心规模人工智能超级计算机的全堆栈公司。

Lauren Goode：我有一些个人问题想问你。

黄仁勋：[黄对公关代表说]她已经做好了功课。更不用说，我只是很享受这次谈话。

Lauren Goode：我很高兴。我也是。我确实想——

黄仁勋：顺便说一句，每当张忠谋或我认识很久的人要求我担任采访主持人时，原因是我不会坐在那里通过提问来采访他们。我只是在和他们交谈。你必须对观众以及他们可能想听的内容抱有同理心。

Lauren Goode：所以我向 ChatGPT 询问了一个关于你的问题。我想知道你是否有纹身，因为我打算在下次聚会时提议给你纹身。

黄仁勋：如果你纹身，我也纹一个。

Lauren Goode：我已经有了一个，但我一直在寻求扩展。

黄仁勋：我也有一个。

Lauren Goode：是的。这是我从 ChatGPT 学到的。据称，黄仁勋在股价达到 100 美元时纹了公司标志。然后它说，“然而，黄表示他不太可能再纹身，并指出疼痛比他预期的更剧烈。”据说你哭了。你哭了吗？

黄仁勋：一点点。我的建议是，在这样做之前你应该喝一杯威士忌。或者服用Advil。我还认为女性可以承受更多的痛苦，因为我女儿有一个相当大的纹身。