永结无间Ⅱ--大语言模型最终会代替人类吗？

涵盖的主题

当前大语言模型的缺点
为何大语言模型 (LLM) 缺乏常识？
自主智能的架构
相信超级智能的人的说法
源于对智力误解的错误推理
环境对个人智力有严格限制
智力是外在的，存在于文明发展之中
无论人工智能变得多么聪明，它都无法扩展
递归式自我改进系统
下一代人工智能系统是什么样的？
人类大脑的智能设计
概括

当前大语言模型的缺点

首先，我想谈谈我在上一篇博客中对 LLM 的优点和缺点的论述。这是一个很好的起点，可以让我们进一步展开讨论。

大语言模型的回答非常笼统。当被要求给出细致入微的立场时，他们表现得很糟糕。
当你要求它发表一些不受欢迎的观点时，它会惨败，尤其是当它是政治上不正确的观点时。
他们无法从不同角度撰写文本，尤其是从反派或坏人的角度。
他们擅长抄袭风格，但写出的内容却平庸无奇。人工智能研究人员对这种行为感到惊讶，我们原以为抄袭风格对于大语言模型来说很难，但实际上，抄袭风格很容易，但模仿论证水平和逻辑流程对于这些系统来说要难得多。
由于它没有信仰体系，所以它无法区分好的和坏的结论。
它不知道何时停止。大语言模型无法进行自我反省，它只是表面上在反省。
当我们谈论多目标问题时，它们真的很糟糕。
如果你问他们一个非常著名的问题的不同版本，他们通常会给出错误的答案。例如第 n 次轮换或农民、山羊和草的问题。
如果你问他们，“你确定吗？”他们会改变答案。
它们可能不是统计鹦鹉，但它们并不像我们想象的那么聪明。它们更可能是一种风格（有时包括智能行为和过程）的复制机器，具有一些理解能力。
它们非常适合创意生成。在 LLM-Modulo 框架中可能效果很好。
当我开始对训练数据的极端情况进行操作时，他们确实遇到了很多困难。
它们非常适合重复的日常任务。
它们可以很好地帮助查找某些内容并纠正给定文本中的语法错误。
当遇到难题时，他们会不断重复相同的答案，尽管他们明确要求他们更改答案。感觉他们陷入了循环。

我希望你们大多数人都相信这里关于 LLM 有效性的大多数观点。让我们继续讨论下一件事，即 LLM 浪费资源和缺乏常识。

为何大语言模型 (LLM) 缺乏常识？

当前 AI 系统（包括大型语言模型 (LLM)）的主要问题之一是，它们通过逐像素或逐标记的方式生成输出来处理生成任务。这种方法计算成本高昂，而且不一定与人类处理信息的方式一致。

根据 Yann LeCun 的说法，从逐像素或逐个标记的生成转向潜在空间中的预测可能会解决当前人工智能系统中的常识推理问题和资源效率低下的问题。

这种逐像素生成的世界并没有掌握世界的底层结构和概念，而只是关注如何获得正确的颜色和形状，这就是这些系统正在优化的，这也是它们不智能的原因。

但是如果模型学会在潜在空间中保持一致，它们可能会在更深层次上理解事物，在输入中改变一些东西不会彻底改变模型的输出，这似乎是当前模型的情况。

让我们尝试理解潜在变量在理解现实世界中的作用。

想象一下，你正在看着一辆车驶近岔路口，但你眨眼间就错过了它要走的路。为了猜测它是左转还是右转，你可能会使用直觉或本地知识。在人工智能和机器学习中，我们用“潜在变量”来处理这种情况。这个变量代表看不见的决定——汽车是左转还是右转。模型使用这个潜在变量进行预测，即使没有直接看到选择。

如果没有潜在变量，如果模型在训练过程中看到一辆车从同一入口点左转，另一辆车右转，它可能会平均结果并预测直行，这是一个错误的选择。这凸显了当前系统缺乏常识推理。

当前的 LLM 系统完全浪费资源进行像素完美预测，而不是理解数据的底层结构，然后使用其他更简单的模型来填充其余细节。阅读下面的文章以更详细地了解 JEPA 架构。它讨论了潜在空间中的模式崩溃和预测。

自主智能的架构

LLM 本质上是相当单一的，为了实现下一组智能功能，它们需要具有模块化，其中系统的不同部分专门设计用于处理特定任务并仅将相关信息传达给其他部分。

让我们来看看 YeCun 提出的具有世界模型的机器的想法。该架构由六个独立模块组成。每个模块都被认为是可微的，因为它可以轻松计算某个目标函数相对于其自身输入的梯度估计，并将梯度信息传播到上游模块。

配置器模块执行执行控制：给定要执行的任务，它会预先配置感知模块、世界模型、成本和当前任务的参与者，可能通过调节这些模块的参数来配置。
感知模块接收来自传感器的信号并估计当前的世界状态。对于给定的任务，感知到的世界状态中只有一小部分是相关且有用的。配置器模块引导感知系统从感知中提取与当前任务相关的信息。
世界模型模块构成了架构中最复杂的部分。它的作用有两个方面：（1）估计感知未提供的有关世界状态的缺失信息，以及（2）预测世界的未来可能状态。世界模型可以预测世界的自然演变，也可以预测由参与者模块提出的一系列动作导致的未来世界状态。世界模型是一种与手头任务相关的世界部分的模拟器。由于世界充满了不确定性，模型必须能够表示多种可能的预测。接近十字路口的司机可能会减速，以防另一辆接近十字路口的汽车没有在停车标志处停车。
成本模块计算单个标量输出，该输出可预测代理的不适程度。它由两个子模块组成：内在成本，它是硬连线且不可变的（不可训练），并计算即时不适（例如对代理的损害，违反硬编码的行为约束等）；以及批评者，这是一个可训练的模块，可预测内在成本的未来值。代理的最终目标是从长远来看最小化内在成本。“这是基本行为驱动力和内在动机所在，”LeCun 说。因此，它将考虑内在成本，例如不浪费能源，以及特定于手头任务的成本。“由于成本模块是可微分的，因此可以通过其他模块反向传播成本梯度以进行规划、推理或学习。”
参与者模块计算动作序列的提议。LeCun 表示：“参与者可以找到一个最佳动作序列，以最小化预计的未来成本，并输出最佳序列中的第一个动作，其方式类似于经典最优控制。”
短期记忆模块跟踪当前和预测的世界状态以及相关成本。

YeCun提出的这个想法比目前任何的大语言模型学位都要更接近大脑的工作方式。

该架构的核心是预测世界模型。构建该模型的一个关键挑战是如何使其能够表示多个合理的预测。

现实世界并非完全可以预测：特定情况的演变方式有很多种，而且情况的许多细节与手头的任务无关。我可能需要预测开车时周围的汽车会做什么，但我不需要预测靠近道路的树木中每片叶子的详细位置。

世界模型如何学习世界的抽象表征，以便保留重要的细节，忽略不相关的细节，并在抽象表征的空间中进行预测？这就是我们创造真正的智能机器所追求的任务。

注意：我知道我还没有讨论过人工智能的神经符号方法来构建 AGI。我们可能会在其他博客中讨论这个问题。未来我们将能够完成很多人类任务，很多事情将高度自动化，但这并不是因为达到了超级智能。最有可能的是，我们将把所有类型的行为和知识作为模式输入，而不是让机器自动弄清楚，因此不太可能出现智能爆炸。

相信超级智能的人的说法

这个想法是，很快会创造出一种解决问题能力略优于人类的人工智能。这种“种子人工智能”会设计出更好的人工智能，从而开始一个快速的自我完善周期，很快将远远超越人类智能。

支持这一理论的人认为，智能就像是一种超能力，赋予拥有智能的人近乎超自然的能力来控制环境，就像电影《超验骇客》（2014 年）中展示的那样。他们认为超级智能 AI 可能变得几乎无所不能，对人类构成重大威胁。

我个人认为，AI 不需要超级智能或超智能就能扰乱当前的世界。更愚蠢的模型至少可以部分做到这一点。

这种科幻想法引发了一场关于人工智能风险和监管必要性的误导性公众辩论。由于世界本身的物理性所设定的严格限制，智能爆炸从根本上来说是不可能的。这种信念源于对智能以及自我改进系统实际运作方式的深刻误解。

未来几个世纪内，很有可能出现超越人类的智能机器，但大语言模型永远无法实现这一目标。我对此非常肯定。

下一代真正智能的机器将受到物理特性的限制，就像我们一样。下一代真正的人工智能将不仅仅是芯片中的智能过程，而是需要与外部世界互动。智能不能独立存在，它存在于现实世界中发生的互动中。

源于对智力误解的错误推理

要谈论智能及其可能的自我改进特性，我们首先应该介绍必要的背景和上下文。当我们谈论智能时，我们在谈论什么？准确定义智能本身就是一个挑战。智能爆炸叙事将智能等同于单个智能代理（当前人类大脑或未来电子大脑）所表现出的一般解决问题的能力。这还不是完整的图景，所以让我们以这个定义作为起点，并对其进行扩展。

情报是情境性的

“通用”智能的概念是一个神话。根据“没有免费的午餐”定理，没有一种解决问题的算法能够解决所有问题。智能专门用于特定任务。当今的人工智能高度专业化，比如下围棋或对图像进行分类。人类智能专门用于做人类，就像章鱼智能专门用于做章鱼一样。许多伟大的科学家，如 LeCun 和 Francois Chollet 都坚信这一观点。

同样，我们可以想象，章鱼有一套自己的硬编码认知原语，这些原语是学习如何使用章鱼身体并在章鱼环境中生存所必需的。人类的大脑在人类条件下高度专业化——一种天生的专业化，可能延伸到社会行为、语言和常识——而章鱼的大脑同样在章鱼行为方面高度专业化。一个人类婴儿的大脑如果被正确地移植到章鱼体内，很可能无法充分控制其独特的感觉运动空间，并会很快死亡。

人类智力也依赖于在人类文化中成长。在没有人类接触的情况下长大的野孩子不会发展出典型的人类智力或语言，这表明智力与特定的环境和经历息息相关。

智力不能仅仅通过增强大脑来提高。真正的智力需要心智、身体和环境的共同进化。仅凭卓越的认知能力并不能带来非凡的成就。解决问题的成功往往涉及多种因素，例如环境、性格、教育以及对前人工作的逐步改进。智力从根本上来说取决于环境。

如果智能从根本上与特定的感觉运动模式、特定的环境、特定的教养和需要解决的特定问题相关，那么你就不能指望仅仅通过调整大脑来任意提高智能体的智能——就像你不能通过加快传送带的速度来提高工厂流水线的产量一样。智能扩展只能来自心智、感觉运动模式和环境的共同进化。

环境对个人智力有严格限制

智力不是超能力。仅凭超凡的智力并不能保证拥有超凡的力量来掌控环境。虽然较高的智商通常与社会成功相关，但这种相关性在极端情况下就会失效。研究表明，智商 130 比智商 70 更能带来成功，但没有证据表明智商 170 比智商 130 更有影响力。许多有影响力的科学家，如理查德费曼和詹姆斯沃森，智商都在 120 或 130 左右，与许多普通科学家差不多。

智力的效用停滞不前，因为现实世界的成就不仅仅取决于认知能力。我们的环境限制了我们利用智力的效率。从历史上看和现在，环境通常不允许高智商的人充分发展或发挥他们的潜力。例如，与今天相比，10,000 年前具有高潜力的人面临的机会有限。

史蒂芬·杰伊·古尔德指出，许多才华横溢的人在充满挑战的环境中生活和死亡，却没有发挥出自己的潜力。同样，一个拥有超人大脑的人工智能也可能不会比一个聪明的当代人类发展出更大的能力。如果高智商本身就能带来非凡的成就，那么我们会看到更多高智商的人解决重大问题，而事实并非如此。

智力是外在的，存在于文明发展之中

智力不仅仅关乎我们的大脑——我们的身体、感官和环境也决定着我们能够发展多少智力。重要的是，我们的大脑只是我们整体智力的一小部分。我们严重依赖认知假肢来扩展我们的解决问题的能力：智能手机、笔记本电脑、谷歌、书籍、数学符号、编程，以及最根本的语言。这些工具不仅仅是知识来源；它们是外部认知过程，是跨时间、空间和个体运行思维和解决问题算法的非生物学方式。我们的大部分认知能力都存在于这些工具中。

人类本身与猿类或多或少相似，但文明凭借其积累的知识和外部系统提升了我们。当科学家取得突破时，大部分问题解决都是通过计算机、与其他研究人员的合作、笔记和数学符号进行的。他们个人的认知工作只是更大的集体过程的一部分。

发现往往是通过探索未知而发生的。只有在真空管被发现之后，计算机才得以发明，而真空管最初并不是为此目的而设计的。同样，即使是超级智能机器也无法预测哪些创新会带来新的突破。地球上的资源是有限的，机器越是试图实现目标，就越有可能浪费资源并失败。

总而言之，智能是情境化的，在很大程度上取决于外部工具和集体知识。个人大脑无论多么先进，都只是认知方程的一小部分。由于资源限制和发现的不可预测性，超级智能机器不一定会带来无尽的创新。

无论人工智能变得多么聪明，它都无法扩展

单个人类大脑本身无法设计出比自身更强大的智能。这是一个纯粹经验性的说法：在数十亿个来来去去的人类大脑中，没有一个能做到这一点。显然，单个人类的智慧在一生中无法设计出智能，否则，经过数十亿次试验，它早就出现了。

如果机器与人类智能大不相同，那么我们甚至不知道如何评估它们，即使我们制造了它们，它们也会在完全不同的世界中运行。更大的问题是，我们如何设计一个与我们完全不同的智能系统？

为了论证的目的，我们假设机器突然出现了智能爆炸。但即使这是基于人类数据的先验知识，这些机器也不会突然前往不同的星系，与外星人交谈并收集全新形式的数据。在这种情况下，唯一的可能性是这些机器不知何故没有先验知识，如果是这样的话，那么我们一直在谈论的缩放定律对智能就没有任何贡献。如果没有人类的先验知识，智能就不可能孤立存在。

数十亿大脑在数千年的时间里积累知识并发展外部智能过程，形成了一个系统——文明——最终可能导致人工大脑比单个人类的大脑更聪明。整个文明将创造超人人工智能，而不是你、我或任何个人。这个过程涉及无数人，时间跨度难以想象。这个过程涉及的外部智能（书籍、电脑、数学、科学、互联网）远多于生物智能。

未来的超人类人工智能，经过几个世纪的集体开发，是否有能力开发出比自己更强大的人工智能？不，我们任何人都做不到。回答“是”将违背我们所知的一切——再次记住，没有任何人类，或任何我们所知的智能实体，曾经设计出比自己更聪明的东西。我们所做的是逐渐地、集体地建立比我们自己更强大的外部问题解决系统。

然而，未来的人工智能就像人类和我们迄今为止创造的其他智能系统一样，将为我们的文明做出贡献，而我们的文明反过来将利用它们不断扩展其创造的人工智能的能力。从这个意义上讲，人工智能与计算机、书籍或语言本身没有什么不同：它是一种赋予我们文明力量的技术。因此，超人人工智能的出现与计算机、书籍或语言的出现一样，不会再是奇点。文明将发展人工智能，然后继续前进。文明最终将超越我们现在的水平，就像它超越了 10,000 年前的水平一样。这是一个渐进的过程，而不是突然的转变。

那么，你可能会问，文明本身不就是失控的自我改进的大脑吗？我们的文明智慧正在爆发吗？不。

简单来说，没有任何系统存在于真空中，尤其是智慧，人类文明亦是如此。

递归式自我改进系统

我们不需要猜测当智能系统开始优化自身智能时是否会发生“爆炸”，因为我们已经观察到我们周围不断自我改进的系统。这些系统向我们展示了自我改进如何在各种环境和时间尺度下发挥作用。

例如，你是一个递归式自我完善的系统：自我教育使你变得更聪明，然后让你学习得更有效率。整个人类文明在更长的时间尺度上自我完善。在机电一体化领域，更好的制造机器人会制造出更好的制造机器人。军事帝国递归式扩张——帝国越大，其进一步扩张的手段就越强。在个人投资方面，你拥有的钱越多，你能赚的钱就越多。

这些例子表明，递归式自我改进系统并不一定会导致不可控制的智能爆炸。它们表现出可预测的增长和改进模式。

以软件开发为例。最初，我们创建了用于自动编程的编译器。然后，我们利用这些编译器开发了具有更强大范式的新语言。这些语言支持调试器、IDE、linters 和错误预测器等高级工具。未来，软件甚至可能可以自行编写。

然而，尽管软件不断自我完善，其实用性却呈线性增长。尽管开发人员和晶体管的数量（遵循摩尔定律）呈指数级增长，但我们的计算机现在的实用性仅比前几十年略有提高。

这是因为软件的实用性受到其应用环境的限制，就像智能受到其运行环境的限制一样。软件就像我们的大脑一样，是更大系统的一部分。我们的生活和经济环境限制了软件的潜在实用性，就像我们的环境限制了个人智能，即使拥有超人的大脑也是如此。

除了上下文硬性限制之外，即使系统的一部分能够递归地自我改进，系统的其他部分也将不可避免地开始成为瓶颈。对抗过程将响应递归自我改进而出现并压制它——在软件中，这将是资源消耗、功能蔓延、用户体验问题。当谈到个人投资时，你自己的支出率就是这样一种对抗过程——你拥有的钱越多，你花的钱就越多。当谈到智能时，系统间通信会成为底层模块改进的制约因素——拥有更聪明部分的大脑在协调它们时会遇到更多麻烦；拥有更聪明的个人的社会将需要在网络和通信等方面投入更多。智商极高的人更容易患上某些精神疾病，这也许并非巧合。过去的军事帝国在超过一定规模后最终崩溃，这也许并非偶然。指数级的进步遇到了指数级的摩擦。

一个值得关注的具体例子是科学进步，因为它在概念上非常接近智能本身——科学作为一种解决问题的系统，非常接近失控的超人人工智能。当然，科学是一个递归式自我改进的系统，因为科学进步导致了赋予科学力量的工具的发展——无论是实验室硬件（例如量子物理导致了激光，这使得大量新的量子物理实验成为可能）、概念工具（例如新定理、新理论）、认知工具（例如数学符号）、软件工具、使科学家能够更好地协作的通信协议（例如互联网）……

我们在 1950-2000 年期间在物理学方面取得的进步并没有比 1900-1950 年期间更大——可以说，我们取得的进步差不多。数学今天的进步速度并没有比 1920 年快很多。几十年来，医学科学在其所有指标上都取得了线性进展。尽管我们在科学上投入了指数级的努力——研究人员的数量大约每 15 到 20 年翻一番，而且这些研究人员正在使用速度呈指数级增长的计算机来提高他们的生产力。

我们追求什么和不追求什么从根本上与人类利益相关，因此这些系统可能不会呈指数级增长，因为这意味着对资源的需求呈指数级增长。这本身，以及指数级增长和指数级挑战限制了科学或技术的突然爆发。

以下是此类系统的几个例子。重要的是，它们中的每一个也适用于递归式自我改进的人工智能。

随着时间的推移，在特定领域开展科学研究的难度会呈指数级增长——该领域的创始人收获了大部分唾手可得的成果，而要取得类似的影响力则需要付出更多努力。没有一位研究人员能够在信息理论领域取得与香农在 1948 年论文中取得的同等进展。
随着领域越来越大，研究人员之间的共享和合作变得越来越困难。跟上新出版物的浪潮变得越来越困难。请记住，具有N个节点的网络有N * (N — 1) / 2条边。
随着科学知识的扩展，需要投入教育和培训的时间和精力不断增加，而研究人员的研究领域却变得越来越狭窄。

下一代人工智能系统是什么样的？

毫无疑问，下一代人工智能系统需要具有类似于 YeCun 所提出的东西，而 LLM 肯定没有。不仅如此，这些系统不能只是一种算法，它们还需要有一个具体化，可能是与现实世界交互的物理具体化。

鉴于上文中如此多的例子，希望下一个 token 预测或帧预测会突然导致 AGI 似乎是徒劳的。当前的 LLM 系统受到不可控性的困扰，只能靠自己去弄清楚现实世界的规则。它们没有内置机制来破译这些规则，我们只是希望展示数百万个示例能够导致学习这些规则。

下一代人工智能很可能更加分布式，并具有一些主动推理能力。系统会定期更新和改变其知识。这些具有固定训练运行的单片架构不太可能达到 AGI。

想象一下，像 GPT 10 这样的系统是每个人都拥有的，每个版本的 GPT 都在学习一个独立的世界版本及其交互。它体现在个人随身携带的设备中，该设备记录人类观察到的一切，然后形成其信仰体系。这样，AGI 就有可能实现，它们的行为方式更加文明，相互借鉴知识，拒绝坏主意等等。唯一的区别是，它们能够比人类更容易地共享数据和知识，尽管它们会受到物理实体的限制，并且没有任何单个 GPT 会比整个 GPT 网络的集体智慧更聪明。

这甚至没有考虑感知问题，甚至没有考虑代理问题。也许在以后的博客中，我们会讨论与真正智能相关的更高级的想法。

人类大脑的智能设计

根据我对杰夫·霍金斯的“千脑理论”和其他神经生物学的阅读，我可以自信地说，人类的大脑比现有的任何机器都复杂得多。目前的 LLM 系统甚至还无法与人类大脑的复杂性相提并论。

我们对人类大脑了解很多，但其中很大一部分我们仍不清楚。现象学经验或意识很可能是系统真正智能的必要条件。没有人知道我们将如何将这些现象学状态构建到机器中。希望规模化会自动实现这一点只是天真的想法。

人类大脑非常擅长用很少的资源找到深层的潜在模式，其概括能力远远超过任何机器。不仅如此，它还非常擅长在未知的环境中运作、适应和预测未来状态。每一天都是不同的，但我们仍然能够很好地应对。目前的人工智能系统非常薄弱，如果我带着一辆自动驾驶汽车，让它在马路的另一边行驶，它就会惨败。

不仅如此，我们不知道主动性是如何赋予我们的。没有机器具有主动性，我们可能永远无法创造出像人类一样具有真正目标和主动性的机器。但这是以后的争论。简而言之，当前的 LLM 系统处于智能的初级阶段，需要做更多的工作才能达到 AGI 或超级智能。

当前 LLM 体系缺少什么

让我们快速了解一下 LLM 与人脑有何不同。

情境理解和参考框架：

LLM 缺乏霍金斯所提出的创建和使用多个参考框架的能力。
他们对物体的空间和时间属性及其关系没有内在的理解。

分布式和独立模型：

LLM 依赖于单一的整体模型，而不是数千个并行工作的独立模型。
这限制了它们处理多样化和复杂输入的灵活性和稳健性。

持续学习：

当前的大语言模型无法持续从新经验中学习。他们需要用新数据进行再训练来更新知识。
这与人类大脑不断适应和完善模型的能力形成了鲜明对比。

投票机制：

LLM 不采用独立模型之间的投票机制来达成共识。
它们的输出由单个模型的预测产生，有时会导致理解上的不一致或错误。

感觉统合：

霍金斯的理论强调整合感官输入来构建一个全面的世界模型。
LLM 主要处理文本数据，缺乏有效整合多感官信息的能力。

概括

LLM 在达到 AGI 方面存在根本问题，并且它们缺乏常识，因为它们在下一个标记预测上浪费了太多资源。
下一代人工智能系统将不会是单一的，而是会具有多个专门的部分，并以复杂的方式相互作用。
智力是情境化的——不存在所谓的通用智力。你的大脑是更大系统的一部分，这个系统包括你的身体、你的环境、其他人和整个文化。
没有一个系统是孤立存在的；任何个体智能都会始终受到其存在背景和环境的限制。目前，我们的环境，而不是我们的大脑，才是我们智能发展的瓶颈。资源收集对智能爆炸产生了巨大的限制。
人类智慧在很大程度上是外化的，不存在于我们的大脑中，而是存在于我们的文明中。我们是我们的工具——我们的大脑是一个比我们自身大得多的认知系统中的模块。这个系统已经自我完善，而且已经持续了很长时间。
由于存在偶然的瓶颈、收益递减以及其所处更广泛环境产生的反作用，递归式自我改进系统在实践中无法实现指数级增长。从经验上看，它们往往呈现线性或 S 形改进。科学进步尤其如此——科学可能是我们所能观察到的最接近递归式自我改进人工智能的系统。
递归智能扩展已在发生——就我们文明的层面而言。在人工智能时代，这种扩展将继续发生，并且以大致线性的速度发展。
走向AGI的人工智能系统将会像人类一样在现实世界中体现和互动，创造出自己的文明。
我们对现象状态和行为一无所知。这些很可能是智力的基本组成部分。
人脑比任何现有的机器都要复杂得多，并且具有更为先进的机制来应对不确定性、概括和许多其他能力。

欢迎前往我们的公众号，时事资讯