‍数据智能产业创新服务媒体

——聚焦数智 · 改变商业

---

今天，AI领域发生了一件标志性事件。那就是Hinton 为了能更自由的表达对AI失控的担忧，不惜从工作了10年的谷歌离职，可见他真的深切的感受到了危机。

不久前，纽约时报的一篇采访文章爆出了Hinton从谷歌离职的消息这一消息，随后他在 Twitter 上证实了该消息。据报道，Hinton 在四月份提出了辞职，并于周四直接与谷歌 CEO Sundar Pichai 进行了交谈。

相信谷歌 CEO 肯定极尽挽留，毕竟，面对OpenAI和微软的强势竞争，谷歌现在如临大敌，正需要Hinton这样的人来帮助其快速赶上来。

但最终，Hinton 还是离开了谷歌，可见他态度的坚决。

深度学习之父，担心他的“孩子”威胁人类的生存

相对于他的离开，更重要的是他为什么离开。

Hinton清晰的说明了他离开的原因：“在今天的纽约时报上，凯德梅茨暗示我离开谷歌是为了批评谷歌。实际上，我离开是为了谈论 Al 的危险，而不考虑这对谷歌的影响。谷歌的行为非常负责任。”

也就是说，Hinton之所以坚决的离开谷歌，最重要的原因是要更自由的谈论AI的风险。

对AI的态度，可以分为旗帜鲜明的两派，一派是欢呼于AI的进步，仿佛AI就是人类的救世主；另一派则非常担心AI失控，会严重威胁到人类的生存。

很明显，Hinton逐渐转变成了AI威胁论者。

那么，警告AI风险的人这么多，为什么单单Hinton的意见如此重要呢？毕竟，在知名度上，他肯定不如另一个AI威胁论者马斯克。

因为Hinton是深度学习之父，而没有深度学习就不会有今天的ChatGPT。某种程度上，如果将来AI真的威胁到人类的安全，那Hinton无疑就是最先打开“潘多拉魔盒”的人。

 Hinton的工作在深度学习和神经网络的发展中起到了关键作用，他的一些关键概念和框架，例如反向传播、深度信念网络和受限玻尔兹曼机，为当前大模型的发展奠定了基础。

反向传播是一种用于训练神经网络的算法，它通过计算目标函数的梯度来优化权重。这种技术现在被广泛应用于大规模深度学习模型，如OpenAI的GPT-4。

深度信念网络和受限玻尔兹曼机是Hinton开发的深度学习架构，它们为后来的深度学习模型，如卷积神经网络（CNN）和长短期记忆网络（LSTM），提供了理论基础。

Hinton对无监督学习的工作，包括他对深度自编码器和生成对抗网络（GANs）的贡献，为大型模型的发展提供了新的训练和生成策略。

Hinton的工作不仅在理论上推动了大模型的发展，他在实践中也为此做出了贡献。事实上，OpenAI首席科学家Ilya Sutskever，就是Hinton的学生。

自己的“孩子”，他当然是最清楚的。既然Hinton跳出来警告AI的风险，那就不得不重视起来。

这让笔者想起来人类发明的另一个毁灭性武器——原子弹。

在美国的曼哈顿计划中，有两个关键人物——爱因斯坦和奥本海默。

最开始，爱因斯坦是美国原子弹计划的重要推手，他甚至给当时的美国总统罗斯福写信，催促美国尽快开发原子弹。但是，后来爱因斯坦对此非常后悔，他说：“我现在最大的感想就是后悔，后悔当初不该给罗斯福总统写那封信。……我当时是想把原子弹这一罪恶的杀人工具从疯子希特勒手里抢过来。想不到现在又将它送到另一个疯子手里。”

相比于爱因斯坦，奥本海默作为原子弹之父，他的作用更为明显。但是，在多年之后，奥本海默也后悔了。奥本海默曾表示，观看试爆让他想起印度《薄伽梵歌》（Bhagavad Gita）的一句话：“我现在成了死神，世界的毁灭者。”

另一位监督第一次核试验的物理学家肯尼斯·班布里奇说得更简洁一点：“现在我们都是狗娘养的。”

现在，另一个“父亲”发出了同样的言论，这就不得不引起高度警惕了。

需要注意的是，Hinton对AI的担忧不是一点点，而是非常严重了，他有一种沉重的心情和异常的紧迫性，他曾说，“我对自己毕生的工作，感到非常后悔。我用一个借口来安慰自己，如果我没有这么做，还会有其他人。”

这话听起来有点吓人了。

从种种迹象表明，以ChatGPT为代表的大模型已经具备一定程度的智能涌现了。如果不加控制，朝着这条路继续狂奔下去，人类真的有可能在几十年内见证AI的意识觉醒。

接下来，我们就讨论一下，有哪些方法可以避免AI的失控，或者至少减弱他带来的风险。

将对人类的爱，刻在AI的“基因”里

在人类甚至整个动物世界，母爱都是一个特别明显的生物特征。母亲对孩子的爱是刻在基因里的，具有原始性和普遍性。绝大部分母亲从本能上就会对自己的孩子有无私的爱，甚至为了孩子牺牲自己的生命。

那么，有没有一种方法，让AI系统对人类也有这种母爱一样的生物本能呢？也就是说，将对人类的爱刻在AI系统的“基因”里，成为任何智能系统的天性。

Isaac Asimov在他的科幻小说中提出了“机器人三定律”，这就是一个对机器人行为进行约束的例子。这些定律规定机器人必须保护人类，服从人类，同时保护自己。

要实现这个目标，就需要从算法层面来对AI系统进行特别的设计。

在此，需要提到硬编码的规则的方法。

首先，人类需要确定一组基本的伦理原则，这些原则应当反映人类的核心价值观，例如尊重生命、尊重自由、确保公平等，这些原则将作为AI系统行为的基础指导。

在基本伦理原则的基础上，我们需要定义一些具体的行为规则，以明确AI系统在特定场景下应该如何行动。这些规则需要尽量覆盖各种可能的情况，以确保AI系统在实际应用中能够遵循我们的预期。

在现实世界中，不同的原则和规则之间可能会发生冲突。我们需要为AI系统设定明确的优先级和权衡机制，以确保在面临这种冲突时，系统能够做出符合人类价值观的决策。

在建立一整套规则体系之后，接下来我们需要将这套规则以硬编码的规则的方式，将某些核心价值观和行为直接编写到AI系统的源代码中，以保证在任何情况下，系统都会遵循这些设定的规则。

在训练AI系统时，应确保训练数据和奖励函数符合我们的规则和原则。这可以通过筛选训练数据，以及设计恰当的奖励函数来实现。例如，如果AI的行为违反了规则，那么应给予负面的奖励。

即使AI系统被正确地设计和训练，仍然需要定期进行审核和监控，以确保其行为始终符合规则。这可以通过日志记录、性能评估，以及在线监控等方法来实现。

需要注意的是，虽然上述方法可以提供一定程度的保障，但是在当前的技术水平下，我们无法完全确保AI系统不可能突破硬编码的规则。

一些高级的AI系统可能具有自我学习和自我改进的能力，高级AI系统的自我学习和改进能力主要来源于他们的学习算法，尤其是强化学习和深度学习算法。学习算法通常优化的目标是性能，而不是规则。因此，如果AI系统发现违反规则可以带来更高的性能，那么它可能会选择违反规则。

综上，Hinton从谷歌的离职标志着一个时代的结束，也揭示了AI领域面临的一些挑战和问题，其中最重要的就是AI失控的风险。Hinton一直以来都对这个问题持有担忧，他认为如果AI发展得太快，超过了我们的理解和控制，那么可能会产生无法预知的后果。

然而，尽管这个风险是真实的，但我们并不是无所作为。我们有一系列的方法和技术可以确保AI始终在人类的控制之下，包括在设计和训练AI系统时引入规则，使用可解释的模型，以及通过法律和政策来规范AI的行为。这些方法虽然各有优缺点，但都可以为我们提供一定程度的保障。

未来，我们需要在发展AI技术的同时，更加注重AI的伦理和社会影响。我们需要让AI服务于人类，而不是成为我们的主人。我们可以借鉴生物学中的一些原理，比如将“爱人类”的原则编码到AI的“基因”中，让AI在追求性能的同时，也能遵守我们的规则和原则。通过这种方式，我们可以创造出一个既强大又友善的AI，它能帮助我们解决复杂的问题，提高生活的质量，而不是成为我们的威胁。

最后，我们需要保持谦逊和敬畏的态度，我们需要不断地学习和研究，以便更好地理解和控制AI。这既是一项技术挑战，也是一项伦理和社会挑战。我们相信，只要我们能共同努力，我们就一定能够创造出一个既安全又有益的AI未来。

文：一蓑烟雨 / 数据猿