原文链接：https://openai.com/blog/governance-of-superintelligence#SamAltman

作者丨Sam Altman，Greg Brockman，Ilya Sutskever

译者 | Ted Liu

审校 | LsssY

编辑丨肖钰雯

现在是开始思考超级智能治理的好时机--未来的人工智能系统甚至比通用人工智能（AGI）的能力还要大得多。

根据我们现在看到的情况，可以设想，在未来十年内，人工智能系统将在大多数领域达到超越专家的技能水平，并能开展与当今最大型的公司一样多的生产活动。

无论是潜在的利益还是风险，超级智能将比人类过去所面对的其他技术都要更加强大。我们可以拥有一个极度繁荣的未来；但我们必须管理好风险才能实现这一目标。考虑到存在灭绝性风险的可能性，我们不能只是被动地应对。核能便是其中具有这种特性的技术的例子；另一个常用的例子是合成生物学。

我们也必须减轻当今人工智能技术的风险，但超级智能将需要特殊的处理和协调。

在我们成功引领这一发展的机会中，有许多重要的思路，以下是我们对其中三个思路的初步思考。

首先，我们需要在目前领先的开发努力之间进行一些协调，以确保超级智能的发展在保持安全性的同时，能够有助于这些系统与社会的顺利融合。这可以通过多种方式实现；世界上的主要政府可以共同建立一个项目，让许多目前的努力成为其中的一部分，或者我们可以达成共识（在下文提到的那种新组织的支持下），将前沿人工智能能力的增长限制在每年一定的速度。

当然，个别公司也应该以极高的标准负责任地行事。

第二，我们最终可能需要类似于国际原子能机构（IAEA）的国际机构来监管超级智能的开发；任何超过一定能力（或计算等资源）门槛的努力都需要接受国际权威机构的监督。该机构可以进行系统检查，要求进行审计，测试是否符合安全标准，对部署程度和安全级别施加限制等。追踪计算和能源使用情况会有很大的帮助，并给我们一些希望，这个想法实际上是可以实现的。作为第一步，公司可以自愿同意开始实施这样一个机构有朝一日可能要求的要素，而作为第二步，各个国家都可以实施。重要的是，这样一个机构应专注于降低灭绝性风险，而不是解决那些应该由各个国家决定的问题，例如定义人工智能应该被允许说什么。

第三，我们需要具备足够的技术能力来确保超级智能的安全。这是一个开放的研究问题（https://openai.com/blog/our-approach-to-alignment-research），我们和其他人正在投入大量的努力。

我们认为，对于低于重要能力阙值的模型，应该允许公司和开源项目自由开发，而不需要我们在这里描述的那种监管（包括许可证或审计等繁琐的机制）。

如今的系统将为世界创造巨大的价值，虽然它们确实存在风险，但这些风险的程度感觉与其他互联网技术相称，而且社会的应对方式似乎也很合适。

相比之下，我们所关注的系统将拥有超越迄今为止任何技术的力量，我们应该小心，注意不要将类似的标准应用于远低于这一标准的技术来削弱对它们的关注。

然而，对最强大的系统的治理，以及有关其部署的决定，必须有强大的公众监督。我们相信世界各地的人们应该民主地决定人工智能系统的界限和默认设置（https://openai.com/blog/how-should-ai-systems-behav）。我们还不知道如何设计这样的机制，但我们计划对其发展进行试验。我们仍然认为，在这些广泛的界限内，个人用户应该对他们使用人工智能的行为方式有很大的控制权。

考虑到风险和困难，值得思考的是，我们为什么要构建这项技术。

在 OpenAI，我们有两个基本原因。首先，我们相信将会带来一个比我们今天所能想象的世界更美好的未来（我们已经在教育、创造性工作和个人生产力等领域看到了早期的例子）。世界面临着很多问题，我们将需要更多的帮助来解决；这项技术可以改善我们的社会，而每个人使用这些新工具的创造性能力肯定会让我们感到惊讶。经济增长和生活质量的提高将是惊人的。

第二，我们相信，阻止超级智能的产生会有非直觉性的风险且困难重重。由于其巨大的优势，构建超级智能的成本每年都在减少，构建者的数量也在迅速增加，而且它本质上就是我们所处技术路径的一部分，阻止它将需要类似于全球监控制度的东西，而即使有这样的制度也不能保证成功。因此，我们必须做到正确无误走好每一步。

相关阅读 | Related Reading

HuggingFace 的魔转折‍‍‍‍

倒计时2天｜快来开源之夏2023递上你的项目申请！‍‍

开源社简介

开源社成立于 2014 年，是由志愿贡献于开源事业的个人成员，依 “贡献、共识、共治” 原则所组成，始终维持厂商中立、公益、非营利的特点，是最早以 “开源治理、国际接轨、社区发展、项目孵化” 为使命的开源社区联合体。开源社积极与支持开源的社区、企业以及政府相关单位紧密合作，以 “立足中国、贡献全球” 为愿景，旨在共创健康可持续发展的开源生态，推动中国开源社区成为全球开源体系的积极参与及贡献者。

2017 年，开源社转型为完全由个人成员组成，参照 ASF 等国际顶级开源基金会的治理模式运作。近九年来，链接了数万名开源人，集聚了上千名社区成员及志愿者、海内外数百位讲师，合作了数百家赞助、媒体、社区伙伴。