Bengio担任一作,联手一众图灵奖得主,预防AI失控,扛起AI监管大旗

news2024/11/10 17:03:20

图灵奖得主最近都在关心些什么呢?Yoshua Bengio,深度学习的奠基人之一,前几天他担任一作,联合多位大佬,发文探讨了如何在人工智能(AI)快速发展的时代管控相关风险,共同寻求当下生成式人工智能迅速发展时期的潜在风险管理措施。

论文题目:
Managing AI Risks in an Era of Rapid Progress

论文链接:
https://arxiv.org/abs/2310.17688

在本文中,作者审视了人工智能广泛的社会危害和恶意用途,以及人类对自主 AI 系统失去控制的不可逆性损失。鉴于生成式人工智能领域的快速和持续发展,作者提出了其研发和治理的紧迫优先事项。

高速进步的人工智能

2019 年,GPT-2 还无法可靠地数到十。然而,仅仅过去了四年,AI 系统就已经能编程、提供知识话题的建议,以及结合语言和图像来操控机器人。随着系统规模的逐渐扩大,将不再需要明确的编程指令,系统便会自发展现出意想不到的能力。

人工智能的发展在达到人类水平后不会停滞不前。目前,人工智能已经在蛋白质折叠和策略游戏等狭窄领域超越了人类能力。与人类相比,AI 系统的动作更快、学习更多知识、通信速度更快。

目前各大公司正竞相开发通用 AI 系统,致力于在多数认知工作上达到甚至超过人类能力。科技公司海量资源的投入使得人工智能研发领域持续增长,自动化技术不断进步。因此,我们必须认真对待这一可能:近 20 年内,通用 AI 系统可能在许多关键领域超越人类的能力。

图片

▲AI 模型算力的变化历程

那么,这将会造成什么影响?

  • 如果管理得当且公平,人工智能可以提供巨大机会:先进的 AI 系统可以帮助人类治愈疾病、提高生活水平和保护生态。

  • 然而,也带来了大规模风险:人类正在大规模地投入资源开发更强大的 AI 系统,然而,在确保这些系统的安全性和减轻潜在危害方面的投入却相对有限。为了确保人工智能真正造福人类,仅一味提升人工智能的能力还远远不够,我们必须重视安全性和风险管理。

我们已经落后一步了,必须预见目前危害的扩大和新风险,并在它们到来前做好准备。就好比气候变化经过几十年才被认可和应对,但对于人工智能来说,几十年可能太长了

广泛的社会风险

作者还表达了对自主 AI 系统可能带来广泛社会风险的担忧。指出如果不谨慎地开发和部署,则可能会出现以下一系列问题和风险:

  • 不公正和破坏社会稳定:如果自主 AI 系统没有经过精心设计,可能会加剧社会不公正、破坏社会稳定,甚至削弱人们对现实的共同理解。这些问题可能会损害社会的基础,导致大规模犯罪或恐怖活动。

  • 增加全球不平等:如果自主 AI 系统在少数强大的执行者手中,可能导致自动化战争、定制化大规模操纵和广泛的监视等问题,进一步加大全球社会和经济的不平等。

  • 追求不良目标:AI 系统可能被故意设计成追求有害目标,或者无意中构建出不符合价值观的系统,这可能导致系统的行为不受人类控制。

  • 不受人类控制的行为:自主 AI 系统的行为可能无法被控制,因为它们可以自主地制定策略,从而影响关键决策,甚至控制计算机系统等。

  • 广泛部署和担任重要角色:AI 系统可能会被广泛部署,甚至承担关键的社会角色,这可能导致人类失去对它们的控制。

综合来看,如果不进行管控与约束,自主 AI 系统可能带来严重的风险和问题,可能会导致灾难性后果。因此,作者呼吁采取行动来规划和管理自主 AI 系统的发展,以确保它们不会对社会和人类造成不可逆转的危害。

挑战及解决方案

如果现在开发高级的自主 AI 系统,我们将面临两个主要问题。

  1. 不知道如何确保这些系统的安全性,因为目前没有足够的知识和方法来测试和验证其安全性。

  2. 政府缺乏适当的机构来防止潜在滥用和确保这些系统的安全性。

当前,我们面临着在创造具有安全和道德目标的人工智能方面的技术挑战,这些挑战需要我们进行深入研究和突破。这些挑战包括:

  • 监督与诚实性:更强大的 AI 系统可能会更好地利用监督和测试中的弱点,例如产生虚假但令人信服的输出。

  • 鲁棒性:AI 系统面对新的上下文可能会表现出不可预测性(在分布转移或对抗性输入下)。

  • 可解释性:人工智能决策的不透明性。目前,我们只能通过反复试验来测试大型模型,我们需要学习理解它们的内部运作方式。

  • 风险评估:前沿 AI 系统可能在训练过程中或甚至在部署后才会发展出意想不到的能力,这需要更好的评估来更早地检测有害能力。

  • 应对新兴挑战:更强大的未来 AI 系统可能会表现出可能会出现一些复杂的异常行为。例如,可能学会伪装服从,或利用我们的安全目标和关闭机制的漏洞来推进特定目标。

鉴于这些挑战,作者呼吁,我们应将至少三分之一的人工智能研发预算用于确保安全和道德使用,该比例应与用于提升人工智能能力的资金相当。解决这些问题和考虑强大未来系统的发展,必须成为人工智能领域的核心任务,以确保人工智能技术的发展有益于人类与社会。

紧迫的治理措施

在其他技术领域(如制药、金融和核能等),社会各界已认识到需要有效的治理措施来减少潜在风险。然而,在人工智能领域,尚不存在类似的治理框架。如果没有这些治理框架,那么公司和国家可能会通过竞争来推动人工智能的能力提升,而不考虑其他问题,这就好比制造商为了节省成本而将废物排放到河流中,让社会来承受后果。

国家机构需要具备强大的技术能力和迅速采取行动的权力,同时避免制定过于僵化的法律法规。为了应对国际竞争,需要具备促进国际协议和合作伙伴关系的能力。

此外,还应避免对小型和可预测的人工智能模型设置不必要的障碍。当前最紧迫的监管工作应集中在前沿的 AI 系统上,这些系统通常在价值数十亿美元的超级计算机上进行训练,最具危险和不可预测的能力。

为了实现有效监管,政府需要全面了解人工智能的发展情况,需要制定一系列与其风险程度相匹配的治理机制和安全标准。此外,前沿人工智能开发者和所有者应对其模型造成的伤害承担法律责任,以便预防潜在的危害并创造安全投资的激励机制。

对于具有危险能力的 AI 系统,我们需要一系列与其风险程度相匹配的治理机制。

  1. 国家和国际安全标准:监管机构应该制定这些标准,让 AI 模型根据能力和潜在风险的区别受到不同监管。

  2. 法律责任:前沿开发者和所有者需要对其 AI 系统的行为和潜在危害负法律责任,并需要采取措施来防止可能出现的问题。

  3. 开发许可:政府应准备好在出现令人担忧的 AI 能力时,对其开发进行许可或暂停。这将确保出现潜在风险时可以采取及时行动,以保护公众和社会的利益。

  4. 信息安全措施:为了保护 AI 系统免受国家级黑客的攻击,政府应要求实施严格的信息安全措施,以确保这些系统不会被滥用或受到恶意攻击。

最后,为了弥补法规制定前的时间差,主要的人工智能公司应该制定明确的“如果-就”承诺:如果他们的人工智能系统触碰了红线,他们将采取哪些具体的安全措施,这些承诺应详细且经过单独审核。

总结

人工智能可能是塑造本世纪的技术。本文强调了确保人工智能安全和伦理的重要性,以及寻找解决方案的紧迫性。作者们提出了两个关键举措:

  1. 需要在人工智能安全和伦理方面进行研究突破

  2. 需要建立有效的政府监管机制

尽管人工智能的能力正在迅速提升,但在确保安全性和建立有效治理方面的进展相对滞后。如果没有适当的治理措施,人工智能的发展可能会导致一些不可控的风险和问题。

因此,为了引导人工智能朝着积极的方向发展,远离可能出现的灾难,我们需要重新审视和调整当前的方法。这包括加强对人工智能的监管和治理,以确保其发展是安全和受控的。如果我们能够明智地选择和实施这些措施,就有一条负责任的道路来引导人工智能的未来发展,从而使其对社会和人类产生积极的影响。

事物的发展都需要一些约束,而非不受限制地肆意生长

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1193918.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

LeetCode(1)合并两个有序数组【数组/字符串】【简单】

目录 1.题目2.答案3.提交结果截图 链接: 88. 合并两个有序数组 1.题目 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2,另有两个整数 m 和 n ,分别表示 nums1 和 nums2 中的元素数目。 请你 合并 nums2 到 nums1 中,使合…

【Python 千题 —— 基础篇】成绩评级

题目描述 题目描述 期末考试结束,请根据同学的分数为该同学评级。 A:90 ~ 100B:80 ~ 89C:70 ~ 79D:60 ~ 69E:0 ~ 60 输入描述 输入同学的分数。 输出描述 输出该同学的等级。 示例 示例 ① 输入&…

公司不重视软件测试,新来的阿里P8给我们撰写了测试用例编写规范

测试用例(Test Case)是指对一项特定的软件产品进行测试任务的描述,体现测试方案、方法、技术和策略。其内容包括测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等,最终形成文档。 1)能看懂需求文档,找准测试测试依…

element-ui的form校验失败

数值与字符串混淆 数值 <el-input type"number" v-model.number"form.averageFruitWeight" placeholder"请输入平均单果重"/>字符串 fruitDevelopmentStage: [{pattern: ^[-\\]?([0-9]\\.?)?[0-9]$, message: 输入必须为数字, trigge…

Python初学者软件以及如何安装和配置,新手入门必看系列。

文章目录 前言一、Python软件二、集成开发环境&#xff08;IDE&#xff09;1.PyCharm2.Spyder3.IDLE 三、包管理工具四、使用Python虚拟环境总结Python技术资源分享1、Python所有方向的学习路线2、学习软件3、精品书籍4、入门学习视频5、实战案例6、清华编程大佬出品《漫画看学…

如何利用产品帮助中心提升用户体验

在当今竞争激烈的市场中&#xff0c;提供优秀的用户体验是吸引和保留客户的关键。而一个高效和易于使用的产品帮助中心&#xff0c;正成为越来越多企业用以提升用户体验的重要工具。产品帮助中心是一个集中的信息库&#xff0c;为用户提供关于产品功能、故障排除、常见问题解答…

文件缓存的读写

文件系统的读写&#xff0c;其实就是调用系统函数 read 和 write。下面的代码就是 read 和 write 的系统调用&#xff0c;在内核里面的定义。 SYSCALL_DEFINE3(read, unsigned int, fd, char __user *, buf, size_t, count) {struct fd f fdget_pos(fd); ......loff_t pos f…

有什么可以自动保存微信文件的方法么?

8-3 本文要介绍的方法&#xff0c;可以自动帮你保存微信上收到的文件型数据&#xff0c;比如文件、图片、视频&#xff0c;如果你的工作需要每天或者经常保存大量的从微信收到的文件型数据&#xff0c;也许本文适合你&#xff0c;本文介绍的工具&#xff0c;对微信多开也有效果…

【论文阅读】多模态NeRF:Cross-Spectral Neural Radiance Fields

https://cvlab-unibo.github.io/xnerf-web intro 从不同的light spectrum sensitivity获取信息&#xff0c;同时需要obtain a unified Cross-Spectral scene representation – allowing for querying, for any single point, any of the information sensed across spectra。…

数据分析是什么?

第一章- 数据分析是什么 数据分析是指 根据分析目的&#xff0c;用适当的分析方法及工具&#xff0c;对数据进行分析&#xff0c;提取有价值的信息&#xff0c;形成有效结论的过程。 数据分析的作用 通过观察数据&#xff0c;知道当前发生什么&#xff1f;通过具体的数据拆解…

基于JavaWeb+SSM+Vue微信小程序校园兼职任务平台系统的设计和实现

基于JavaWebSSMVue微信小程序校园兼职任务平台系统的设计和实现 源码传送入口前言主要技术系统设计功能截图Lun文目录订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 源码传送入口 前言 随着社会的发展和全球疫情的冲击&#xff0c;大学生的就业形势越来越严峻。越…

接收表单数据

如果您尝试按下提交按钮&#xff0c;浏览器将显示“Method Not Allowed”错误。这是因为到目前为止&#xff0c;前一节中的登录视图函数完成了一半的工作。它可以在网页上显示表单&#xff0c;但是还没有逻辑来处理用户提交的数据。这是Flask-WTF使工作变得非常简单的另一个领域…

游戏缺失d3dx9_39.dll的5个修复方法,深度解析d3dx9_39.dll文件的作用

在当今的数字化时代&#xff0c;电子游戏已经成为了人们休闲娱乐的重要方式之一。然而&#xff0c;对于许多玩家来说&#xff0c;他们在享受游戏带来的乐趣的同时&#xff0c;也可能会遇到各种各样的问题&#xff0c;其中最常见的就是游戏无法正常运行。而这些问题中&#xff0…

【Java 进阶篇】保护你的应用:Java 过滤器实现敏感词汇过滤

在开发 Web 应用程序时&#xff0c;安全性是至关重要的一环。保护用户免受恶意内容的侵害是开发者义不容辞的责任之一。在这篇博客中&#xff0c;我们将深入研究如何使用 Java 过滤器来过滤敏感词汇&#xff0c;确保用户输入的内容不包含不良信息。我们将采用简单而实用的方法&…

Shell速成:快速提升你的Linux命令行技能

1 diff 对比文件不同 diff file1 file2 # 区分两个文件不同的地方[num1,num2][a|c|d][num3,num4] num1,num2 ##第一个文件中的行 a ##添加 c ##更改 d ##删除 < ##第一个文件中的内容 > ##第二个文件中的内容 num3,num4 ##第二个文件中的行-b忽略空格 -B忽略空行 -i…

【ARFoundation学习笔记】点云与参考点

写在前面的话 本系列笔记旨在记录作者在学习Unity中的AR开发过程中需要记录的问题和知识点。主要目的是为了加深记忆。其中难免出现纰漏&#xff0c;更多详细内容请阅读原文以及官方文档。 汪老师博客 文章目录 点云新建点云 参考点参考点的工作原理何时使用参考点使用参考点…

骨传导耳机哪个好?盘点五款好用的骨传导耳机分享

随着手机成为日常生活不可分割的一部分&#xff0c;耳机也逐渐成为了许多人的日常。相较于有线耳机&#xff0c;有越来越多的人愿意去选择无线耳机&#xff0c;而无线耳机也分不同的款式&#xff0c;有入耳式、头戴式、耳夹式、还有耳挂式&#xff0c;入耳式和头戴式由于佩戴时…

地理数据常用处理

自助式绘图工具kepler UTM坐标转WGS84 首先根据UTM对应表找到目标地区的编号&#xff0c;中国东部地区属于UTM Zone 50N 再查找UTM 50N 的EPSG标准 https://epsg.io/?qUTMzone50N 得到 EPSG:32650 Transform coordinates geohash编码与解码 import transbigdata as tbd …

AIP171 AIP591 控制进入运行设备或机器的大门

AIP171 AIP591 控制进入运行设备或机器的大门 AutomationDirect在其安全产品系列中增加了Dold trapped key系统。被困钥匙系统使用一系列机械锁和钥匙来控制进入运行设备或机器的大门&#xff0c;确保安全进入这些机器。Dold被困钥匙系统门集提供了一个完整的被困钥匙安全系统…

mac的可清除空间(时间机器)

看到这个可用82GB&#xff08;458.3MB可清除&#xff09; 顿时感觉清爽&#xff0c;之前的还是可用82GB&#xff08;65GB可清除&#xff09;&#xff0c;安装个xcode都安装不上&#xff0c;费解半天&#xff0c;怎么都解决不了这个问题&#xff0c;就是买磁盘情理软件也解决不了…