新火种AI|摊上事儿了!13名OpenAI与谷歌员工联合发声:AI失控可能导致人类灭绝...

news2024/11/18 7:42:46

作者:小岩

编辑:彩云

2024年,OpenAI的CEO Sam Altman就没有清闲过,他似乎一直走在解决麻烦的路上。最近,他的麻烦又来了。

当地时间6月4日,13位来自OpenAI和Google Deep Mind的现任及前任员工联合发布了一封公开信,引发了外界的广泛关注。这些员工在信中表达了对人工智能技术潜在风险的严重担忧,并呼吁相关公司采取更加透明,更加负责任的措施来应对这些风险。

不夸张的说,这一次,OpenAI和谷歌是被讨伐了。

多位知名人士联合背书,就连AI教父也为其站台。

这封由13名OpenAI和谷歌Deep Mind现任及前任员工联合发出的公开信,一方面揭发了OpenAI的鲁莽和保密文化;另一方面还强调了前沿AI技术的严峻风险,表达了对AI公司在开发和推广AI技术时利益优先,打压异见者以及规避监管等种种行径的担忧。

信中指出,尽管AI技术可能会给人类带来巨大益处,但其带来的风险同样不容忽视,包括加剧社会不平等,操纵和虚假信息传播,以及自主AI系统失控可能导致的人类灭绝等。这些风险绝非空穴来风,不仅得到了人工智能公司本身的确认,也得到了世界各国政府和其他AI专家的认可。

公开信签署者们表示,他们希望在科学界,政策制定者和公众的指导下,能够充分缓解这些风险。他们出现了很强的忧患意思,他们担心,人工智能公司出于强烈的经济动机,可能会避免接受有效的监督,可仅靠现有的公司治理结构,完全不足以解决这一问题。

信中还提到,由于严格的保密协议,员工们在表达对AI风险的担忧时,还要面临着种种限制,目前对于举报人的保护措施也存在着严重不足,很多员工担心因为提出批评而遭遇报复。

值得一提的是,这封信获得了多位知名人士的联名背书,这其中就有被誉为“人工智能教父”的Geoffrey Hinton,还有因开创性AI研究获得图灵奖的Yoshua Bengio,AI安全领域的学者Stuart Russell。

公开信署名人员的诉求和初心:要实验室对透明度做出更广泛的承诺。

那么,在公开信上署名的这些人,他的心声是什么呢?

OpenAI 的前员工Daniel Kokotajlo正是联名信公开署名人员中的一位,他曾在社交平台发文提到,“我们之中,一些最近从 OpenAI 辞职的人聚集在一起,要求实验室对透明度作出更广泛的承诺。”

资料显示,Daniel刚刚从OpenAI 辞职,其中很重要的一个原因在他对OpenAI在构建通用人工智能方面未采取负责任的行为表示失望,并且失去了信心。在Daniel看来,AI系统不是普通的软件,它们是从大量数据中学习的人工神经网络。尽管目前关于可解释性,对齐和控制的科学文献正在迅速增多,但这些领域仍处于起步阶段。如果不小心,可能会在一段时间内造成灾难性后果。Daniel曾对公司提出,他希望其在AI功能越做越强大的同时,也能够在安全研究方面投入更多资金,但OpenAI并未做出相应的调整,这导致多名员工相继辞职。

在Daniel看来,OpenAI等实验室构建的系统的确可以给人类社会带来巨大的好处,但如果不谨慎处理,很可能带来灾难性的后果。更可怕的是,当前的AI技术几乎没有被有效监管,主要是依靠公司在进行自我监管,而这种方式存在巨大的风险。

Daniel还透露,离职时他被要求签署一份“封口协议”,其中包含一项不贬损条款,禁止他发表任何批评公司的话,否则将失去已归属的股权。然而,他在深思熟虑后,依旧决定放弃签署协议。

无独有偶,今年4月,Leopold Aschenbrenner也离开了OpenAI,与Daniel不同的事,他不是主动辞职,而是被OpenAI以泄露公司机密为由开除的。

Aschenbrenner曾是OpenAI前超级对齐部门成员。据知情人士透露,他被开除的真实原因是他给几位董事会成员分享了一份OpenAI安全备忘录,结果招致OpenAI高层的不满。据说,OpenAI当时很清楚地告诉他,开除他的主要原因就是因为这份备忘录。

在此之后,Aschenbrenner上线了一个网站,用165页PDF文件汇总了他在OpenAI工作期间所了解的信息,这份文件被看作是“硅谷最激进的AI研究人员提出的一份未来10年AI发展的纲领性文件”。Aschenbrenner认为,目前深度学习还没有遇到瓶颈,到2030年左右,AGI很有可能会发展出全面超越人类的超级人工智能。对此,人类似乎还没有做好准备。AI所带来的,也绝不仅仅是多数专家所认为的“另一场互联网规模的技术变革”。

安全主管辞职,超级对齐团队解散,多名骨干成员正在“背叛”OpenAI...

事实上,从OpenAI离职的远不止以上两位,很多掌握着核心部门的大佬都相继离开了OpenAI。

其中,最具代表性的当属OpenAI原首席科学家Ilya Sutskever,以及前安全主管,超级对齐团队负责人Jan Leike。

与Aschenbrenner和Deniel一样,Leike在离职后公开批评了OpenAI的管理层,指责其追求华而不实的产品,却忽视了AGI本身存的安全问题。他表示,在过去的几个月里,超级对齐团队一直都是逆风航行,在提升模型安全性的道路上受到公司内部的重重阻碍。

Ilya则在OpenAI的宫斗事件之后一直保持沉默,即便到了最后官宣离职的时候,也没过多的阐述自己的立场和观点。不过,Ilya曾在先前的一段视频中提到,一旦AGI彻底实现,AI未必会仇恨人类,但他们对待人类的方式可能会像人类对待动物一样:人可能无意伤害动物,但如果你想修一条城际高速,你不会征询动物的意见,而是直接去做。当面临这种情况时,AI 可能也会自然而然地做出类似的选择。

去年11月OpenAI爆发宫斗事件,借着宫斗事件的最终走向,我们可以大致看出OpenAl内部存在的大模型安全性问题,以及分化日趋明显的两大阵营。一方阵营是以Sam Altman为代表的“发展派”;另一方,则是以Ilya为代表的“安全派”。两方斗法,如今来看,结局很明显:以Ilya为代表的的安全派基本丧失了话语权,就连昔日备受瞩目的超级对齐团队也被连根拔起。

在这种情况下,未来的一切都成了未知数。我们无法预判Sam Altman所代表的激进发展派是否会一路长虹的前进。如果事实真是这样,未来人类该如何平衡与生成式AI之间的关系,也会成为巨大的未知数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1812004.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

UFS Explorer Professional Recovery: 如何从启用了 mSATA 缓存的 Drobo 设备中恢复数据

天津鸿萌科贸发展有限公司是 UFS Explorer Professional Recovery 数据恢复软件的授权代理商。 UFS Explorer Professional Recovery 数据恢复软件提供综合性的解决方案,用于解决复杂的数据恢复案例,包括那些采用特殊存储技术的案例,或介质受…

“解锁用户留存与复购:链动2+1模式的创新应用与策略“

大家好,我是吴军,担任一家知名软件开发公司的产品经理。 今天,我想和大家分享的是关于如何通过链动21模式来提升用户留存和复购率的策略。 尽管链动模式已经存在一段时间,但许多人认为它已经过时了。实际上,链动模式具…

【Text2SQL 论文】CHESS:利用上下文来合成 SQL 的 pipeline

文章目录 一、论文速读二、CHESS pipeline2.1 Entity and Context Retrieval2.2 Schema Selection2.3 Query Generation 三、预处理四、实验五、总结讨论 一、论文速读 本文提出了一个 pipeline 框架——CHESS——来解决应用于复杂的真实数据库场景下的 Text2SQL 问题。 在现…

vue3的个人理解

本文目的是记录使用vue3的时候的一些属性的个人理解。 一、defineExpose 官方说明 个人理解 在 <script setup>组件中&#xff0c;defineExpose可以暴露出组件的属性。项目实战// dialog组件 <script setup>import { ref } from vueimport { Close } from elemen…

【OCPP】ocpp1.6协议第4.5章节Firmware Status Notification的介绍及翻译

目录 4.5、固件状态通知Firmware Status Notification-概述 Firmware Status Notification 消息 Firmware Status Notification 请求消息 Firmware Status Notification 响应消息 使用场景 举例 FirmwareStatusNotification 请求示例 处理 FirmwareStatusNotification …

RAG与知识库搭建

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务&#xff0c;并且需要GPU资源&#xff0c;可以考虑使用UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU&#xff0c;按时收费每卡2.6元&#xff0c;月卡只需要1.7元每小时&…

ClickHouse快速安装教程(MacOS)

文章目录 ClickHouse快速安装教程&#xff08;MacOS&#xff09;1.ClickHouse2.快速安装3.快速启动3.1.启动服务器3.2.启动客户端 4.使用案例1.配置文件2.启动CK服务3.创建数据库4.创建表5.插入数据6.查询数据 ClickHouse快速安装教程&#xff08;MacOS&#xff09; 1.ClickHo…

如何利用 Google 搜索结果页来引导?

在数据驱动的决策世界中&#xff0c;获取准确而全面的信息至关重要。Google 搜索结果抓取是一种强大的技术&#xff0c;可以让企业、调查人员和研究人员从搜索引擎结果中提取可靠的数据。本综合指南将深入研究 Google 搜索结果的最佳实践、工具和道德考量&#xff0c;以确定能够…

PB-03F 二次开发——GPIO中断

文章目录 前言一、函数介绍1. hal_gpioin_register2. hal_gpio_init3. hal_gpio_pin_init4. hal_gpio_fast_write5. hal_gpio_read6. hal_gpioin_enable7. hal_gpioin_disable二、工具1. 硬件2. 软件 三、GPIO demo示例1. main.c2. 项目框架3. 注意 四、 烧录总结 前言 本文简…

数据结构下的线性回归模型

文章目录 1. 线性回归模型的基本概念与原理2. 数据结构在构建线性回归模型中的应用2.1 数组和矩阵2.2 列表2.3 字典2.4 数据框架 3. 线性回归模型的实现方法4. 示例代码演示总结 线性回归是统计学中最基础也是应用最广泛的预测模型之一&#xff0c;主要用于分析两个或两个以上变…

八轴光电测径仪在传统四大行业的具体应用

关键字:八轴测径仪, 智能测径仪,工业测径仪, 非接触测径仪,蓝鹏测控 八轴光电测径仪在多个行业中都有广泛的应用&#xff0c;尤其是在需要高精度尺寸控制的领域。以下是一些具体的应用实例&#xff1a; 这些应用展示了八轴光电测径仪在不同行业中的多样性和重要性。通过提供高精…

落地台灯什么牌子的比较好?五款适合学生使用的大路灯分享

以往只知道养孩子难&#xff0c;但到底有多难&#xff0c;心里确实没有个切实的预期&#xff0c;但随着我家孩子越长越大&#xff0c;我才知道原来想要把孩子的身心健康照顾好到底是有多难&#xff01;吃、穿、住、行无一不要精心挑选&#xff0c;就是为了能给他营造一个更好的…

StarRocks vs. Trino: 高并发性能背后的技术优势是什么?

Trino&#xff08;之前称 PrestoSQL&#xff09;项目最初由 Meta 开发&#xff0c;旨在让数据分析师能够在广泛的 Apache Hadoop 数据仓库上执行交互式查询。其高效处理大型数据集和复杂查询的能力&#xff0c;以及多数据源连接的灵活性&#xff0c;使其迅速成为大规模组织的首…

【初阶数据结构】深入解析顺序表:探索底层逻辑

&#x1f525;引言 本篇将深入解析顺序表:探索底层逻辑&#xff0c;理解底层是如何实现并了解该接口实现的优缺点&#xff0c;以便于我们在编写程序灵活地使用该数据结构。 &#x1f308;个人主页&#xff1a;是店小二呀 &#x1f308;C语言笔记专栏&#xff1a;C语言笔记 &…

【必会面试题】布隆过滤器

目录 基本组成部分&#xff1a;工作原理&#xff1a;特点&#xff1a;一个简单的示例应用场景&#xff1a; 布隆过滤器&#xff08;Bloom Filter&#xff09;是一种空间效率极高且查询速度很快的概率型数据结构&#xff0c;用于测试一个元素是否属于一个集合。布隆过滤器的基本…

【CGAL】Region_Growing检测圆柱,保存结果并输出圆柱体参数

目录 说明代码展示结果展示问题说明 说明 这篇博客以代码为主&#xff0c;使用CGAL中的region growing方法检测圆柱体。将不同的圆柱按不同颜色保存&#xff0c;并输出圆柱体的中心坐标、轴方向以及半径。 region growing的具体思想网上的文章已经有很多&#xff0c;可以参考这…

万界星空科技定制化MES系统,实现数字化生产

一、MES生产管理系统强调三个方面&#xff1a; 1、MES是对整个车间制造过程的优化&#xff0c;而不是单一的解决某个生产瓶颈。 2、MES必须提供实时收集生产过程中数据的功能&#xff0c;并作出相应的分析和处理。 3、MES需要与计划层和控制层进行信息交互&#xff0c;通过企业…

算法day25

第一题 394. 字符串解码 解法&#xff1a;模拟栈的完成上述的操作&#xff1b; 分析&#xff1a; 下面以如图的字符串来分析&#xff1b; 首先定义一个数字栈用来存放数字&#xff0c;同时定义一个容器stringbuffer栈&#xff0c;里面用来存放字符串&#xff1b; 1、遇到数字&…

若依RuoYi-Vue分离版—配置多数据源

若依RuoYi-Vue分离版—配置多数据源 一、修改application-druid.yml二、修改pom文件&#xff0c;引入依赖第一种&#xff1a;下载jar包到本地&#xff0c;然后引入&#xff08;我这边用的是这种&#xff09;本地引入的&#xff0c;打包时需要加上配置 第二种&#xff1a;从远程…

JAVA开发 使用Apache PDFBox库生成PDF文件,绘制表格

1. 表格位置定点 2.执行效果展示&#xff08;截取PDF文件图片&#xff09; 3.执行代码 当我们使用Apache PDFBox库在PDF文件中创建带有表格的内容&#xff0c;需要遵循几个步骤。PDFBox本身并没有直接的API来创建表格&#xff0c;但我们可以通过定位文本、绘制线条和单元格矩形…