OpenAI Adjusts Strategy as ‘GPT’ AI Progress Slow

news2024/11/22 20:20:24

注:本文为两篇关于当前大模型方向讨论的文章。


OpenAI 大改下代大模型方向,scaling law 撞墙?AI 社区炸锅了

机器之心 2024 年 11 月 11 日 11:57 北京

机器之心报道

编辑:Panda、泽南

大模型的 scaling law 到头了?行业龙头 OpenAI 在转换策略。

有研究预计,如果 LLM 保持现在的发展势头,预计在 2028 年左右,已有的数据储量将被全部利用完。届时,基于大数据的大模型的发展将可能放缓甚至陷入停滞。

图片

  • 来自论文《Will we run out of data? Limits of LLM scaling based on human-generated data》*

但似乎我们不必等到 2028 年了。昨天,The Information 发布了一篇独家报道《随着 GPT 提升减速,OpenAI 改变策略》,其中给出了一些颇具争议的观点:

  • OpenAI 的下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升;

  • AI 产业界正将重心转向在初始训练后再对模型进行提升;

  • OpenAI 已成立一个基础团队来研究如何应对训练数据的匮乏。

文章发布后,热议不断。OpenAI 著名研究科学家 Noam Brown 直接表示了反对(虽然那篇文章中也引用了他的观点)。他表示 AI 的发展短期内并不会放缓。并且他前些天还在另一篇 X 推文中表示,对于 OpenAI CEO 山姆・奥特曼的 AGI 发展路径已经清晰的言论(「事情的发展速度将比人们现在预想的要快得多」),OpenAI 的大多数研究者都表示比较认同。

图片

著名 X 博主 @apples_jimmy 甚至直斥之为 Fake News,毕竟奥特曼说过 AGI 很快就要实现了。

OpenAI 的 Adam GPT 则给出了更详细的反对意见。他表示大模型的 scaling laws 和推理时间的优化是两个可以互相增益的维度。也就是说就算其中一个维度放缓,也不能得出 AI 整体发展放缓的结论。

图片

OpenAI 产品副总裁 Peter Welinder 也认同上述看法。

图片

当然,也有人认同 The Information 这篇文章的观点,比如一直有类似观点的 Gary Marcus 表示这篇文章宣告了自己的胜利。

图片

数据科学家 Yam Peleg 也表示某前沿实验室的 scaling laws 出现了巨大的(HUGE)受益递减问题。

图片

大多数吃瓜群众基本认同 OpenAI 相关人士公开发布的意见,毕竟该公司虽然存在无数的争议和八卦,但目前仍旧是当之无愧的行业领导者。也就是说,相比于媒体揣测,OpenAI 的话会更可信一些。

图片

不过有意思的是,The Information 这篇报道也宣称很多信息来自 OpenAI 内部员工和研究者。当然,该媒体没有给出具体的信息源。下面我们就来看看这篇引发广泛的争议的报道究竟说了什么。

使用 ChatGPT 和其他人工智能产品的人数正在飙升。不过,支撑这些产品的基本构建模块的改进速度似乎正在放缓。

为了弥补这种减速,OpenAI 正在开发新技术来增强这些构建模型,即大型语言模型。

据一位知情人士透露,尽管 OpenAI 只完成了 Orion 训练过程的 20%,但奥特曼表示,在智能和完成任务和回答问题的能力方面,它已经与 GPT-4 不相上下。

据一些使用或测试过 Orion 的 OpenAI 员工称,虽然 Orion 的性能最终会超过之前的型号,但相比于该公司发布的最新两款旗舰模型 GPT-3 和 GPT-4 之间的飞跃,质量的提升要小得多。

据这些员工称,该公司的一些研究者认为,在处理某些任务方面,Orion 并不比其前代模型更好。据 OpenAI 的一名员工称,Orion 在语言任务上表现更好,但在编程等任务上可能不会胜过之前的模型。其中一位员工表示,这可能是一个问题,因为与 OpenAI 之前发布的其他模型相比,Orion 在 OpenAI 数据中心运行的成本可能更高。

Orion 的情况可以检验人工智能领域的一个核心假设,即 scaling laws:只要有更多数据可供学习,并有更多的计算能力来促进训练过程,LLM 就能继续以相同的速度提升性能。

为了应对近期 GPT 提升放缓对基于训练的 scaling laws 带来的挑战,AI 行业似乎正在将精力转向训练后对模型进行改进,这可能会产生不同类型的 scaling laws。

包括 Meta 的马克・扎克伯格在内的一些 CEO 表示,在最坏的情况下,即使当前技术没有进步,仍有很大空间在现有技术的基础上构建消费者和企业产品。

例如,OpenAI 正忙于将更多的编程功能融入其模型中,以抵御来自竞争对手 Anthropic 的重大威胁。后者正在开发一种软件,其可以接管用户电脑,通过像人类一样执行点击、光标移动、文本输入来使用不同的应用程序,从而完成涉及网络浏览器活动或应用程序的白领工作。

这些产品是向处理多步骤任务的 AI 智能体迈进的一部分,可能与 ChatGPT 最初发布时一样具有革命性。

此外,扎克伯格、奥特曼和其他 AI 开发商的首席执行官也公开表示,他们尚未达到传统 scaling laws 的极限。因此,OpenAI 等公司仍在开发昂贵的、价值数十亿美元的数据中心,以尽可能多地提升预训练模型的性能。

然而,OpenAI 研究者 Noam Brown 上个月在 TEDAI 大会上表示,更先进的模型可能在经济上不可行。

「毕竟,我们真的要花费数千亿美元或数万亿美元训练模型吗?」 Brown 说。「在某个时候,scaling 范式会崩溃。」

OpenAI 尚未完成对 Orion 的安全性的漫长测试过程。其员工们表示,OpenAI 明年初发布 Orion 时,可能不再采用其旗舰模型的传统「GPT」命名惯例,进一步凸显 LLM 改进方式的变化。(OpenAI 发言人没有对此发表评论。)

撞上数据南墙

OpenAI 员工和研究者表示,GPT 速度放缓的原因之一是高质量文本和其他数据的供应量正在减少,而这些数据是 LLM 预训练所必需的。

他们表示,在过去几年中,LLM 使用来自网站、书籍和其他来源的公开文本和其他数据进行预训练,但模型开发者基本上已经从这类数据中榨干了尽可能多的资源。

图片

作为回应,OpenAI 成立了一个基础团队,由之前负责预训练的 Nick Ryder 领导。他们表示,该团队将研究应对训练数据的匮乏,以及大模型的扩展定律将持续到什么时候。

据 OpenAI 的一名员工称,Orion 部分接受了 AI 生成的数据的训练,这些数据由其他 OpenAI 模型生成,包括 GPT-4 和最近发布的推理模型。然而,这位员工表示,这种合成数据导致了一个新问题,即 Orion 最终可能会在某些方面与那些旧模型相似。

风险投资人 Ben Horowitz 表示:「我们正在以同样的速度增加『用于训练 AI 的 GPU 数量』,但我们并没有从中获得任何智能改进。」

OpenAI 研究人员正在利用其他工具在训练后过程中改进 LLM,通过改进它们处理特定任务的方式。研究人员通过让模型从大量已被正确解决的问题(如数学或代码问题)中学习来实现这一目标,这一过程称为强化学习。

他们还要求人类评估人员在特定的代码或复杂问题任务上测试预训练模型,并对答案进行评分,这有助于研究人员调整模型以改进其对某些类型请求(例如写作或代码)的回答水平。这个过程称为带有人类反馈的强化学习(RLHF),也为较旧的人工智能模型提供了帮助。

为了处理这些评估,OpenAI 和其他人工智能开发人员通常依靠 Scale AI 和 Turing 等初创公司来管理数千名承包商。

随着 OpenAI 技术的演进,研究人员继续开发出了名为 o1 的推理模型,该模型需要更多时间「思考」LLM 训练的数据,然后才能给出答案,这一概念称为测试时间计算。

这意味着,如果在模型回答用户问题时为其提供额外的计算资源,即使不更改底层模型,o1 的响应质量也可以继续提高。一位了解这一过程的人士表示,如果 OpenAI 能够不断提高底层模型的质量,即使速度较慢,也能产生更好的推理结果。

「这为大模型的扩展开辟了一个全新的维度,」Brown 在 TEDAI 会议上表示。研究人员可以通过将「每个查询花费一分钱提到每个查询花费一毛钱」来改善模型响应。

奥特曼也强调了 OpenAI 推理模型的重要性,它可以与 LLM 相结合。

「我希望推理能解锁很多我们等待多年的事情 —— 例如,像这样的模型能够为科学研究做出贡献,帮助编写更多非常困难的代码,」奥特曼在 10 月的一次应用开发者活动中说道。

图片

在最近接受 Y Combinator 首席执行官 Garry Tan 采访时,奥特曼表示,「我们基本上知道该怎么做」才能实现通用人工智能,即与人类智力相当的技术 —— 其中的一部分涉及「以创造性的方式使用现有模型」。

数学家和其他科学家表示,o1 对他们的工作很有帮助,因为它可以充当可以提供反馈或想法的伙伴。但两位了解情况的员工表示,该模型目前的价格比非推理模型高出六倍,因此它还没有广泛的客户群。

「突破渐近线」

一些向人工智能开发者投入了数千万美元的投资者怀疑,大语言模型的进步速度是否开始趋于平稳。

Ben Horowitz 的风险投资公司已经投资了 OpenAI、Mistral 和 Safe Superintelligence 等公司,他在 YouTube 频道里表示:「我们正在以同样的速度增加『用于训练人工智能的 GPU』的数量,但我们根本没有从中获得智能改进。」

Horowitz 的同事 Marc Andreessen 在同一视频中则表示,「有很多聪明人正在努力突破渐近线,想办法达到更高水平的推理能力。」

企业软件公司 Databricks 的联合创始人兼主席联合开发者 Ion Stoica 表示,大模型的表现可能在某些方面已经停滞,但在其他方面仍在进步。

Stoica 表示,尽管大模型在代码和解决复杂、多步骤问题等任务方面不断改进,但其在执行通用任务(如分析一段文本的情感或描述医疗问题的症状)方面似乎进展缓慢。

「对于常识性问题,你可以说,目前我们看到 LLM 的表现停滞不前。我们需要 [更多] 事实数据,而合成数据没有太大帮助,」他说道。

你觉得 AI 发展的 scaling laws 速度放缓了吗?推理时间计算能否成为新的性能提升来源?请与我们分享你的观点。

参考链接

https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows

https://www.youtube.com/watch?v=xXCBz_8hM9w

https://arxiv.org/abs/2211.04325

https://www.youtube.com/watch?v=hookUj3vkE4

© THE END


GPT-5 被曝不及预期,OpenAI 员工:没什么科学突破了,接下来只需要工程

量子位 2024 年 11 月 11 日 13:04 北京 梦晨 发自 凹非寺 量子位 | 公众号 QbitAI

猛料来了,OpenAI 下一代旗舰模型被曝提升不如预期

消息来自 The Information,具体指代号**“猎户座”**(Orion)的模型相对 GPT-4 的提升幅度,小于 GPT-4 相对 GPT-3,已进入收益递减阶段

或许这也是奥特曼曾说,可能不会把新模型命名为 GPT-5 的原因之一。

图片

消息一出,著名悲观派学者 Gary Marcus 直接半场开香槟,宣布自己胜利。

图片

在更详细的一篇文章中,他认为整个 AI 行业公司的高估值建立在模型能力不断增强、迅速达到 AGI 的预期之上

如果改进放慢了,多数 AI 公司都能赶上最前沿模型的水平。从此行业进入价格战,收入保持在低位。同时因芯片成本高昂,利润也将难以获得。

当每个人都意识到这一点时,金融泡沫可能会迅速破灭,即使是英伟达也可能受到打击

图片

并且遇到瓶颈的或许不只是 OpenAI,此前 Anthropic 没有如期发布 Claude 3.5 Opus,并且从官网删除了相关描述。

以及谷歌 Gemini 2 虽然计划很快发布,但也被曝性能提升也不及 DeepMind 创始人的预期。

图片

大模型 Scaling Law 真的撞墙了吗?

“猎户座” 被曝不及预期,奥特曼:AGI 2025

根据目前消息,长期跟踪 ChatGPT 进展和网页源码的 “光头哥” Tibor Blaho 总结如下:

  • 参与测试新模型的 OpenAI 员工称, “猎户座” 仅完成 20% 训练时就达到了 GPT-4 级别的性能。

  • 但最终质量提升小于从 GPT-3 到 GPT-4 的飞跃,这表明传统的 Scaling 可能由于高质量数据变得有限而放缓。

  • 训练 “猎户座” 使用了先前模型(GPT-4 和 o1)生成的数据,可能导致它重现旧模型的一些行为。

  • OpenAI 创建了一个 “基础团队”,在高质量数据供应减少的情况下寻找新方法。

  • o1 类模型成本是传统模型的 6 倍,“猎户座” 可能提高 OpenAI 数据中心的运营成本,进一步增加财务压力。

  • OpenAI 正在做 “猎户座” 的安全测试,计划于明年初发布,可能不会再命名为 GPT 系列

图片

与此同时,从 OpenAI CEO 和许多资深员工那里,传来的却是不同的故事。

首先是奥特曼接受 YC 总裁 Garry Tan 采访,在回答最后一个问题**“2025 年什么会让你兴奋”时,脱口而出“AGI”**,没有半秒犹豫。

图片

这段采访引起争议后,强化学习大牛 Noam Brown 发声:

我听人们说奥特曼只是在炒作,但从我的观察来看,他说的一切都符合 OpenAI 一线研究员的中位数观点。

图片

今年 1 月才入职 OpenAI 的特斯拉前工程师也表达了认同:

自从我加入以来,我的观点已经从 “这是毫无成效的炒作” 转变成 “AGI 基本就在这里”

恕我直言,接下来的科学创新会相对很少,将由多年的艰苦工程代替

图片

那么,究竟发生了什么?

在 Garry Tan 与奥特曼的对话中,两人从奥特曼早期在 YC 的经历,谈到 OpenAI 的创立、发展过程,以及给如今创业公司的建议等等。

在接近结束的时候,Garry Tan 抛出了这样的问题:你从去年秋天的动荡中学到了什么?你对一些人员离职有什么感受?

奥特曼回答:很累,但感觉很好。

ChatGPT 还不到两岁,我们有点像在两年内速通了中型甚至大型科技公司的发展历程,通常需要十年时间。

这带来了很多痛苦的事情。任何公司在扩张时,都会以某种速度经历管理团队的更替。擅长从 0 到 1 的人不一定适合从 1 到 10 或从 10 到 100 的阶段。

…… 我希望我们现在正走向一个更平稳的时期,但我确信将来还会有其他时期,事情会再次变化剧烈。

Garry Tan 接着提问:我想知道 OpenAI 现在运作的如何?目前的质量和推进速度如何?

奥特曼接下来的回答虽然一如既往的打太极,但引起很多关注:

这是我们第一次真正知道该做什么。构建 AGI 仍然需要大量的工作,有一些已知和未知,还需要一段时间,而且会很困难,但这非常令人兴奋。

…… 我们的研究路径相当清晰,我们的基础设施路径相当清晰,产品路径也越来越清晰…… 很长一段时间,我们都不是这样。

图片

评论区网友显然不买账,有人怀疑这只是奥特曼在试图修改 AGI 的定义,按照合同,一旦董事会宣布 AGI 达成,就可以停止与微软分享技术了。

图片

也有人指出,这无法解释最近 OpenAI 人才频繁出走。

图片

对于人才流动,OpenAI 模型架构研究员 Rohan Pandey 表示并没有人们以为的那么严重。

今年早些时候 OpenAI 员工总数被曝已超过 1700,比去年董事会叛变时期增加了上千人。

图片

也有网友认为,反过来也说得通:

OpenAI 高管看到技术进展很快,所以提前离开去创办 AI 智能体公司。

图片

参考链接:

[1] https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows

[2] https://www.youtube.com/watch?v=xXCBz_8hM9w

[3] https://garymarcus.substack.com/p/confirmed-llms-have-indeed-reached

[4] https://www.theverge.com/2024/10/25/24279600/google-next-gemini-ai-model-openai-december

[5] https://x.com/btibor91/status/1855381376054251654


via:

  • OpenAI 大改下代大模型方向,scaling law 撞墙?AI 社区炸锅了 机器之心 2024 年 11 月 11 日 11:57 北京

    https://mp.weixin.qq.com/s/0SXPOvFPFo4f7rphxbUuwA

  • GPT-5 被曝不及预期,OpenAI 员工:没什么科学突破了,接下来只需要工程 量子位 2024 年 11 月 11 日 13:04 北京

    https://mp.weixin.qq.com/s/J_VH7R0qkYckcLEGV3eBew

  • OpenAI Adjusts Strategy as ‘GPT’ AI Progress Slows! - All About AI

    https://www.allaboutai.com/ai-news/openai-adjusts-strategy-as-gpt-ai-progress-slows/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2245532.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java开发者必备:23种设计模式全面解析

文章目录 一、创建型模式1、工厂模式简单工厂工厂方法 2、抽象工厂模式3、原型模式4、建造者模式5、单例模式 二、结构型模式1、适配器模式2、桥接模式3、组合模式4、装饰模式5、外观模式6、享元模式7、代理模式 三、行为型模式1、解释器模式2、模板方法模式3、策略模式4、观察…

LeetCode:1008. 前序遍历构造二叉搜索树

目录 题目描述: 代码: 第一种: 第二种: 第三种:分治法 题目描述: 给定一个整数数组,它表示BST(即 二叉搜索树 )的 先序遍历 ,构造树并返回其根。 保证 对于给定的测试用例,总是有可能找到具有给定需求的二叉搜索树。 二叉搜索树 是一棵…

STM32F103 GPIO和串口实战

本节我们将会对STM32F103的硬件资源GPIO和串口进行介绍。 一、GPIO 1.1 电路原理图 LED电路原理图如下图所示: 其中: LED1连接到PA8引脚,低电平点亮;LED2连接到PD2引脚,低电平点亮; 1.2 GPIO引脚介绍 STM32…

Statsmodels之OLS回归

目录 Statsmodels基本介绍OLS 回归实战实战1:实战2: Statsmodels基本介绍 Statsmodels 是 Python 中一个强大的统计分析包,包含了回归分析、时间序列分析、假设检验等等的功能。Statsmodels 在计量的简便性上是远远不及 Stata 等软件的&…

在 macOS 和 Linux 中,波浪号 `~`的区别

文章目录 1、在 macOS 和 Linux 中,波浪号 ~macOS示例 Linux示例 区别总结其他注意事项示例macOSLinux 结论 2、root 用户的主目录通常是 /root解释示例切换用户使用 su 命令使用 sudo 命令 验证当前用户总结 1、在 macOS 和 Linux 中,波浪号 ~ 在 macO…

人工智能之机器学习5-回归算法2【培训机构学习笔记】

培训班ppt内容: 个人精进总结: 可解释方差 定义 可解释方差的回归评分函数是一种用于评估回归模型性能的指标,以下从其定义、计算公式、取值范围及意义、应用场景等方面进行详细介绍: 可解释方差(Explained Varian…

vue2中引入cesium全步骤

1.npm 下载cesium建议指定版本下载,最新版本有兼容性问题 npm install cesium1.95.0 2.在node_models中找到cesium将此文件下的Cesium文件复制出来放在项目的静态资源public中或者static中,获取去github上去下载zip包放在本地也可以 3.在index.html中引…

数据结构(顺序栈——c语言实现)

栈的基本概念: 栈是限制在一端进行插入操作和删除操作的线性表(俗称堆栈),允许进行操作的一端称为“栈顶”,另一固定端称为“栈底”,当栈中没有元素时称为“空栈” 特点:先进后出(FI…

基于Windows系统用C++做一个点名工具

目录 一、前言 二、主要技术点 三、准备工作 四、主界面 1.绘制背景图 2、实现读取花名册功能 3.实现遍历花名册功能 4.实现储存功能 4.1创建数据库 4.2存储数据到数据库表 4.3读取数据库表数据 一、前言 人总是喜欢回忆过去,突然回忆起…

前端监控之sourcemap精准定位和还原错误源码

一、概述 在前端开发中,监控和错误追踪是确保应用稳定性和用户体验的重要环节。 随着前端应用的复杂性增加,JavaScript错误监控变得尤为重要。在生产环境中,为了优化加载速度和性能,前端代码通常会被压缩和混淆。这虽然提升了性…

算法编程题-排序

算法编程题-排序 比较型排序算法冒泡排序选择排序插入排序希尔排序堆排序快速排序归并排序 非比较型排序算法计数排序基数排序 本文将对七中经典比较型排序算法进行介绍,并且给出golang语言的实现,还包括基数排序、计数排序等非比较型的算法的介绍和实现…

Jenkins修改LOGO

重启看的LOGO和登录页面左上角的LOGO 进入LOGO存在的目录 [roottest-server01 svgs]# pwd /opt/jenkins_data/war/images/svgs [roottest-server01 svgs]# ll logo.svg -rw-r--r-- 1 jenkins jenkins 29819 Oct 21 10:58 logo.svg #jenkins_data目录是我挂载到了/opt目录&…

【MyBatisPlus·最新教程】包含多个改造案例,常用注解、条件构造器、代码生成、静态工具、类型处理器、分页插件、自动填充字段

文章目录 一、MyBatis-Plus简介二、快速入门1、环境准备2、将mybatis项目改造成mybatis-plus项目(1)引入MybatisPlus依赖,代替MyBatis依赖(2)配置Mapper包扫描路径(3)定义Mapper接口并继承BaseM…

云讷科技Kerloud无人飞车专利发布

云讷科技Kerloud无人飞车获得了“一种室内外两用的四旋翼无人飞车”的实用新型专利证书,作为科教社区第一款四旋翼飞车,这项技术结合了无人机和无人车的优势,提供了一种能够在多种环境下使用的多功能飞行器。 这项设计的优势如下&#xff…

Applied Intelligence投稿

一、关于手稿格式: 1、该期刊是一个二区的,模板使用Springer nature格式, 期刊投稿要求,详细期刊投稿指南,大部分按Soringernature模板即可,图片表格声明参考文献命名要求需注意。 2、参考文献&#xff…

Spark SQL大数据分析快速上手-完全分布模式安装

【图书介绍】《Spark SQL大数据分析快速上手》-CSDN博客 《Spark SQL大数据分析快速上手》【摘要 书评 试读】- 京东图书 大数据与数据分析_夏天又到了的博客-CSDN博客 Hadoop完全分布式环境搭建步骤-CSDN博客,前置环境安装参看此博文 完全分布模式也叫集群模式。将Spark目…

零基础上手WebGIS+智慧校园实例(1)【html by js】

请点个赞收藏关注支持一下博主喵!!! 等下再更新一下1. WebGIS矢量图形的绘制(超级详细!!),2. WebGIS计算距离, 以及智慧校园实例 with 3个例子!!…

[开源] 告别黑苹果!用docker安装MacOS体验苹果系统

没用过苹果电脑的朋友可能会对苹果系统好奇,有人甚至会为了尝鲜MacOS去折腾黑苹果。如果你只是想体验一下MacOS,这里有个更简单更优雅的解决方案,用docker安装MacOS来体验苹果系统。 一、项目简介 项目描述 Docker 容器内的 OSX&#xff08…

IDEA:2023版远程服务器debug

很简单,但是很多文档没有写清楚,wocao 一、首先新建一个远程jvm 二、配置 三、把上面的参数复制出来 -agentlib:jdwptransportdt_socket,servery,suspendn,address5005 四、然后把这串代码放到服务器中(这里的0.0.0.0意思是所有IP都能访问&a…

卷积神经网络的padding是什么?如何计算?

文章目录 为什么需要padding?1.Valid Padding(有效填充)2.Same Padding(相同填充)2.1.如何计算padding?1. 计算总 padding2. 分配 padding: 2.2.举例子1. 步幅为 1 的 Same Padding2. 步幅不为 …