Seed Edge 是字节跳动豆包大模型团队推出的 AGI(人工智能通用智能)长期研究计划12。以下是对它的具体介绍1:
名称含义
- “Seed” 即豆包大模型团队名称,“Edge” 代表最前沿的 AGI 探索,整体意味着该项目将在 AGI 领域进行前沿探索。
目标与定位
核心目标是做比预训练和大模型迭代更长期、更基础的 AGI 前沿研究,为 AI 研究者提供更自由的探索空间和资源支持,探索 AGI 的新方法,推动通用智能的边界。
支持措施
- 自由探索环境:营造宽松的研究氛围,项目成员无需受限于短期成果压力,可以专注于更长周期、不确定性高且具有颠覆性的研究课题。
- 独立算力资源:为每个课题提供强大的算力支持,确保研究工作的顺利开展。
- 长期考核机制:采用更长的考核周期,让研究者能够大胆尝试颠覆性方向。
研究方向
- 探索推理能力的边界:探索更高效且更通用、提升模型推理能力的方法,例如深入探索大规模强化学习和预训练 + 强化学习迭代,打造泛化能力更强的 Test-Time Scaling 技术。
- 探索感知能力的边界:找到统一生成和理解表示的方法,表示和压缩真实世界,构建 “世界模型”,从真实数据压缩建模,超越语言的限制,探索更优的世界表示方法。
- 探索软硬一体的下一代模型设计:从软硬一体出发,根据下一代训练和推理硬件的特点,优化模型架构,探索 Transformer+GPU 之外的模型设计,同时提升训练效率、推理效率和模型性能。
- 探索下一代 AI 学习范式:在反向传播、Transformer 架构、预训练 + 对齐的模式之外,理解模型学习能力来源,研究更高效的学习目标与学习算法,探索更高效的模型结构和学习方法。
- 探索下一个 scaling 方向:在预训练和推理阶段的 Scaling Laws 之外,聚焦新一代 Scaling 方法,探索 Multi-Agent(多智能体)和 Test-Time Training(测试时间训练,动态调整模型参数)等方向,推动智能边界的演化与提升。
- 项目组建:刚刚于 2025 年 1 月下旬正式设立,目前会先以虚拟项目组的方式运行,鼓励跨模态、跨团队合作,后续可能会根据研究进展和需求进一步完善组织架构和团队建设。
- 方向确定:已初步拟定了探索推理能力的边界、探索感知能力的边界、探索软硬一体的下一代模型设计、探索下一代 AI 学习范式、探索下一个 scaling 方向这五大研究方向,为后续的研究工作明确了大致的路径和目标,但具体的研究课题和方案还需要进一步细化和规划。
- 资源配置:明确会为项目提供宽松的研究环境、单独的算力资源保障以及采用更长周期的考核方式,目前正在落实相关资源的调配和管理机制,以确保研究工作的顺利开展。