大模型推理革新:探索思维图(DoT)框架的逻辑与应用

news2024/11/23 18:19:38

姚期智院士领衔推出了大模型新推理框架,CoT的“王冠”已难以承载。

提出了思维图(Diagram of Thought,DoT),使大模型的思考方式更接近人类。

团队为这一推理过程提供了数学基础,通过拓扑斯理论(Topos Theory)对DoT进行了正式化(formalize),确保了其逻辑一致性和合理性。

图片

相比于将推理过程表示为线性序列的CoT,DoT更能捕捉人类推理的复杂性。

与引入分支结构的ToT和GoT不同,DoT不依赖外部控制机制或多个模型协作,使训练和部署更加简单。

秘诀在于,DoT将大语言模型(LLM)中的迭代推理建模为在单一模型内部构建有向无环图(DAG)。

DAG由代表命题、批评、精炼和验证的节点组成,边表示它们之间的逻辑或依赖关系,且所有边均有方向,不存在任何循环路径。

图片

这种无环特性确保推理过程不受循环依赖的影响,更真实地反映合理的逻辑推导。

在DoT的帮助下,诸如“9.11和9.8哪个大”、“strawberry中有几个‘r’”等问题都能迎刃而解。

图片

图片

值得注意的是,当前大模型中的“顶流”OpenAI o1已具备生成CoT的能力,而更强大的DoT的到来,是否意味着可以通过强化学习内化到模型中?

图片

这项研究提出后引起了广泛关注。

网友纷纷表示这是一条正确的路径。

图片

图片

具体来看DoT的结构。

大模型复杂推理新框架 

如前所述,DoT将逻辑推理过程建模为在单个LLM内构建有向无环图(DAG)。

其框架内管理着三个关键角色:

  1. 提议者:生成命题或推理步骤,添加新节点。

  2. 批评者:评估命题,识别错误、不一致或逻辑谬误,并添加批评节点。

  3. 总结者:将经过验证的命题综合成一个连贯的思维链,有效地执行DAG的拓扑排序(topological sort),以产出最终推理输出。

这三个角色通过特定token(如<proposer>、<critic>、<summarizer>)在模型输出中被明确定义。LLM在生成过程中能够在这些角色间无缝切换,利用自回归能力根据上下文预测下一个token。

图片

推理过程始于提议者引入一个命题,并向DAG添加一个节点。

随后,批评者对该命题进行评估。如果提供了批评,则会添加新节点,并在命题与批评之间建立边。

基于批评,提议者生成精炼后的命题,表示为DAG中的新节点。

这一过程会不断重复,命题经过精炼,直到得到验证。

一旦形成足够有效的命题,总结者将综合这些推理,对DAG进行拓扑排序,产生连贯的思维链。

通过让模型接触正确与错误的推理,DoT使得LLM能够从错误中学习,逐步精炼推理过程,这更接近人类的解决问题方式。

这种方法不仅捕捉了推理的非线性和迭代特性,还通过自然语言批评提供了比二元信号更为丰富的反馈。

DoT的训练使用格式化为DoT结构的训练样例,包括角色特定token和DAG表示。在推理过程中,模型根据上下文线索和角色特定token生成命题、批评和总结。

这种方法简化了部署,消除了对多个LLM协作或外部控制机制的需求,同时与标准LLM训练范式保持一致,便于集成到现有工作流程中。

作者为DoT框架提供了严谨的数学基础,利用Topos Theory对推理过程进行了形式化描述。

图片

在该框架中,命题被建模为拓扑中终端对象的子对象,逻辑关系和推理步骤用态射表示,批评与改进过程则分别对应子对象分类器的态射和命题间的态射。

通过引入PreNet范畴,他们成功捕捉了推理过程的动态和并发特性。

这种数学基础不仅确保了推理过程的逻辑一致性与完备性,还为下一代专门用于推理的AI模型设计提供了概念框架。

清华交叉信息研究院的姚期智、袁洋领衔了这篇论文,第一作者为张伊凡。

图片

张伊凡于2021年本科毕业于北京大学元培学院,现为清华大学交叉信息学院的博士研究生,师从袁洋助理教授。其研究方向包括基础模型(大语言模型)的理论与算法、自监督学习及可信人工智能。

袁洋是清华大学交叉信息学院助理教授,博士生导师,主要研究方向为智能医疗、AI可解释性及AI大系统,在非凸优化理论、神经网络优化理论及机制设计等领域有丰富的研究成果。

姚期智教授是中国科学院院士、清华大学交叉信息研究院院长,是“图灵奖”创立以来首位获奖的亚裔学者,至今唯一的华人计算机科学家。2004年,他辞去普林斯顿大学的终身教职回到清华任教,并创办了多个重要的计算机科学项目。

图片

一年前的同一时间,姚期智院士领衔提出了累积推理(Cumulative Reasoning,CR)的方法,而DoT是对CR的进一步深化。

图片

CR协调了涉及不同专业化大语言模型的迭代过程,由不同模型承担提议者、验证者和报告者的角色。而DoT则直接在单一模型内构建有向无环图,避免了外部控制机制或多个模型的依赖,训练和部署更为简便。

此外,在DoT中,模型生成的批评反馈为自然语言形式,而非CR中仅提供的二元信号,使模型能够接收到关于错误的详细解释,更有效地改进命题。

这次DoT还引入了强有力的数学基础,阐明了推理过程与范畴逻辑的关系,理论上确保了推理的一致性与可靠性。

论文链接:https://arxiv.org/abs/2409.10038

参考链接:
[1]https://x.com/omarsar0/status/1835882277563179512
[2]https://hub.baai.ac.cn/users/16897
[3]https://hub.baai.ac.cn/users/19790

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2160997.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Finetune】(六)、transformers之IA-3微调

文章目录 0、IA-3基本原理1、IA-3微调实战1.1、导包1.2、加载数据集1.3、数据预处理1.4、创建模型1.5、LORA微调1.5.1、配置文件1.5.2、创建模型 1.6、配置训练参数1.7、创建训练器1.8、模型训练1.9、模型推理 0、IA-3基本原理 IA3的基本思想就是抑制和放大内部激活&#xff0c…

外包功能测试干了4年,技术退步太明显了。。。。。

先说一下自己的情况&#xff0c;本科生生&#xff0c;18年通过校招进入武汉某软件公司&#xff0c;干了差不多4年的功能测试&#xff0c;今年中秋&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能…

详细七种msvcr71.dll丢失的解决方法,快速修复错误的msvcr71.dll问题

今天&#xff0c;我打算跟大家分享一个有关电脑提示“msvcr71.dll丢失”的问题&#xff0c;并且会给出7种msvcr71.dll丢失的解决方法。但愿在大家工作期间遇到类似问题的时候&#xff0c;这些方法能够起到一定的帮助作用。同时在帮助大家了解msvcr71.dll文件。 如果遇到“msvcr…

面试知识点总结篇二

一、makefile链接库参数 LIBS -L/path/to/lib -lmylib//&#xff0c;-lmylib会链接名为libmylib.so或libmylib.a的库。all: myprogrammyprogram: myprogram.ogcc -o myprogram myprogram.o $(LIBS)//此处使用myprogram.o: myprogram.cgcc -c myprogram.c二、shell指令 Shell…

JAVA开源项目 影城管理系统 计算机毕业设计

本文项目编号 T 045 &#xff0c;文末自助获取源码 \color{red}{T045&#xff0c;文末自助获取源码} T045&#xff0c;文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析 六、核心代码6.1 用…

无人机视角下的车辆数据集

车辆数据集 无人机视角下的车辆数据集。数据集为无人机俯拍的真实场景下的车辆机动车数据集。数据集已经标注好&#xff0c;yolo格式&#xff0c;txt标签。数据集已经划分好训练集&#xff08;20970张图片&#xff09;验证集&#xff08;5242张图片&#xff09;测试集&#xff…

企业级Windows server服务器技术(1)

windows server服务器安装 准备工作&#xff1a; 1.准备安装的镜像 2.安装好虚拟机VMware或者virtual box 3.准备安装的位置&#xff08;选择你的电脑的磁盘上比较空闲的位置&#xff0c;新建一个文件夹并命名&#xff09; 4.开始安装&#xff08;按步骤&#xff09;----…

Threejs绘制圆锥体

上一章节实现了胶囊体的绘制&#xff0c;这节来绘制圆锥体&#xff0c;圆锥体就是三角形旋转获得的&#xff0c;如上文一样&#xff0c;先要创建出基础的组件&#xff0c;包括场景&#xff0c;相机&#xff0c;灯光&#xff0c;渲染器。代码如下&#xff1a; initScene() {this…

电力系统中有哪些好的运维的平台?

摘要&#xff1a;介绍台商大厦&#xff0c;采用综合保护装置、多功能仪表、变压器温控仪、直流屏、烟雾传感器、门磁开关、网络摄像头等设备&#xff0c;采集配电现场的各种电参量和状态信号。系统采用现场就地组网的方式&#xff0c;组网后通过现场网关远传至阿里云平台&#…

【模板进阶】std::enable_if

一、 SFINAE 在介绍 s t d : : e n a b l e _ i f std::enable\_if std::enable_if之前&#xff0c;先介绍一个概念&#xff1a; S F I N A E SFINAE SFINAE&#xff0c;全称是&#xff1a; S u b s t i t u t i o n F a i l u r e i s n o t a n E r r o r Substitution\ Fai…

【java21】java21新特性之JavaDoc中支持代码片段

在Java18之前&#xff0c;已经支持在JavaDoc中引入代码片段&#xff0c;这样可以在某些场景下更好的展示描述信息&#xff0c;但是之前的支持功能有限&#xff0c;比如我想高亮代码片段中的某一段代码是无能为力的。现在Java18优化了这个问题&#xff0c;增加了snippet来引入更…

短视频矩阵管理系统贴牌 源码开发

抖音账号矩阵的开发核心维度包括&#xff1a; 多账号管理开发维度&#xff1a;通过运用不同类型的账号矩阵&#xff0c;可以实现统一且便捷的管理。目前&#xff0c;矩阵系统支持管理抖音、快手、视频号,b站的账号&#xff0c;未来计划加入小红书,tk等等的账号管理。 矩阵账号…

如何编写高质量的用户故事

本文详细介绍了如何在敏捷开发过程中编写高质量用户故事&#xff08;User Story&#xff09;&#xff0c;包括用户故事的定义、结构、撰写技巧以及如何与产品待办列表&#xff08;Product Backlog&#xff09;中的其他工作项&#xff08;PBI&#xff09;相结合&#xff0c;以提…

【Elasticsearch系列廿二】特殊参数

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

解释器模式原理剖析和Spring中的应用

解释器模式原理剖析和Spring中的应用 解释器模式 是一种行为型设计模式&#xff0c;它定义了一种语言的文法表示&#xff0c;并提供了一个解释器来处理该文法的表达式。解释器模式可以用于构建语法解释器&#xff0c;例如计算器、简单编程语言的解释器等。 核心思想&#xff1a…

成功使用DDNS动态域名访问我的群晖NAS(TP-link路由器)

当NAS设备部署在动态IP环境中&#xff08;如家庭或小型办公室宽带&#xff09;&#xff0c;远程访问常常受到IP地址频繁变动的困扰。为了解决这一问题&#xff0c;结合神卓互联NAS公网助手提供的DDNS&#xff08;动态域名服务&#xff09;功能&#xff0c;我们可以轻松实现通过…

蓝牙、WiFi、2.4G、Zigbee、LoRa、NB-IoT的区别与应用场景

在现代科技的推动下&#xff0c;无线通信技术已经成为我们生活中不可或缺的一部分。从智能家居到工业自动化&#xff0c;从远程监控到环境传感&#xff0c;每一种技术都有其独特的优势和应用场景。今天&#xff0c;我们将深入探讨六种主流的无线通信技术——蓝牙、WiFi、2.4G、…

基于vue框架的大参林药品信息管理系统的设计与实现8b4gt(程序+源码+数据库+调试部署+开发环境)系统界面在最后面。

系统程序文件列表 项目功能&#xff1a;用户,药品分类,药品信息,医生 开题报告内容 基于Vue框架的大参林药品信息管理系统的设计与实现开题报告 一、引言 随着医疗健康行业的快速发展和信息化浪潮的推进&#xff0c;药品信息管理已成为提升医疗服务效率、保障患者用药安全、…

Activiti7《第九式:破气式》——流畅驱动工作流进程。面试题大全

冲冲冲&#xff01;开干 这篇文章将分为九个篇章&#xff0c;带你逐步掌握工作流的核心知识。“破气式”&#xff0c;代表着工作流中的 无形之力&#xff0c;它是贯穿整个流程的 关键驱动 不知不觉已经到了独孤九剑最后一式了&#xff0c;我相信到这里之后各位都已经出神入化…

状态模式原理剖析

《状态模式原理剖析》 状态模式&#xff08;State Pattern&#xff09; 是一种行为设计模式&#xff0c;它允许对象在其内部状态改变时改变其行为。换句话说&#xff0c;当对象状态发生变化时&#xff0c;它的行为也会随之变化。 核心思想&#xff1a; 状态模式将对象的不同状…