- Arxiv日期:2024.5.31
- 机构:Google DeepMind
关键词
- cot-decoding
- 推理路径
- pretrain
核心结论
1. LLMs 不需要prompting就可以生成链式推理路径,prompting只是将这些能力显性化的一种手段
2. cot path 往往与更高的model confidence相关,可以用作可靠性的metric
3. 探索多样化的解码路径能有效挖掘模型的内在推理能力,而不仅仅依赖于模型规模或训练数据的多样性
4. CoT-Decoding 可以弥补模型未经过指令调优时的推理能力缺陷,并在指令调优的模型中进一步优化性能
5. Cot-Decoding适用于多种任务和语言模型,显示出显著的通用性和鲁棒性
主要方法
(验证了内在推理能力的存在)使用pretrain模型,不使用greedy decoding,而是在第一个token预测使用top-k:发现内化cot推理能力,且带cot的答案置信度更高
置信度衡量标准:
answer中每一个token在NTP时当前token和下一个token的概率差异
注:本系列不包括基础的知识点讲解,为笔记/大纲性质而非教程,用于论文知识点和思想和快速记忆和回顾,更多细节建议阅读论文原文