原文地址：Concise Chain-of-Thought (CCoT) Prompting
传统的CoT导致了输出令牌使用的增加，而CCoT提示是一种旨在减少LLM响应的冗长性和推理时间的提示工程技术。
2024 年 1 月 24 日
Areas where Chain-Of-Thought-like methodology has been introduced are:
- Chain-of-Thought Prompting
- Multi-Modal Reasoning
- Multi-Lingual Scenarios
- Knowledge Driven Applications
- Chain-of-Explanation
- Chain-of-Knowledge
- Chain-of- Verification
- IR Chain-of-Thought
- LLM Guided Tree Of Thought
- Chain-Of-Note
- Least-To-Most Prompting
- Chain Of Empathy
CoT
CoT 提示的基本前提是反映人类解决问题的方法，即我们人类将较大的问题分解为较小的步骤。然后，LLM会集中注意力解决每个子问题，从而减少忽视关键细节或做出错误假设的可能性。为了使CoT提示在语言模型中发挥作用，必须确保提示与用户的查询紧密相关，并且推理的步骤要按照正确的逻辑顺序进行排列。
CoT组成部分
桥接是指模型遍历以得出最终结论的符号项。桥接可以由算术任务中的数字和方程组成，也可以由实际任务中的实体名称组成。
语言模板是文本提示，指导语言模型在推理过程中导出正确的桥接对象并将其置于上下文中。
连贯性是指基本原理中步骤的正确顺序，对于成功的思想链是必要的。具体来说，由于思维链是一个顺序推理过程，因此后面的步骤不可能成为前面步骤的先决条件。
相关性是指理由是否包含问题中的相应信息。例如，如果问题提到一个名叫利亚的人在吃巧克力，那么讨论另一个人剪头发就无关紧要了。
CoT 提示的吸引力在于它简单、易于检查，并且不像基于梯度的方法那样不透明。然而，正如随后的 Chain-Of-X 方法所示：
- 情境学习需要在推理时将高度情境化的信息注入到提示中。
- 通过人工注释的数据，以数据为中心的方法变得越来越重要。使用正确的数据需要数据发现、数据设计、数据开发和数据交付。
- 随着灵活性的引入，复杂性也随之增加。
- 人类观察和检查对于确保系统完整性将变得越来越重要。
- 必须引入管理提示注入和多重推理架构的更复杂的框架。
CoT明确鼓励LLM为解决问题生成中间推理。这是通过为LLM提供一系列演示中的推理步骤来实现的。CoT提示可以将LLM的性能提高多达80%，对于某些问题任务和问题领域。然而，这些性能提升是以实际成本为代价的，增加了输出令牌使用的费用。此外，推理时间也延长了。
CCoT简介
基于大型语言模型（LLM）的生成式人工智能应用需要通过多管齐下的方法进行优化。这种方法需要考虑提示结构、数据传递、令牌使用和推理延迟。与LLM编排相结合；为最佳任务使用最佳模型。以及以数据为中心的方法进行数据发现、设计和开发。
最近的一项研究引入了一种新的提示技术，称为简洁的链式思维（CCoT）。在这项研究中，标准的CoT与CCoT提示在响应长度和准确性方面进行了比较。对于多项选择题问答，CCoT将响应长度减少了48.70%。因此，CCoT在输出令牌成本上引入了节省，并提供了更浓缩的答案。研究还发现，解决问题性能在CoT和CCoT两种方法之间保持不变。对于数学问题，CCoT的性能惩罚为27.69%。总体而言，CCoT导致平均令牌成本降低了22.67%。
其他CCoT信息
成本与延迟
如果CCoT减少了响应长度，那么CCoT可以用来降低LLM成本。第三方LLM API通常按令牌定价，输出令牌比输入令牌更昂贵。
如下图所示，红色条形图表示输出令牌成本，与蓝色条形图的输入令牌成本相比较。
推理延迟也是一个挑战，可以通过确保响应更短来在一定程度上解决。这可以在不降低性能的情况下实现；研究发现，CCoT在这方面没有性能惩罚。
实际比较
下面是一个仅答案提示的示例，接着是一个传统的冗长CoT提示。最后是一个CCoT提示。
下面是一个仅答案提示的示例。
这里比较了冗长和简洁的CoT提示。
可能的局限性
- 研究只使用了GPT LLM，看看在开源和功能较弱的LLM上的表现会很有趣。
- 研究只使用了一个CoT和CCoT提示。因此，其他变体的CoT和CCoT提示可能会产生不同的结果。
- 考虑到不同任务提示性能的变异，考虑到实施用户意向分流可能效果很好。
- 并对用户输入进行分类，以便使用编排多个LLM，选择最合适的提示技术等。
