1. 思维链提示（Chain-of-Thought Prompting）

思维链(Chain-of-Thought:CoT)提示过程是一种最近开发的提示方法，它鼓励大语言模型解释其推理过程。下图显示了 few shot standard prompt（左)与链式思维提示过程（右）的比较。

思维链的主要思想是通过向大语言模型展示一些少量的 exemplars，在样例中解释推理过程，大语言模型在回答提示时也会显示推理过程。这种推理的解释往往会引导出更准确的结果。

结论

思维链已被证明对于算术、常识和符号推理等任务的结果有所改进1。特别是，在GSM8K2基准测试上，PaLM 540B3的提示达到了57%的解决率准确性。

限制

思维链已被证明对于算术、常识和符号推理等任务的结果有所改进1。特别是，在GSM8K2基准测试上，PaLM 540B3的提示达到了57%的解决率准确性。

备注​

本章的写作过程中，没有对任何语言模型进行微调 

论文地址

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

https://ai.googleblog.com/2022/05/language-models-perform-reasoning-via.html

2.零样本思维链（Zero Shot Chain of Thought）

零样本思维链（Zero Shot Chain of Thought，Zero-shot-CoT）提示过程1是对 CoT prompting2 的后续研究，引入了一种非常简单的零样本提示。他们发现，通过在问题的结尾附加“让我们一步步思考。”这几个词，大语言模型能够生成一个回答问题的思维链。从这个思维链中，他们能够提取更准确的答案。

从技术上讲，完整的零样本思维链过程涉及两个单独的提示/补全结果。在下面的图像中，左侧的顶部气泡生成一个思维链，而右侧的顶部气泡接收来自第一个提示（包括第一个提示本身）的输出，并从思维链中提取答案。这个第二个提示是一个 自我增强 的提示。

结论​

零样本思维链也有效地改善了算术、常识和符号推理任务的结果。然而，毫不奇怪的是，它通常不如思维链提示过程有效。，在获取思维链提示的少量示例有困难的时候，零样本思维链可以派上用场。

有趣的消融实验​

Kojima等人尝试了许多不同的零样本思维链提示（例如“让我们按步骤解决这个问题。”或“让我们逻辑思考一下。”），但他们发现“让我们一步一步地思考”对于他们选择的任务最有效。

备注​

提取步骤通常必须针对特定任务，使得零样本思维链的泛化能力不如它一开始看起来的那样强。

从个人经验来看，零样本思维链类型的提示有时可以有效地提高生成任务完成的长度。例如，请考虑标准提示写一个关于青蛙和蘑菇成为朋友的故事。在此提示的末尾附加让我们一步一步地思考会导致更长的补全结果。

论文地址

Large Language Models are Zero-Shot Reasoners

参考资料

🟢 Chain of Thought Prompting | Learn Prompting: Your Guide to Communicating with AI