复杂推理（Complex Reasoning）是指通过运用支持性证据或逻辑来推导结论或作出决策的能力，这一过程涉及对信息的深入分析与综合处理。根据推理过程中涉及的逻辑和证据类型，可以将现有的复杂推理任务划分为三个主要类别：知识推理、符号推理和数学推理。

知识推理

    知识推理（Knowledge Reasoning）任务旨在考察模型通过逻辑关系与事实知识解决复杂任务的能力。为了评估不同类型的知识推理能力，研究人员通常选择特定的数据集进行评测，例如 CommonsenseQA 数据集和 StrategyQA 数据集用于评估常识知识推理，而 ScienceQA 数据集则用于科学知识推理。在评测过程中，通常采用答案准确率、BLEU 或人工评测方法来评估模型的推理能力。

    在解决复杂知识任务时，大语言模型需要能够根据事实知识逐步推理出答案。为了激发这种逐步推理的能力，研究人员提出了思维链提示策略。思维链提示通过将中间的推理步骤引入到提示中，从而引导大语言模型进行逐步推理，在多个复杂知识推理任务上带来了显著的效果提升。然而，由于知识推理任务的复杂性，大语言模型在某些相关任务上（如常识知识推理任务）的性能仍然落后于人类水平。此外，大语言模型在知识推理过程中可能会生成不正确的中间步骤，从而导致最终结果的错误。为缓解这一问题，可以采用特殊的集成