大语言模型中温度参数（Temperature）的核心原理是通过调整模型输出的概率分布，控制生成结果的随机性和多样性。以下是其原理的详细说明：

---

一、定义与核心作用

温度参数是生成式模型（如GPT系列）中的一个超参数，用于调整模型在预测下一个词时的概率分布尖锐程度。

• 低温（T < 1）：概率分布更尖锐，模型倾向于选择高概率的常见词汇，输出更保守、连贯。
• 高温（T > 1）：概率分布更平滑，低概率的词汇被“放大”，输出更随机、多样化，但可能降低逻辑性。

---

二、数学实现原理

温度参数通过调整Softmax函数前的**原始得分（Logits）**实现概率分布的缩放：

1. 原始Softmax概率计算：

   

2. 引入温度参数后的调整：

   

---

三、温度对生成结果的影响

温度范围	生成效果	典型应用场景
低温（0~0.5）	输出确定性高、重复性低，适合事实性任务	技术文档生成、代码补全、法律文本
中温（0.5~1）	平衡多样性与连贯性	对话系统、常规文本生成
高温（>1）	输出创意性强，但可能逻辑混乱	诗歌创作、广告文案、艺术灵感激发

---

四、实际应用建议

1. 与其他参数配合：
   • 优先单独调整温度参数，避免同时修改Top_p等参数导致不可控结果。
   • 例如：Top_p通过动态截断候选词范围控制多样性，与温度参数作用部分重叠。
2. 调试策略：
   • 任务导向：需高准确性的任务（如报告生成）用低温；需创造性的任务（如故事生成）用高温。
   • 渐进测试：从默认温度（如T=1）开始，逐步调整并观察效果。

---

五、示例说明

假设模型需补全句子：“The cat sat on the ___”

• 低温（T=0）：输出“mat”（概率最高词）。
• 高温（T=2）：可能输出“sky”等低概率词，增加新颖性但可能不合理。

通过灵活调整温度参数，开发者可在可控性与创造性之间找到最佳平衡。如需进一步探索参数组合，可参考来源。