🍃作者介绍：双非本科大四网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发，目前开始人工智能领域相关知识的学习
🦅个人主页：@逐梦苍穹
📕所属专栏：人工智能
🌻gitee地址：xzl的人工智能代码仓库
✈ 您的一键三连，是我创作的最大动力🌹

KL散度用在了"LLaMA2"论文里面，关于论文提到的"PPO"算法，我先展示一下完整公式，感兴趣可以去我的这篇文章看一下：
速通LLaMA2：https://xzl-tech.blog.csdn.net/article/details/142315279

公式：
$$\arg \underset{\pi }{\max }{\mathbb{E}}_{p\sim D,g\sim \pi }[R(g|p)]=\{\begin{array}{ll}\arg {\max }_{\pi }{\mathbb{E}}_{p\sim D,g\sim \pi }\left[\text{whiten}(\text{logit}(R_s(g|p)))-\beta {\sum }_x{\pi }_0(x\mid g,p)\log \left(\frac{{\pi }_0(x\mid g,p)}{\pi (x\mid g,p)}\right)\right],& (discrete,\&,\text{if is\_safety(p) or }{R}_s(g|p)<0.15)\\ \arg {\max }_{\pi }{\mathbb{E}}_{p\sim D,g\sim \pi }\left[\text{whiten}(\text{logit}(R_h(g|p)))-\beta {\sum }_x{\pi }_0(x\mid g,p)\log \left(\frac{{\pi }_0(x\mid g,p)}{\pi (x\mid g,p)}\right)\right],& (discrete,\&,\text{otherwise})\\ \arg {\max }_{\pi }{\mathbb{E}}_{p\sim D,g\sim \pi }\left[\text{whiten}(\text{logit}(R_s(g|p)))-\beta \int {\pi }_0(x\mid g,p)\log \left(\frac{{\pi }_0(x\mid g,p)}{\pi (x\mid g,p)}\right)dx\right],& (continuous,\&,\text{if is\_safety(p) or }{R}_s(g|p)<0.15)\\ \arg {\max }_{\pi }{\mathbb{E}}_{p\sim D,g\sim \pi }\left[\text{whiten}(\text{logit}(R_h(g|p)))-\beta \int {\pi }_0(x\mid g,p)\log \left(\frac{{\pi }_0(x\mid g,p)}{\pi (x\mid g,p)}\right)dx\right],& (continuous,\&,\text{otherwise})\end{array}$$

---

下面详细解释一下 KL 散度公式

1. KL 散度的符号表示

在 KL 散度（Kullback-Leibler 散度）的公式中，通常写作：

$D_{KL}(P\Vert Q)$

这里的"||"是一个符号，用来分隔两个概率分布$P$和$Q$，表示计算$P$相对于$Q$的 KL 散度。

2. "||"符号的含义

• 表示方向性： KL 散度是非对称的，即$D_{KL}(P\Vert Q)\ne D_{KL}(Q\Vert P)$。因此，"||"符号表示了从$P$到$Q$的方向。
• 读作： “$P$相对于$Q$的 KL 散度"或"$P$关于$Q$的 KL 散度”。
• 作用： 明确指出哪个分布是“真实”分布（或目标分布），哪个是“近似”分布（或模型分布）。在$D_{KL}(P\Vert Q)$中，$P$通常被视为真实分布，$Q$是近似或模型分布。

3. KL 散度的定义

KL 散度用于衡量两个概率分布之间的差异，其数学定义为：

$D_{KL}(P\Vert Q)={\sum }_{x}P(x)\log \left(\frac{P(x)}{Q(x)}\right)$

或对于连续分布：

$D_{KL}(P\Vert Q)=\int P(x)\log \left(\frac{P(x)}{Q(x)}\right)dx$

在这个公式中：

• $P(x)$： 真实分布或目标分布的概率密度函数。
• $Q(x)$： 近似分布或模型分布的概率密度函数。
• $\log \left(\frac{P(x)}{Q(x)}\right)$： 表示在每个点$x$上，$P(x)$相对于$Q(x)$的对数差异。

4. 为什么使用"||"符号

• 强调非对称性： KL 散度不是对称的，即$D_{KL}(P\Vert Q)$与$D_{KL}(Q\Vert P)$一般不相等。因此，用"$| | $"来强调计算的顺序和方向。
• 区分角色： 在许多应用中，$P$和$Q$扮演不同的角色。$P$通常是数据的真实分布，我们希望模型$Q$能够尽可能接近$P$。

5. 直观理解

• 信息损失： KL 散度可以被看作是使用分布$Q$来近似分布$P$时所产生的信息损失。
• 例子： 假设我们有两个概率分布：

则$D_{KL}(P\Vert Q)$计算的是如果我们用模型$Q$来近似真实分布$P$时，所产生的差异或信息损失。

• $P$：真实的硬币掷投结果分布，硬币是公平的，正反面概率均为 0.5。
• $Q$：我们的模型认为硬币是偏的，正面概率为 0.7，反面概率为 0.3。

6. 应用中的理解

在您提到的公式中：

$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{KL}({\pi }_0(g\mid p)\Vert \pi (g\mid p))$

• $D_{KL}({\pi }_0(g\mid p)\Vert \pi (g\mid p))$：
  • “${\pi }_0(g\mid p)$”：初始策略或基准分布。
  • “$\pi (g\mid p)$”：当前策略或模型分布。
  • “||”：表示我们在计算初始策略相对于当前策略的 KL 散度。
• 含义： 我们希望新的策略$\pi$不要偏离初始策略${\pi }_0$太多，因此通过 KL 散度来衡量这种偏离程度。

7. 举例说明

假设我们有一个简单的逻辑回归模型，该模型用于根据单个特征$x$来预测输出$y$属于类别0或类别1。

模型的参数$p$为逻辑回归的权重$w$和偏置$b$。

• 先验分布${\pi }_0(g|p)$: 假设我们有理由相信在没有数据的情况下，权重$w$应接近0，因此我们将先验分布${\pi }_0$设置为均值为0，方差为1的正态分布。
• 后验分布$\pi (g|p)$: 训练数据后，我们更新权重并获得新的分布，假设更新后的权重$w$均值为1，方差为1。
• 条件风险函数${\tilde{R}}_c(g|p)$: 使用二元交叉熵损失。
• 调节参数$\beta$: 设为0.1，用以控制正则化强度。

---

计算步骤：

• 计算条件风险${\tilde{R}}_c(g|p)$
  • 假设单个数据点为$(x,y)=(2,1)$，模型预测$\hat{y}$的概率为：
    *$\hat{y}=\sigma (w\cdot x+b)=\sigma (1\cdot 2+0)=\sigma (2)$
    • 其中$\sigma$是sigmoid函数。计算$\sigma (2)\approx 0.88$。
  • 二元交叉熵损失为：$-\left[y\log (\hat{y})+(1-y)\log (1-\hat{y})\right]=-[1\log (0.88)+0\log (0.12)]\approx 0.13$
• 计算KL散度：
  • 对于正态分布的KL散度，公式为：$D_{KL}(N({\mu }_0,{\sigma }_0^2)\Vert N(\mu ,{\sigma }^2))=\log \left(\frac{\sigma }{{\sigma }_0}\right)+\frac{{\sigma }_0^2+({\mu }_0-\mu {)}^2}{2{\sigma }^2}-\frac{1}{2}$
  • 将值代入：$D_{KL}(N(0,1)\Vert N(1,1))=\log (1)+\frac{1+(0-1{)}^2}{2\cdot 1}-\frac{1}{2}=0.5$
• 计算总目标函数：$R(g|p)=0.13-0.1\cdot 0.5=0.13-0.05=0.08$

小结：

通过这个计算例子，我们可以看到如何结合模型的预测损失和基于先验知识的正则化来形成最终的目标函数，这种方法有助于平衡模型的拟合能力和对先验知识的保留，尤其在数据较少或不完整时非常有用。

8. 补充说明

• 其他表示方法： 有时，KL 散度也可以写作$D_{KL}(P\text{||}Q)$或$D_{KL}(P\to Q)$，但"|"是最常用的表示方法之一。
• 注意符号顺序： 在计算 KL 散度时，符号顺序很重要，交换$P$和$Q$会得到不同的结果。