引言

InfoNCE对比学习损失是学习句嵌入绕不开的知识点，本文就从头开始来探讨一下它是怎么来的。

先验知识

数学期望与大数定律

期望(expectation，expected value，数学期望，mathematical expectation)是随机变量的平均值，即在概率意义下的“中心”。

对于离散型随机变量 $X$，其期望定义为：

$$\mathbb{E}[X]=\sum _i{x}_{i}P(X=x_i)$$

即随机变量 $X$ 所有可能结果的加权平均值，其中权重由每个给定值的概率给出。

对于连续型随机变量 $X$，其期望定义为：

$$\mathbb{E}[X]={\int }_{-\infty }^{\infty }xf(x)dx$$

大数定律（Law of large numbers，大数法则、大数律）是描述相当多次数重复实验的结果的定律。根据这个定律知道，样本数量越多，则其算术平均值就有越高的概率接近期望。

算术平均值即我们常说的均值、平均数，通过一组样本除以样本的个数计算。

大数定律主要有两种表现形式：弱大数定律和强大数定律。

定义样本均值为：

$${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$$

弱大数定律表明，当 $n\to \infty$ 时，样本均值 ${\overline{X}}_n$ 依概率收敛到期望 $\mathbb{E}[X]$，对于任意正数 $ϵ$ ，

$$\underset{n\to \infty }{\lim }p(|{\overline{X}}_n-\mathbb{E}[X]|>ϵ)=0$$

强大数定律进一步指出，样本均值几乎必然(以概率1收敛)于期望：

$$p(\underset{n\to \infty }{\lim }{\overline{X}}_n=\mathbb{E}[X])=1$$

依概率收敛一个随机变量序列 $(X_n{)}_{n\ge 1}$ 依概率收敛到某一个随机变量 $X$ ，指的是 $X_n$ 和 $X$ 之间存在一定差距的可能性将会随着 $n$ 的增大而趋向于零。

大数定律证明了样本均值会逼近随机变量的期望，说明了期望是随机变量的一个稳定性特征，是大量观测的平均结果。

自信息

自信息(self-information，香农信息，information content)指的是当我们接收到一个消息时所获得的信息量。

对于一个事件，其自信息大小与该事件发生的概率相关。

自信息可以解释为量化特定结果的意外程度。

香农对自信息的定义为了满足几个公理：

1. 概率为100%的事件完全不足为奇，不会产生任何信息。
2. 事件发生的可能性越小，它就越令人惊讶，产生的信息就越多。
3. 如果分别测量两个独立事件，信息总量是两个事件的自信息之和。

直观地说，从观察意外事件中可以获得更多的信息——它是“令人惊讶的”。比如，如果彩票中特等奖的概率是五百万分之一，那么你从得知你的朋友张三中奖中获得的信息比TA不中奖的信息多得多。

可以证明，满足这三个公理的概率函数是唯一的，且仅差一个乘法缩放因子。一般来说，给定一个实数 $b>1$和一个概率为 $P$ 的事件 $x$，自信息定义如下：

$$\text{I}(x):=-{\log }_b[\text{Pr}(x)]=-{\log }_b(P)$$

基数 $b$ 对应上面的缩放因子，不同的选择对应不同的信息单位：当 $b=2$ 时，单位是香农，通常称为”位“。

$-{\log }_2(x)$的图像如上图所示，在概率范围内是正数。

正式地，给定一个具有概率质量函数 $p_X(x)$ 的离散随机变量，其自信息定义为：

$${\text{I}}_X(x):=-\log [p_X(x)]=\log \left(\frac{1}{p_X(x)}\right)$$

与对数发生率的关系

对数发生率(logit, log-odds)定义为 $\frac{p(x)}{1-p(x)}$，可以表示为两个自信息的差值：

$$\begin{array}{rl}\text{log-odds}(x)& =\log \frac{p(x)}{p(\neg x)}\\ & =\log p(x)-\log (p(\neg x))\\ & =-\text{I}(x)+\text{I}(\neg x)\\ & =\text{I}(\neg x)-\text{I}(x)\end{array}$$

独立事件的可加性

第3条时候如果分别测量两个独立事件，信息总量是两个事件的自信息之和。

考虑两个独立随机变量，分别具有概率质量函数 $p_X(x)$ 和 $p_Y(y)$ ，联合概率质量函数为：

$$p_{X,Y}(x,y)=P(X=x,Y=y)=p_X(x)p_Y(y)$$

因为 $X$ 和 $Y$ 是独立的，$(x,y)$ 的自信息为

$$\begin{array}{rl}{\text{I}}_{X,Y}(x,y)& =-\log [p_{X,Y}(x,y)]\\ & =-\log [p_X(x)p_Y(y)]\\ & =-\log p_X(x)-\log p_Y(y)\\ & ={\text{I}}_X(x)+{\text{I}}_Y(y)\end{array}$$

信息熵

信息论的核心思想是，所传达消息的“信息量”取决于消息内容的令人惊讶程度。如果发生极有可能的事件，则消息携带的信息非常少。另一方面，如果发生极不可能的事件，则消息提供的信息要多得多。这是上面介绍的自信息概念。

而信息熵(entropy，简称熵，又称信息熵、香农熵、平均自信息量)是接收的每条消息中包含的信息的平均量。这里的“消息”代表来自分布或数据流中的事件、样本或特征。熵量化了与变量的潜在状态或可能结果相关的不确定性或**(自)信息**的平均值(期望)。

离散型随机变量 $X$ ，其值 $x\in \mathcal{X}$ ，其熵定义如下：

$$H(X)=\mathbb{E}[\text{I}(X)]=\mathbb{E}[-\log p(X)]=-\sum _{x\in \mathcal{X}}p(x){\log }_{b}p(x)$$

再来看联合熵和条件熵。

联合熵

对于两个离散随机变量 $X$ 和 $Y$，定义域分别为 $\mathcal{X}$ 和 $\mathcal{Y}$ ，联合熵 $H(X,Y)$ 表示 $X$ 和 $Y$ 一起的不确定性，其定义为：

$$H(X,Y)=-\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x,y)\log p(x,y)$$

其中， $p(x,y)$ 是 $X$ 和 $Y$ 同时取值为 $x$ 和 $y$ 的联合概率。

条件熵

还可以定义两个随机变量的条件熵，条件熵描述了已知随机变量 $X$ 的前提下， 随机变量 $Y$ 的信息熵还有多少。基于 $X$ 条件的 $Y$ 的信息熵，用 $H(Y|X)$ 表示。

如果 $H(Y|X=x)$ 为变量 $Y$ 在变量 $X$ 取特定值 $x$ 条件下的熵，那么 $H(Y|X)$ 就是 $H(Y|X=x)$ 在 $X$ 取遍所有可能的 $x$ 后取平均的结果。

给定随机变量 $X$ 与 $Y$ ，定义域分别为 $\mathcal{X}$ 和 $\mathcal{Y}$ ，在给定 $X$ 条件下 $Y$ 的条件熵定义为：

$$\begin{array}{rl}H(Y|X)& =\sum _{x\in \mathcal{X}}p(x)H(Y|X=x)\\ & =-\sum _{x\in \mathcal{X}}p(x)\sum _{y\in \mathcal{Y}}p(y|x)\log p(y|x)\\ & =-\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x,y)\log p(y|x)\\ & =-\sum _{x\in \mathcal{X},y\in \mathcal{Y}}p(x,y)\log \frac{p(x,y)}{p(x)}\end{array}$$

还可由上述条件熵的定义得出条件熵的链式法则：

$$\begin{array}{rl}H(Y|X)& =-\sum _{x\in \mathcal{X},y\in \mathcal{Y}}p(x,y)\log \frac{p(x,y)}{p(x)}\\ & =-\sum _{x\in \mathcal{X},y\in \mathcal{Y}}p(x,y)(\log p(x,y)-\log p(x))\\ & =-\sum _{x\in \mathcal{X},y\in \mathcal{Y}}p(x,y)\log p(x,y)+\sum _{x\in \mathcal{X},y\in \mathcal{Y}}p(x,y)\log p(x)\\ & =H(X,Y)+\sum _{x\in \mathcal{X},y\in \mathcal{Y}}p(x,y)\log p(x)\\ & =H(X,Y)+\sum _{x\in \mathcal{X}}p(x)\log p(x)\\ & =H(X,Y)-H(X)\end{array}$$

即

$$H(Y|X)=H(X,Y)-H(X)$$

假设两个随机变量 $X$ 和 $Y$ 确定的组合系统的联合熵为 $H(X,Y)$，即我们需要 $H(X,Y)$ bit的信息来描述它的确切状态。 现在，若我们先学习 $X$ 的值，我们得到了 $H(X)$ bit的信息。 一旦知道了$X$，我们只需 $H(X,Y)-H(X)$bits来描述整个系统的状态。

交叉熵

分布 $Q$ 相对于分布 $P$ 在给定集合 $\mathcal{X}$ 上的交叉熵 $H(P,Q)$ 定义如下：

$$H(P,Q)=-{\mathbb{E}}_P(\log Q)=-\sum _{x\in \mathcal{X}}P(x)\log Q(x)$$

其中 $P$是真实分布， $Q$ 是估计分布。

交叉熵衡量的是 在真实分布 $P$ 下，使用估计分布 $Q$ 描述所带来的平均信息量，直观上，它可以理解为如果用 $Q$ 代替 $P$ 来描述事件，会带来多大的偏差。

相对熵

相对熵又称为 KL散度(Kullback-Leibler divergence，简称KLD)， 是两个概率分布 $P$ 和 $Q$ 差别的非对称性的度量。KL散度是用来度量使用基于 $Q$ 的分布来编码服从 $P$ 的分布的样本所需的额外的平均比特数，通常 $P$ 表示数据的真实分布， $Q$ 表示它的近似分布。

真实分布 $P$ 的平均信息量为：

$$H(P)=-\sum _{x}P(x)\log P(x)$$

假设我们并不知道真实分布 $P$ ，而是用近似分布 $Q$ 来描述事件的发生。此时每次观测事件 $x$ 的信息量为 $-\log Q(x)$ 。这种情况下，分布 $P$ 的平均信息量变为：

$$-\sum _{x}P(x)\log Q(x)$$

表示在真实分布 $P$ 下，使用近似分布 $Q$ 计算的信息量。

现在，我们想知道由于使用 $Q$ 而不是 $P$ 所产生的额外信息量有多少？KL散度就是这个差异的量化，记为 $D_{KL}(P||Q)$ ：

$$D_{KL}(P||Q)=\text{使用近似分布的期望信息量}-\text{真实分布期望信息量}$$

代入可得：

$$\begin{array}{rl}{D}_{KL}(P||Q)& =-\sum _{x}P(x)\log Q(x)+\sum _{x}P(x)\log P(x)+\\ & =\sum _{x}P(x)\left(\log P(x)-\log Q(x)\right)\\ & =\sum _{x}P(x)\log \frac{P(x)}{Q(x)}\end{array}$$

这样我们就得到了KL散度的定义。其中 真实分布期望信息量 就是信息熵；近似分布的期望信息量就是交叉熵。

还可以写成：

$$D_{KL}(P||Q)=-\sum _{x}P(x)\log \frac{Q(x)}{P(x)}$$

注意KL散度不是一个度量或距离。因为KL散度不具有对称性：从分布P到Q的距离通常并不等于从Q到P的距离：

$$D_{KL}(P||Q)\ne D_{KL}(Q||P)$$

由吉布斯不等式可知**，** $D_{KL}(P||Q)\ge 0$ ，当且仅当 $P=Q$ 时，取零。

互信息

互信息(mutual Information,MI)度量了两个变量之间相互依赖的程度。它通过观察一个随机变量来量化关于另一个随机变量的信息量。

设 $X$ 和 $Y$ 为一对随机变量，其值在空间 $\mathcal{X}\times \mathcal{Y}$ 上。联合分布为 $P(X,Y)$且边缘分布为 $P_X$和 $P_Y$ ，那么互信息定义为：

$$I(X;Y)=D_{KL}(P(X,Y)||P_X\otimes P_Y)$$

根据KL散度的性质，当联合分布与边缘分布的乘积一致时，及当 $X$ 和 $Y$ 是相互独立时，它恰好等于零。

互信息其实就是 $X$ 的不确定性(熵$H(X)$)，以及在知道 $Y$ 下的不确定性 (条件熵 $H(X|Y)$ )之间的差异：

$$I(X;Y)=H(X)-H(X|Y)$$

直观地说，互信息衡量的是 $X$ 和 $Y$ 共享 的信息：了解其中一个变量在多大程度上减少了对另一个变量的不确定性。 例如，如果 $X$ 和 $Y$ 是独立的，那么知道 $Y$ 不会给出任何关于 $X$ 的信息，反之亦然，所以它们的互信息为零。

逻辑回归

odds指某个事件发生与不发生的概率比值。对于事件 $A$，假设其发生的概率为 $p$ ，那么odds可以表示为：

$$\text{odds}(A)=\frac{p}{1-p}$$

而log-odds就是odds的对数，通常取自然对数，即 $\ln$ ：

$$\text{log-odds}(A)=\ln \left(\frac{p}{1-p}\right)$$

逻辑(斯蒂)回归是用于二分类任务的统计模型，它试图预测某个事件发生的概率 $p$ 。逻辑回归的目标是学习一个函数，将输入的特征映射到事件发生的概率 $p$。

逻辑回归通过将事件对数发生率(log-odds即logit，又称为对数几率，对数赔率)建模为一个或多个自变量的线性组合。将对数发生率转换为概率的函数就是逻辑(斯蒂)函数。

由上文可知，定义 log-odds $z$ 如下：

$$z=\ln \left(\frac{p}{1-p}\right)$$

然后对两边取指数：

$$e^z=\frac{p}{1-p}$$

整理这个式子，得到：

$$p=\frac{e^z}{1+e^z}$$

这个式子就是一个关于log-odds $z$ 的逻辑函数(就是sigmoid函数)，输入是log-odds，输出是一个取值为0到1之间的概率。标准的逻辑函数定义为：

$$\sigma (z)=\frac{e^z}{e^z+1}=\frac{1}{1+e^{-z}}$$

我们可假设 $z$ 是单个自变量 $x$ 的线性函数，那么我们可以表达如下：

$$z={\beta }_0+{\beta }_{1}x$$

通用的逻辑函数可以写成：

$$p(x)=\sigma (z)=\frac{1}{1+e^{-({\beta }_0+{\beta }_{1}x)}}$$

换句话说，逻辑回归的线性组合就是log-odds。注意这同样适用于多个自变量：

$$z={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_m{x}_m={\beta }_0+\sum _{i=1}^m{\beta }_i{x}_i$$

现在考虑损失函数，逻辑回归模型是一个经典的分类模型。预测时我们的目标是让预测的标签和真实标签越接近越好。假设令 $y=1$ 表示标签为正，那么预测 $x$ 为正的概率可以写成：

$$\hat{y}=p(y=1|x)$$

预测 $x$ 为负 $y=0$ 的概率可以表示为 $1-\hat{y}$，即：

$$1-\hat{y}=p(y=0|x)$$

上面两个式子可以统一写成：

$$p(y|x)={\hat{y}}^y\cdot (1-\hat{y}{)}^{1-y}$$

即对于正样本 $y=1$，我们希望预测概率越大越好；对于负样本 $y=0$ ，我们希望预测概率越小越好，这正是最大似然法的思想。若为上式加上对数，就得到对数最大似然：

$$\log p(y|x)=\log ({\hat{y}}^y\cdot (1-\hat{y}{)}^{1-y})=y\log \hat{y}+(1-y)\log (1-\hat{y})$$

最大似然希望越大越好，而一般损失越小越好，只要在上式添加一个负号就可以得到损失函数：

$$\mathcal{L}oss=-\left[y\log \hat{y}+(1-y)\log (1-\hat{y})\right]$$

这是单个样本的损失函数，如果考虑 $m$ 个样本则有：

$$\mathcal{L}oss=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log {\hat{y}}^{(i)}+(1-y^{(i)})\log (1-{\hat{y}}^{(i)})\right]$$

NCE

NCE(Noise Contrastive Estimation, 噪声对比估计)由 论文 Noise-contrastive estimation: A new estimation principle for unnormalized statistical models 提出。

假设观察到一个随机向量 $x\in {\mathbb{R}}^n$ 的数据，该数据遵循未知的概率密度函数(probability density funciton, pdf) $p_d(\cdot )$ 。假设我们想通过一个模型来估计这个数据分布：

$$p_d(\cdot )\approx p_{\theta }(\cdot )$$

该模型的参数是 $\theta$ 。通过神经网络建模我们可以直接预测给定输入的概率。

现在无论是数据密度函数还是模型密度函数(分布函数)，该分布函数或密度函数必须满足的一个属性是积分为 $1$ ：

$$\int p_{\theta }(u)du=1$$

该属性由归一化常数保证。这本质上定义了优化问题的一个约束。原则上可以通过重新定义pdf来始终满足该约束，如：

$$p_{\theta }(\cdot )=\frac{{\hat{p}}_{\theta }(\cdot )}{Z_{\theta }}\text{\hspace{1em}(1)}$$

其中 ${\hat{p}}_{\theta }(\cdot )$ 指定了pdf的函数形式，不需要积分到 $1$ 。然而归一化常数(配分函数) $Z_{\theta }$ 的计算非常困难，积分很少能解析地求解，如果数据是高维的，数值积分也很困难。

在NLP中，给定一组单词(上下文)我们可能需要基于该上下文来预测下一个单词(目标词)。通常我们会把它转换为一个分类问题，即应用Softmax预测目标词在词表空间中的概率。

给定上下文 $h$，要预测目标词 $w$ ，我们可以建模如下：

$$\begin{array}{r}{p}_{\theta }(w|h)=\frac{\exp (s_{\theta }(w,h)}{{\sum }_{w^{\prime }\in \mathcal{V}}\exp s_{\theta }(w^{\prime },h)}\end{array}\text{\hspace{1em}(2)}$$

这里 $\mathcal{V}$ 表示词表。分母就是归一化常数，计算分母 $Z_{\theta }={\sum }_{w\in \mathcal{V}}\exp s_{\theta }(w,c)$ 是一个麻烦的事情，因为词表通常是庞大的，这里不仅要对整个词表中所有的单词进行求和，每个单词还需要先经过一个包含指数的操作。同时还需要在分母上求导。

这正是NCE要解决的问题之一。NCE首先通过学习一个参数来估计 $Z_{\theta }$ 。我们考虑对数的情况下，(1)式可以写成：

$$\log p_{\theta }(\cdot )=\log {\hat{p}}_{\theta }(\cdot )-\log Z_{\theta }=\log {\hat{p}}_{\theta }(\cdot )+c\text{\hspace{1em}(3)}$$

这里 $c$ 是归一化常数 $Z_{\theta }$ 的负对数估计。但NCE不是简单地通过一个可学习的额外参数来估计 $Z_{\theta }$ ，因为这种方法对于最大似然估计 (MLE) 来说是不可行的。原因是通过使 $Z_{\theta }$ 趋于零，似然可以任意地变大。

NCE它是通过最大化同一个目标函数来估计模型参数 $\theta$ 和 归一化常数。

基本思想是通过学习参数区分数据分布样本 $p_d$ 和噪声分布样本 $p_n$ ，即判断一个数据是来自数据分布还是噪声分布，其依赖于与数据对比的噪声，因此这种方法称为“噪声对比估计”。

由于我们这里在比较两个分布，因此这可以视为二分类问题。二分类问题我们可以想到逻辑回归模型。

在工作A fast and simple algorithm for training neural probabilistic language models中将NCE带到了NLP中，并且作者发现将归一化常数固定为$1$而不是学习它，并不会影响所得模型的性能。

我们从得分函数$\Delta s_{\theta }(w^{+},h)$开始，该函数计算一个分数，量化了输入和其上下文的关系， $w^{+}$ 表示来自数据分布； $h$ 表示上下文。该分数可以看成是分类层的logits，我们可以对它应用sigmoid转换为概率 $\sigma (\Delta s_{\theta }(w^{+},h))$ 。通常我们感兴趣的是对数概率 $\log \sigma (\Delta s_{\theta }(w^{+},h))$，若我们同时考虑 $k$ 个 噪音样本 $w^{-}$ 我们可以得到下式：

$$\log \sigma (\Delta s_{\theta }(w^{+},h))+\sum _{i=1}^k\log \sigma (-\Delta s_{\theta }(w_i^{-},h))$$

可以看到这本质上是一个逻辑回归， 每个正样本(来自数据分布)有 $k$ 个负样本(来自噪声分布)。

因此我们就得到了NCE要最大化的损失函数：

$${\mathcal{L}}_{\text{NCE}}(\theta )=\log \sigma (\Delta s_{\theta }(w^{+},h))+\sum _{i=1}^k\log \sigma (-\Delta s_{\theta }(w_i^{-},h))\text{\hspace{1em}(4)}$$

由于我们这里讨论的是逻辑回归，我们可以把得分函数看成是一个log-odds：

$$\Delta s_{\theta }(w^{+},h)=\log \frac{p_{\theta }(w^{+}|h)}{k\cdot p_n(w^{+})}\Delta s_{\theta }(w^{-},h)=\log \frac{p_{\theta }(w^{-}|h)}{k\cdot p_n(w^{-})}$$

然后对它们应用sigmoid得到：

$$\begin{array}{rl}\sigma (\Delta s_{\theta }(w^{+},h))& =\frac{1}{1+e^{-\Delta s_{\theta }(w^{+},h)}}\\ & =\frac{1}{1+e^{-\log \frac{p_{\theta }(w^{+}|h)}{k\cdot p_n(w^{+})}}}\\ & =\frac{1}{1+e^{\log \frac{k\cdot p_n(w^{+})}{p_{\theta }(w^{+}|h)}}}\\ & =\frac{1}{1+\frac{k\cdot p_n(w^{+})}{p_{\theta }(w^{+}|h)}}\\ & =\frac{p_{\theta }(w^{+}|h)}{p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})}\end{array}\text{\hspace{1em}(5)}$$

最终得到这样一个简化形式。

同理，对于 $\Delta s_{\theta }(w^{-},h)$ 我们也能得到这样的简化形式：

$$\sigma (\Delta s_{\theta }(w^{-},h))=\frac{k\cdot p_n(w^{-})}{p_{\theta }(w^{-}|h)+k\cdot p_n(w^{-})}$$

这样我们可以重写(4)中的损失函数：

$${\mathcal{L}}_{\text{NCE}}(\theta )=\log \left(\frac{p_{\theta }(w^{+}|h)}{p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})}\right)+\sum _{i=1}^k\log \left(\frac{k\cdot p_n(w_i^{-})}{p_{\theta }(w_i^{-}|h)+k\cdot p_n(w_i^{-})}\right)\text{\hspace{1em}(6)}$$

但是由于归一化常数的存在， $p_{\theta }$ 的计算仍然很困难，但考虑到引用3中把归一化常数设为 $1$ 的做法，我们只需要计算(2)式的分子。

下面我们从数学角度来证明它确实有用。我们针对上式计算微分，考虑

$$\begin{array}{rl}\frac{\partial {\mathcal{L}}_{\text{NCE}}(\theta )}{\partial \theta }& =\frac{\partial }{\partial \theta }\log \left(\frac{p_{\theta }(w^{+}|h)}{p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})}\right)\\ & +\frac{\partial }{\partial \theta }\sum _{i=1}^k\log \left(\frac{k\cdot p_n(w_i^{-})}{p_{\theta }(w_i^{-}|h)+k\cdot p_n(w_i^{-})}\right)\\ & =\frac{\partial }{\partial \theta }\left[\log p_{\theta }(w^{+}|h)-\log \left(p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})\right)\right]\\ & +\frac{\partial }{\partial \theta }\sum _{i=1}^k\left[\log k{p}_n(w_i^{-})-\log \left(p_{\theta }(w_i^{-}|h)+k\cdot p_n(w_i^{-})\right)\right]\\ & =\frac{\partial }{\partial \theta }\left[\log p_{\theta }(w^{+}|h)-\log \left(p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})\right)\right]\\ & +\sum _{i=1}^k\frac{\partial }{\partial \theta }\left[\log k{p}_n(w_i^{-})-\log \left(p_{\theta }(w_i^{-}|h)+k\cdot p_n(w_i^{-})\right)\right]\end{array}$$

整个式子太长了 ，我们分别对上面两项进行求导。

$$\begin{array}{rl}\text{item1}& =\frac{\partial }{\partial \theta }\log p_{\theta }(w^{+}|h)-\frac{\partial }{\partial \theta }\log \left(p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})\right)\\ & =\frac{\partial }{\partial \theta }\log p_{\theta }(w^{+}|h)-\frac{1}{p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})}\frac{\partial }{\partial \theta }\left(p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})\right)\\ & =\frac{\partial }{\partial \theta }\log p_{\theta }(w^{+}|h)-\frac{1}{p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})}\frac{\partial }{\partial \theta }{p}_{\theta }(w^{+}|h)\\ & =\frac{\partial }{\partial \theta }\log p_{\theta }(w^{+}|h)-\frac{p_{\theta }(w^{+}|h)}{p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})}\frac{\partial }{\partial \theta }\log p_{\theta }(w^{+}|h)\\ & =\left(\frac{k\cdot p_n(w^{+})}{p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})}\right)\frac{\partial }{\partial \theta }\log p_{\theta }(w^{+}|h)\end{array}$$

这里 $p_n(w^{+})$ 与 $\theta$ 无关，对其偏导为零，因此可以移除。

$$\begin{array}{rl}\text{item2}& =\frac{\partial }{\partial \theta }\left[\log k{p}_n(w_i^{-})-\log \left(p_{\theta }(w_i^{-}|h)+k\cdot p_n(w_i^{-})\right)\right]\\ & =-\frac{p_{\theta }(w_i^{-}|h)}{p_{\theta }(w_i^{-}|h)+k\cdot p_n(w_i^{-})}\frac{\partial }{\partial \theta }\log p_{\theta }(w_i^{-}|h)\end{array}$$

我们现在可以得到整个式子的最终表达式：

$$\frac{\partial {\mathcal{L}}_{\text{NCE}}(\theta )}{\partial \theta }=\frac{k\cdot p_n(w^{+})}{p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})}\frac{\partial }{\partial \theta }\log p_{\theta }(w^{+}|h)-\sum _{i=1}^k\frac{p_{\theta }(w_i^{-}|h)}{p_{\theta }(w_i^{-}|h)+k\cdot p_n(w_i^{-})}\frac{\partial }{\partial \theta }\log p_{\theta }(w_i^{-}|h)$$

当 $k$ 趋于无穷大时：

$$\begin{array}{rl}\underset{k\to \infty }{\lim }\frac{\partial {\mathcal{L}}_{\text{NCE}}(\theta )}{\partial \theta }& =\underset{k\to \infty }{\lim }\left[\frac{k\cdot p_n(w^{+})}{p_{\theta }(w^{+}|h)+k\cdot p_n(w^{+})}\frac{\partial }{\partial \theta }\log p_{\theta }(w^{+}|h)-\sum _{i=1}^k\frac{p_{\theta }(w_i^{-}|h)}{p_{\theta }(w_i^{-}|h)+k\cdot p_n(w_i^{-})}\frac{\partial }{\partial \theta }\log p_{\theta }(w_i^{-}|h)\right]\\ & =\frac{\partial }{\partial \theta }\log p_{\theta }(w^{+}|h)\end{array}\text{\hspace{1em}(7)}$$

这个梯度和对数似然的梯度相同，证明了这个目标函数是有效的。

回顾下对数似然梯度。

对于给定的语言模型参数 $\theta$，预测句子 s = { w 1 , w 2 , … , w n } s = \{w_1, w_2, \ldots, w_n\} s={w1​,w2​,…,wn​}的出现概率，即建模 $p_{\theta }(w_1,w_2,\dots ,w_n)$。

基于链式法则可以表示为每个单词出现的条件概率的乘积，将每个单词 $w_i$ 的上下文 $(w_1,w_2,\dots ,w_{i-1})$用 $c_i$ 表示。那么可以写成

$$\begin{array}{rl}{p}_{\theta }(w_1,w_2,\dots ,w_n)& =p_{\theta }(w_1)p_{\theta }(w_2|w_1)p_{\theta }(w_3|w_1,w_2)\dots p(w_n|w_1,\dots ,w_{n-1})\\ & =\prod _{i=1}^n{p}_{\theta }(w_i|w_1,w_2,\dots ,w_{i-1})\\ & =\prod _{i=1}^n{p}_{\theta }(w_i|c_i)\end{array}$$

当 $n$ 很大时，通常还要引入马尔科夫假设。我们为上式添加对数，并且期望这个句子概率最大化，就是对数最大似然估计，可以写出对数似然函数为：

$${\mathcal{L}}_{MLE}=\sum _i\log p_{\theta }(w_i|c_i)$$

对 $\theta$ 求导得到

$$\sum _i\frac{\partial }{\partial \theta }\log p_{\theta }(w_i|c_i)\text{\hspace{1em}(8)}$$

考虑单个单词，(7)和(8)其实是一样的。所以说NCE本质上是极大似然估计的一种近似，NCE损失是可以工作的。

参考

1. 维基百科
2. Noise-contrastive estimation: A new estimation principle for unnormalized statistical models
3. A fast and simple algorithm for training neural probabilistic language models
4. Noise-Contrastive Estimation - CLEARLY EXPLAINED!