【机器学习】期望最大算法（EM算法）：Expectation Maximization Algorithm

1. 介绍

EM 算法，全称 Expectation Maximization Algorithm。期望最大算法是一种迭代算法，用于含有隐变量（Hidden Variable）的概率参数模型的最大似然估计或极大后验概率估计。

我们经常会从样本观察数据中，找出样本的模型参数。 最常用的方法就是极大化模型分布的对数似然函数。

• 但是在一些情况下，我们得到的观察数据有未观察到的隐含数据，此时我们未知的有隐含数据和模型参数，因而无法直接用极大化对数似然函数得到模型分布的参数。

怎么办呢？这就是EM算法可以派上用场的地方了。

• EM算法解决这个的思路是使用启发式的迭代方法，既然我们无法直接求出模型分布参数，那么我们可以先猜想隐含数据（EM算法的E步），接着基于观察数据和猜测的隐含数据一起来极大化对数似然，求解我们的模型参数（EM算法的M步)。
• 由于我们之前的隐藏数据是猜测的，所以此时得到的模型参数一般还不是我们想要的结果。不过没关系，我们基于当前得到的模型参数，继续猜测隐含数据（EM算法的E步），然后继续极大化对数似然，求解我们的模型参数（EM算法的M步)。以此类推，不断的迭代下去，直到模型分布参数基本无变化，算法收敛，找到合适的模型参数。

从上面的描述可以看出，EM算法是迭代求解最大值的算法，同时算法在每一次迭代时分为两步，E步和M步。一轮轮迭代更新隐含数据和模型分布参数，直到收敛，即得到我们需要的模型参数。

• 一个最直观了解EM算法思路的是K-Means算法，见之前写的K-Means聚类算法原理。在K-Means聚类时，每个聚类簇的质心是隐含数据。
• 我们会假设K个初始化质心，即EM算法的E步；然后计算得到每个样本最近的质心，并把样本聚类到最近的这个质心，即EM算法的M步。重复这个E步和M步，直到质心不再变化为止，这样就完成了K-Means聚类。

当然，K-Means算法是比较简单的，实际中的问题往往没有这么简单。接下来我们需要用数学的语言精准描述。

2. EM算法数学描述

对于$M$个样本数据 X = { x 1 , x 2 , x 3 , . . .   x M } X = \{ x_1, x_2, x_3,... \ x_M \} X={x1​,x2​,x3​,... xM​}，找出样本的模型参数 $\theta$，极大化模型分布的对数似然函数如下：
$$\begin{array}{r}{\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^M\log P_{\theta }(x_i)\end{array}$$

假设我们得到的观察数据，含有有未观察到的隐含数据： C = { c 1 , c 2 , c 3 , . . .   z K } C = \{ c_1, c_2, c_3,... \ z_K \} C={c1​,c2​,c3​,... zK​}，此时我们的极大化模型分布的对数似然函数如下：
$$\begin{array}{r}{\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^M\log P_{\theta }(x_i)=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^M\log \sum _{k=1}^K{P}_{\theta }(x_i,c_k)\end{array}$$
上面这个式子是没有 办法直接求出 $\theta$ 的。因此需要一些特殊的技巧，我们首先对这个式子进行缩放如下：
$$\begin{array}{rl}\sum _{i=1}^M\log \sum _{k=1}^K{P}_{\theta }(x_i,c_k)=& \sum _{i=1}^M\log \sum _{k=1}^{K}Q(c_k)\frac{P_{\theta }(x_i,c_k)}{Q(c_k)}\\ \ge & \sum _{i=1}^M\sum _{k=1}^{K}Q(c_k)\log \frac{P_{\theta }(x_i,c_k)}{Q(c_k)}\end{array}$$
上面 (3) 式引入了一个未知的新的分布，$Q(c)$，(4)式用到了Jensen不等式：
$$\begin{array}{r}\log \sum _j{q}_j{x}_j\ge \sum _j{q}_j\log x_j\end{array}$$
具体来说，由于对数函数是凹函数，所以有：
$$\begin{array}{r}f(\mathbb{E}(x))\ge \mathbb{E}(f(x))，如果f(x)是凹函数（如果是凸函数，则：\le ）\end{array}$$
此时如果要满足Jensen不等式的等号，则有：
$$\begin{array}{r}\frac{P_{\theta }(x_i,c_k)}{Q(c_k)}=t，t为常数\end{array}$$
由于$Q(c)$是一个分布，所以：
$$\begin{array}{r}\sum _{k=1}^{K}Q(c_k)=1\end{array}$$
从上面两式，我们可以得到：
$$\begin{array}{r}Q(c_k)=\frac{P_{\theta }(x_i,c_k)}{{\sum }_{k=1}^K{P}_{\theta }(x_i,c_k)}=\frac{P_{\theta }(x_i,c_k)}{P_{\theta }(x_i)}=P_{\theta }(c_k|x_i)\end{array}$$
因此，如果$Q(c_k)=P_{\theta }(c_k|x_i)$，则 (4)式是我们的包含隐藏数据的对数似然的一个下界。如果我们能极大化这个下界，也就意味着可以极大化我们的对数似然。即我们需要最大化下式：
$$\begin{array}{r}\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^M\sum _{k=1}^{K}Q(c_k)\log \frac{P_{\theta }(x_i,c_k)}{Q(c_k)}\end{array}$$
去掉上式中为常数的部分，由于上式中 $0\le Q(c_k)\le 1$，则我们需要极大化的对数似然下界为，
$$\begin{array}{r}\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^M\sum _{k=1}^{K}Q(c_k)\log P_{\theta }(x_i,c_k)\end{array}$$
上式也就是我们的EM算法的M步，那E步呢？注意到上式中 $Q(c_k)$ 是一个分布，因此 ${\sum }_{k=1}^{K}Q(c_k)\log P_{\theta }(x_i,c_k)$ 可以理解为 $\log P_{\theta }(x_i,c_k)$ 基于条件概率分布 $Q(c_k)$ 的一个期望。

至此，我们理解了EM算法中E步和M步的具体数学含义。

3. EM算法流程

• 输入
  • 观察数据： X = { x 1 , x 2 , x 3 , . . .   x M } X = \{ x_1, x_2, x_3,... \ x_M \} X={x1​,x2​,x3​,... xM​}
  • 联合分布：$P_{\theta }(x,c)$
  • 条件分布
  • 最大迭代次数：$S$
• 主要流程
  • 1）随机初始化模型参数 $\theta$ 的初始值 ${\theta }^0$
  • 2）EM算法迭代（V次）
    • E步：计算联合分布的条件概率期望：
      $$\begin{array}{r}Q(c_k)=P_{{\theta }^s}(c_k|x_i)\\ L(\theta ,{\theta }^s)=\sum _{i=1}^M\sum _{k=1}^{K}Q(c_k)\log P_{\theta }(x_i,c_k)\end{array}$$
    • M步：极大化 $L(\theta ,{\theta }^s)$，得到 ${\theta }^{s+1}$：
      $$\begin{array}{r}{\theta }^{s+1}=\underset{\theta }{\mathrm{argmax}}L(\theta ,{\theta }^s)\end{array}$$
    • 如果 ${\theta }^{s+1}$ 已收敛，则算法结束。否则继续进行迭代。
• 输出
  • 模型参数 $\theta$

4. 两个问题

4.1 EM算法如何保证？

要证明EM算法收敛，则我们需要证明我们的对数似然函数的值在迭代的过程中一直在增大。即：
$$\begin{array}{r}\log P_{{\theta }^{s+1}}(x_i)\ge \log P_{{\theta }^s}(x_i)\end{array}$$
由于，
$$\begin{array}{r}L(\theta ,{\theta }^s)=\sum _{i=1}^M\sum _{k=1}^K{P}_{{\theta }^s}(c_k|x_i)\log P_{\theta }(x_i,c_k)\dots \dots 注：Q(c_k)=P_{{\theta }^s}(c_k|x_i)\end{array}$$
令：
$$\begin{array}{r}H(\theta ,{\theta }^s)=\sum _{i=1}^M\sum _{k=1}^K{P}_{{\theta }^s}(c_k|x_i)\log P_{\theta }(c_k|x_i)\end{array}$$
上两式相减得到：
$$\begin{array}{rl}L(\theta ,{\theta }^s)-H(\theta ,{\theta }^s)=& \sum _{i=1}^M\sum _{k=1}^K{P}_{{\theta }^s}(c_k|x_i)\log \frac{P_{\theta }(x_i,c_k)}{P_{\theta }(c_k|x_i)}\\ =& \sum _{i=1}^M\sum _{k=1}^K{P}_{{\theta }^s}(c_k|x_i)\log P_{\theta }(x_i)\dots \dots P_{{\theta }^s}(c_k|x_i)已知，且和为1\\ =& \sum _{i=1}^M\log P_{\theta }(x_i)\end{array}$$
在上式最后得到式子中，$\theta$ 分别取 ${\theta }^s$ 和 ${\theta }^{s+1}$，并相减得到：
$$\begin{array}{rl}& \sum _{i=1}^M\log P_{{\theta }^{s+1}}(x_i)-\sum _{i=1}^M\log P_{{\theta }^s}(x_i)\\ =& [L({\theta }^{s+1},{\theta }^s)-L({\theta }^s,{\theta }^s)]-[H({\theta }^{s+1},{\theta }^s)-H({\theta }^s,{\theta }^s)]\end{array}$$
要证明EM算法的收敛性，我们只需要证明上式的右边是非负的即可。由于 ${\theta }^{s+1}$ 使 $L(\theta ,{\theta }^s)$ 极大，因此有:
$$\begin{array}{r}L({\theta }^{s+1},{\theta }^s)-L({\theta }^s,{\theta }^s)\ge 0\end{array}$$
而对于第二部分，我们有：
$$\begin{array}{rl}H({\theta }^{s+1},{\theta }^s)-H({\theta }^s,{\theta }^s)=& \sum _{i=1}^M\sum _{k=1}^K{P}_{{\theta }^s}(c_k|x_i)\log \frac{P_{{\theta }^{s+1}}(c_k|x_i)}{P_{{\theta }^s}(c_k|x_i)}\\ \le & \sum _{i=1}^M\log \sum _{k=1}^K{P}_{{\theta }^s}(c_k|x_i)\frac{P_{{\theta }^{s+1}}(c_k|x_i)}{P_{{\theta }^s}(c_k|x_i)}\\ =& \sum _{i=1}^M\log \sum _{k=1}^K{P}_{{\theta }^{s+1}}(c_k|x_i)=0\end{array}$$
其中（25）式用到了Jensen不等式，只不过和第二节的使用相反而已，第（26）式用到了概率分布累积为1的性质。至此，我们便得到了：
$$\begin{array}{r}\log P_{{\theta }^{s+1}}(x_i)-\log P_{{\theta }^s}(x_i)\ge 0\end{array}$$
进而证明了EM算法的收敛性。

4.2 EM算法如果收敛，那么能保证收敛到全局最大值吗？

从上面的推导不难看出，EM算法可以保证收敛到一个稳定点，但是却不能保证收敛到全局的极大值点，因此它是局部最优的算法，当然，如果我们的优化目标 $L(\theta ,{\theta }^s)$ 是凸的，则EM算法可以保证收敛到全局最大值，这点和梯度下降法这样的迭代算法相同。

5. 总结

如果我们从算法思想的角度来思考EM算法，我们可以发现：

• 算法里已知的是观察数据，
• 未知的是隐含数据和模型参数，
• 在E步，我们所做的事情是固定模型参数的值，优化隐含数据的分布，
• 而在M步，我们所做的事情是固定隐含数据分布，优化模型参数的值。

比较下其他的机器学习算法，其实很多算法都有类似的思想。比如SMO算法（支持向量机原理(四)SMO算法原理），坐标轴下降法(Lasso回归算法： 坐标轴下降法与最小角回归法小结)，都使用了类似的思想来求解问题。

参考

【1】http://www.cnblogs.com/pinard/p/6912636.html