引言

这是统计学习方法第十一章条件随机场的阅读笔记，包含所有公式的详细推导。

条件随机场(conditional random field,CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。

建议先阅读概率图简介，了解一些概率图的知识。

---

1. 《统计学习方法》——条件随机场(上)
2. 《统计学习方法》——条件随机场(中)
3. 《统计学习方法》——条件随机场(下)
4. 《统计学习方法》——条件随机场#习题解答#

---

条件随机场的概率计算问题

前向-后向算法

概率计算问题不可避免的涉及到计算$Z(x)$，我们知道
$$Z(x)=\sum _y\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$$
是以start为起点stop为终点通过状态的所有路径$y_1{y}_2\cdots y_n$的非规范化概率之${\prod }_{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$之和。

即它可以写成：
$$Z(x)=\sum _{y_1}\cdots \sum _{y_{i-1}}\sum _{y_{i+1}}\cdots \sum _{y_n}\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)\text{\hspace{1em}(p1)}$$
从左往右看，这里有$n$个求和，此时复杂度为$O(n)$，而每个求和中$y_i$的取值有$m$个，所以复杂度变成了$O(m^n)$，而最后还有$n+1$个连乘，最终复杂度为$O(m^n\cdot n)$。这在计算上是不可行的。

类似HMM，这里也基于动态规划引入前向和后向算法，使得时间复杂度降低成$O(n\cdot m^2)$。

我们把上式$(p1)$展开，并且为了统一，多加了一个${\sum }_{y_0}$，我们上面引入$y_0=\text{start}$，只有一个取值，我们也可以把它看成一个向量，非$\text{start}$位置取值为$0$，只有$\text{start}$位置取值为$1$：
$$\begin{array}{rl}Z(x)& =\sum _{y_0}\sum _{y_1}\cdots \sum _{y_{i-1}}\sum _{y_{i+1}}\cdots \sum _{y_n}\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)\\ & =\sum _{y_0}\sum _{y_1}\cdots \sum _{y_{i-1}}\sum _{y_{i+1}}\cdots \sum _{y_n}{M}_1(y_0,y_1|x)M_2(y_1,y_2|x)\cdots M_i(y_{i-1},y_i|x)M_{i+1}(y_i,y_{i+1}|x)\cdots M_{n+1}(y_n,y_{n+1}|x)\end{array}$$
观察上式，每个因子$M_j(y_{j-1},y_j|x)$只与两个变量$y_{j-1}$和$y_j$有关，因此，可以重写一下上式：
$$\begin{gathered} Z(x)=\sum _{y_n}{M}_{n+1}(y_n,y_{n+1}|x)\cdots \sum _{y_{i+1}}{M}_{i+2}(y_{i+1},y_{i+2}|x)\sum _{y_i}{M}_{i+1}(y_i,y_{i+1}|x)\sum _{y_{i-1}}{M}_i(y_{i-1},y_i|x) \\ \cdots \sum _{y_2}{M}_3(y_2,y_3|x)\sum _{y_1}{M}_2(y_1,y_2|x)\sum _{y_0}{M}_1(y_0,y_1|x)\text{\hspace{1em}(p2)} \end{gathered}$$
类似上面的例题，我们也画出这个$Z(x)$的状态路径图(假设start和stop都在第一个状态位置)：

我们针对$(p2)$式从右往左看，看如何对应上图中的结点位置。首先最右边的${\sum }_{y_0}{M}_1(y_0,y_1|x)$

我们知道$M_1(y_0,y_1|x)=\exp ({\sum }_{k=1}^K{w}_k{f}_k(y_0,y_1,x,1))$表示从$y_0$到$y_1$的非规范化概率。

基于上面的一个向量的情况下，那么
$$\sum _{y_0}{M}_1(y_0,y_1|x)=M_1(y_0=1,y_1|x)+M_1(y_0=2,y_1|x)+\cdots +M_1(y_0=m,y_1|x)\text{\hspace{1em}(p3)}$$
这里先假设$y_1$取固定值，假设是$1$，那么$(p3)$做的事情就是如下图：

我们看出来了，就是计算所有的前一个状态$y_0$到$y_1$的非规范化概率，得到的是一个标量。

我们知道，实际上只有start位置到$y_1$的那条连线才有意义，假设$y_0=1=\text{start}$，那么实际上计算的是$M_1(y_0=1,y_1|x)$。所有$y_0$对应竖排非start的结点和连线都是虚线，画出来是为了和后面步骤统一。

上面是固定$y_1=1$，即状态1的情况，实际$(p2)$中的${\sum }_{y_0}$前面还有一个${\sum }_{y_1}$：$\sum_{y_1} M_2(y_1,y_2|x)\sum_{y_0} M_1(y_0,y_1|x) $。这是一种简写形式，完整的写法应该是：
$$\sum _{y_1}{M}_2(y_1,y_2|x)\sum _{y_0}{M}_1(y_0,y_1|x)=\sum _{y_1}\left(M_2(y_1,y_2|x)\sum _{y_0}{M}_1(y_0,y_1|x)\right)$$
暂时忽略$M_2(y_1,y_2|x)$的情况下，显然要计算所有的$y_1$。即实际上$y_1$也可以有$m$种取值，所以$(p3)$实际上计算出的是一个$m$维的向量——从所有的$y_0$到所有的$y_1$的非规范化概率。

就如上图所示。

如果考虑所有$y_1$的情况下，那么${\sum }_{y_0}{M}_1(y_0,y_1|x)$的计算可以用一个向量和矩阵相乘表示：
$$\begin{array}{rl}\sum _{y_0}{M}_1(y_0,y_1|x)& =v_{1\times m}\cdot [M_1(y_0,y_1|x){]}_{m\times m}\end{array}\text{\hspace{1em}(p4)}$$
这向量$v$就是我们上面说的$y_0$对应的竖排向量，类似HMM中前向后向算法的表示，我们也用${\alpha }_0(y|x)$表示这个包含$y_0$初始状态的向量：
$${\alpha }_0(y|x)=\{\begin{array}{ll}1,& y=\text{start}\\ 0,& \text{else}\end{array}\text{\hspace{1em}(11.26)}$$
那么(值为1表示start位置)
$${\alpha }_0(x)={\left[\begin{array}{c}{\alpha }_0(y_0=1|x)\\ ⋮\\ {\alpha }_0(y_0=j|x)\\ ⋮\\ {\alpha }_0(y_0=m|x)\end{array}\right]}_m={\left[\begin{array}{c}1\\ ⋮\\ 0\\ ⋮\\ 0\end{array}\right]}_m$$
这是一个$m\times 1$的列向量，$(p4)$中的是一个行向量，我们变成行向量加个转置${\alpha }_0^T(x)$。

那么$(p4)$用新的向量表示为：
$$\begin{array}{rl}\sum _{y_0}{M}_1(y_0,y_1|x)& =v_{1\times m}\cdot [M_1(y_0,y_1|x){]}_{m\times m}\\ & ={\alpha }_0^T(x{)}_{1\times m}\cdot [M_1(y_0,y_1|x){]}_{m\times m}\\ & ={\alpha }_0^T(x{)}_{1\times m}\cdot M_1(x{)}_{m\times m}\end{array}$$
公式$(p3)$计算出的新的向量，用${\alpha }_1(x)$表示，即
$${\alpha }_1^T(x)={\alpha }_0^T(x)\cdot M_1(x)$$
基于这个新向量，可以改写$(p2)$为：
$$\begin{array}{rl}Z(x)& =\sum _{y_n}{M}_{n+1}(y_n,y_{n+1}|x)\cdots \sum _{y_{i+1}}{M}_{i+2}(y_{i+1},y_{i+2}|x)\sum _{y_i}{M}_{i+1}(y_i,y_{i+1}|x)\sum _{y_{i-1}}{M}_i(y_{i-1},y_i|x)\cdots \sum _{y_2}{M}_3(y_2,y_3|x)\sum _{y_1}{M}_2(y_1,y_2|x)\sum _{y_0}{M}_1(y_0,y_1|x)\\ & =\sum _{y_n}{M}_{n+1}(y_n,y_{n+1}|x)\cdots \sum _{y_{i+1}}{M}_{i+2}(y_{i+1},y_{i+2}|x)\sum _{y_i}{M}_{i+1}(y_i,y_{i+1}|x)\sum _{y_{i-1}}{M}_i(y_{i-1},y_i|x)\cdots \sum _{y_2}{M}_3(y_2,y_3|x)\sum _{y_1}{\alpha }_1(y_1|x)M_2(y_1,y_2|x)\end{array}\text{\hspace{1em}(p5)}$$
即在固定$y_2$的情况下，计算从$y_0$到$y_2$的所有非规范化概率：

上图是假设$y_2=1$时的情形，用加粗的箭头表示实际进行了的计算。同理我们知道，实际上会计算所有可能的$y_2$，即计算出${\alpha }_2^T(x)$。

如上图红色结点所示，表示计算从$y_0$到$y_2$的所有非规范化概率。那么对于每个指标$i=0,1,\cdots ,n+1$，定义一个前向向量${\alpha }_i(x)$：

$${\alpha }_i(x)={\left[\begin{array}{c}{\alpha }_i(y_i=1|x)\\ {\alpha }_i(y_i=2|x)\\ ⋮\\ {\alpha }_i(y_i=i|x)\\ ⋮\\ {\alpha }_i(y_i=m|x)\end{array}\right]}_m$$
${\alpha }_i(y_i|x)$表示在位置$i$的标记是$y_i$且从$1$到$i$($y_0$到$y_i$)的前部分标记序列的非规范化概率。

$${\alpha }_i(y_i|x)={\alpha }_{i-1}^T(y_{i-1}|x)[M_i(y_{i-1},y_i|x)],i=1,2,\cdots ,n+1\text{\hspace{1em}(11.27)}$$
又可以表示为：
$${\alpha }_i^T(x)={\alpha }_{i-1}^T(x)M_i(x)\text{\hspace{1em}(11.28)}$$

此时从$y_1$到$y_2$的过程中，我们可以看到，在$y_1$需要计算$m$个结点，即${\alpha }_1(x)$向量中的每个元素，在$y_2$也需要根据$y_1$计算$m$个结点。这个过程需要计算$m\times m$次。如果序列长度为$n+1$，那么共有$n$个这样的操作，显然整个过程的时间复杂度为$O(m^2\cdot n)$。

假设我们基于此过程已经计算出了${\alpha }_n^T(x)$，我们来看最后一步是怎么样的。此时，对应的$(p5)$变成了：
$$Z(x)=\sum _{y_n}{\alpha }_n(y_n|x)M_{n+1}(y_n,y_{n+1}|x)=\sum _{y_n}{\alpha }_n(y_n|x)M_{n+1}(y_n,y_{n+1}=\text{stop}|x)$$

因为$\text{stop}$也只有一个，按照我们前面的理解，最终得到的是汇聚到$y_{n+1}=\text{stop}$结点上的标量。即
$$\begin{array}{rl}Z(x)& =\sum _{y_n}{\alpha }_n(y_n|x)M_{n+1}(y_n,y_{n+1}|x)\\ & =\sum _{y_n}{\alpha }_n(y_n|x)M_{n+1}(y_n,y_{n+1}=\text{stop}|x)\\ & ={\alpha }_n(y_n=1|x)M_{n+1}(y_n=1,y_{n+1}=\text{stop}|x)+{\alpha }_n(y_n=2|x)M_{n+1}(y_n=2,y_{n+1}=\text{stop}|x)+\cdots +{\alpha }_n(y_n=m|x)M_{n+1}(y_n=m,y_{n+1}=\text{stop}|x)\end{array}$$

对应上面的这些连线，如果把上式后面的结果写成向量化形式的话：
$$Z(x)={\alpha }_n^T(x{)}_{1\times m}\cdot 1_{m\times 1}$$
上面我们讨论的是前向算法，那么对于后向算法也是同样的思想。

类似$(p2)$，我们按另一个顺序，从后往前。

首先对于每个指标$i=0,1,\cdots ,n+1$，定义后向向量${\beta }_i(x)$：
$${\beta }_{n+1}(y_{n+1}|x)=\{\begin{array}{ll}1,& y_{n+1}=\text{stop}\\ 0,& \text{else}\end{array}\text{\hspace{1em}(11.29)}$$

${\beta }_{n+1}(x)$是一个$m\times 1$的列向量，只有一个元素为$1$，其他元素为$0$。

$$\begin{array}{rl}Z(x)& =\sum _{y_1}\cdots \sum _{y_{i-1}}\sum _{y_{i+1}}\cdots \sum _{y_n}\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)\\ & =\sum _{y_1}\cdots \sum _{y_{i-1}}\sum _{y_{i+1}}\cdots \sum _{y_n}\sum _{y_{n+1}}{M}_1(y_0,y_1|x)M_2(y_1,y_2|x)\cdots M_i(y_{i-1},y_i|x)M_{i+1}(y_i,y_{i+1}|x)\cdots M_{n+1}(y_n,y_{n+1}|x)\\ & =\sum _{y_1}{M}_1(y_0,y_1|x)\cdots \sum _{y_n}{M}_n(y_{n-1},y_n|x)\sum _{y_{n+1}}{M}_{n+1}(y_n,y_{n+1}|x)\end{array}\text{\hspace{1em}(p6)}$$

从后往前的状态路径图如下图所示：

同样先根据$(p6)$最后一个求和有：
$$\begin{array}{rl}{\beta }_n(y_n|x)=\sum _{y_{n+1}}{M}_{n+1}(y_n,y_{n+1}|x)& =[M_{n+1}(y_n,y_{n+1}|x){]}_{m\times m}\cdot {\beta }_{n+1}(y_{n+1}|x{)}_{m\times 1}\end{array}$$

同理，我们可以得到
$${\beta }_i(y_i|x)=[M_{i+1}(y_i,y_{i+1}|x)]{\beta }_{i+1}(y_{i+1}|x)\text{\hspace{1em}(11.30)}$$
可以表示为
$${\beta }_i(x)=M_{i+1}{\beta }_{i+1}(x)\text{\hspace{1em}(11.31)}$$

${\beta }_i(y_i|x)$表示未知$i$的标记为$y_i$并且从$i+1$到$n$的后部分标记序列的非规范化概率。

注意${\alpha }_i(y_i|x)$和${\beta }_i(y_i|x)$都是累计向量，前者表示从$1$到$i$的前部分标记序列的非规范化概率。

我们来看到$y_0$时是怎样的，假设此时已经计算出了从$y_{n+1}$到$y_1$的非规范化概率向量${\beta }_1(x)$。从图中可以看出，它是汇聚到了$y_0=\text{start}$的结点上，得到的是一个标量。

根据$(p6)$有：
$$\begin{array}{rl}Z(x)& =\sum _{y_1}{M}_1(y_0=\text{start},y_1|x)\cdot {\beta }_1(y_1|x)\\ & =M_1(y_0=\text{start},y_1=1|x){\beta }_1(y_1=1|x)+M_1(y_0=\text{start},y_1=2|x){\beta }_1(y_1=2|x)+\cdots +M_1(y_0=\text{start},y_1=m|x){\beta }_1(y_1=m|x)\end{array}$$

所以，最终$Z(x)$也可以写成向量化的形式：
$$Z(x)=1_{1\times m}\cdot {\beta }_1(x{)}_{m\times 1}$$
这里的$1$是一个$1\times m$的列向量。

概率计算

有了前向后向算法，我们就可以很容易地计算序列在位置$i$的标记是$y_i$的条件概率。这在路径图中是这样的，这里假设$y_i=j$状态。

$$P(Y_i=y_i|x)=\frac{{\alpha }_i^T(y_i|x){\beta }_i(y_i|x)}{Z(x)}\text{\hspace{1em}(11.32)}$$

也可以用公式推导证明，利用联合概率分布于边缘概率分布的关系有：
$$\begin{array}{rl}P(Y_i=y_i|x)& =\frac{1}{Z(x)}\sum _{y_1}\cdots \sum _{y_{i-1}}\sum _{y_{i+1}}\cdots \sum _{y_n}\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)\\ & =\frac{1}{Z(x)}\left(\sum _{y_1}\cdots \sum _{y_{i-1}}{M}_1(y_0,y_1|x)M_2(y_1,y_2|x)\cdots M_i(y_{i-1},y_i|x)\right)\left(\sum _{y_{i+1}}\cdots \sum _{y_n}{M}_{i+1}(y_i,y_{i+1}|x)M_{i+2}(y_{i+1},y_{i+2}|x)\cdots M_{n+1}(y_n,y_{n+1}|x)\right)\\ & =\frac{{\alpha }_i^T(y_i|x){\beta }_i(y_i|x)}{Z(x)}\end{array}$$

下面计算标记是$y_{i-1}$和$y_i$的条件概率。

这里固定了$y_{i-1}$和$y_i$的状态，类似上图所示，同理，我们可以得到这个概率：

$$P(Y_{i-1}=y_{i-1},Y_i=y_i|x)=\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)}\text{\hspace{1em}(11.33)}$$

期望值的计算

利用前向-后向向量，可以计算特征函数关于联合分布$P(X,Y)$和条件分布$P(Y|X)$的数学期望。

特征函数$f_k$关于条件分布$P(Y|X)$的数学期望是
$$\begin{array}{rl}{E}_{P(Y|X)}[f_k]& =\sum _{y}P(Y|X)f_k(y,x)\\ & =\sum _{i=1}^{n+1}\sum _{y_{i-1},y_i}{f}_k(y_{i-1},y_i,x,i)\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)}\end{array}\text{\hspace{1em}(11.34)}$$
其中，$k=1,\cdots ,K$；

假设经验分布为$\tilde{P}(X)$，即用经验分布代替真实分布，那么特征函数$f_k$关于联合分布$P(X,Y)$的数学期望是
$$\begin{array}{rl}{E}_{P(X,Y)}[f_k]& =\sum _{x,y}P(x,y)\sum _{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)\\ & =\sum _{x,y}P(x)P(y|x)\sum _{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)\\ & =\sum _x\tilde{P}(x)\sum _{y}P(y|x)\sum _{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)\\ & =\sum _x\tilde{P}(x)\sum _{i=1}^{n+1}\sum _{y_{i-1},y_i}{f}_k(y_{i-1},y_i,x,i)\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)}\end{array}\text{\hspace{1em}(11.35)}$$
其中，$k=1,\cdots ,K$；