引言

从本节开始，将介绍递归网络系列。本节将介绍序列模型。

回顾：齐次马尔可夫假设

齐次马尔可夫假设——在隐马尔可夫模型——背景介绍中提到。已知$\mathcal{I}$表示状态变量集合，以一阶齐次马尔可夫假设为例，具体表示为：$t+1$时刻关于状态变量$i_{t+1}$的后验概率，仅与前一时刻状态变量$i_t$相关。与其他变量无关：
这里的$\mathcal{O}$表示观测变量集合;$o_1,\cdots ,o_t$表示具体的观测变量。
$$\mathcal{P}(i_{t+1}\mid i_t,\cdots ,i_1,o_t,\cdots ,o_1)=\mathcal{P}(i_{t+1}\mid i_t)\{\begin{array}{l}{i}_1,\cdots ,i_t,i_{t+1}\in \mathcal{I}\\ o_1,\cdots ,o_t\in \mathcal{O}\end{array}$$
如果将该假设脱离隐马尔可夫模型$(\text{Hidden Markov Model,HMM})$的约束，从而进行更泛化的表示。我们可以理解为：一组不独立的随机变量 { x 1 , x 2 , ⋯   , x T } \{x_1,x_2,\cdots,x_{\mathcal T}\} {x1​,x2​,⋯,xT​}，关于$t$时刻$x_t$的后验概率仅与该方向相邻的$\tau$个随机变量$x_{t-1}{x}_{t-2},\cdots ,x_{t-\tau }$之间存在关联关系：
$$\mathcal{P}(x_t\mid x_{t-1},x_{t-2},\cdots ,x_1)=\mathcal{P}(x_t\mid \underset{\tau 个随机变量}{\underbrace{x_{t-1},x_{t-2},\cdots ,x_{t-\tau }}})$$

序列模型

序列信息

序列信息，我们可以理解为：以时间为媒介，样本中存在顺序相关信息的特征。

现实生活中，存在许多基于时序结构的数据。例如：电影评分。

随着电影上映时间的推移，该电影的评分期望也会发生相应的变化。但这个变化是复杂的，因为这个评分数值是由人的主观结果。可能存在许多因素去影响人的主观能动性：

• 拍摄电影的导演或者编剧是对电影的要求较高的，其过去指导的电影口碑不错的——他的影评可能会一开始就比较优秀；
• 观众在观看了不少同题材的相关电影之后，对该题材电影的期望度变高；
• 电影选择上映的时间——例如五一假期、春节档；以及电影针对的人群等；
• 在电影上映过程中，参演的演员或者影片相关的一些负面影响——如：演员绯闻、票房造假等。
• 电影上映结束后，影评也会一直变化。如果该影片拿到了大奖——相关的评分也可能呈现优秀的趋势等。

上面的几种情况，也可以进行划分：

• 前三种情况——此时的电影还没有上映，在观众的心中就存在一些类似先验的信息。也就是说，评分结果可能会受到这些信息的影响。
  先验它可看做是事件自身的一个性质。但上述的信息确实起到一部分先验的功能——对后验(电影评分)的结果造成影响。
• 后两种情况——此时的电影正在上映/上映结束之后，某些时间结点发生的事件对评分结果的影响。

综上可以看出，影评结果的优劣并非只和电影质量的优劣有关。也包含了其他因素。并且随着电影上映这个时间过程上的变化，都存在影响影评结果的情况出现。

序列信息充斥人们生活的各个角落。如：文本、音频 、视频。它们都属于序列数据。

序列数据建模

那么上面描述的序列数据要如何进行数学表示$?$假设某样本$x^{(t)}$由$\mathcal{T}$个不独立的随机变量$x_1,x_2,\cdots ,x_{\mathcal{T}}$进行表示：
其中$x_1^{(t)}$表示样本$x^{(t)}$的第一个随机变量的取值;$1,2,\cdots ,\mathcal{T}$分别表示该序列特征描述的‘时刻’编号。$x_1$就表示该序列数据第$1$个时刻的随机变量。
$$x^{(t)}=(x_1^{(t)},x_2^{(t)},\cdots ,x_{\mathcal{T}}^{(t)}{)}_{\mathcal{T}\times 1}^T$$
由于$\mathcal{T}$个随机变量不独立，那么假定这$\mathcal{T}$个随机变量共同服从一个联合概率分布$\mathcal{P}(\mathcal{X})$：
这里$\mathcal{X}$表示随机变量集合。
$$x_1,x_2,\cdots ,x_{\mathcal{T}}\sim \mathcal{P}(\mathcal{X})=\mathcal{P}(x_1,\cdots ,x_{\mathcal{T}})$$
这个$\mathcal{P}(x_1,\cdots ,x_{\mathcal{T}})$是我们的终极目标：我们一旦得到了这个分布，根据极大似然估计与后验概率估计中的介绍，我们可以从该分布中源源不断地产生样本。任意一个时刻随机变量的信息都能够表示出来。

针对不独立的一组随机变量$x_1,\cdots ,x_{\mathcal{T}}$，如何去描述它的联合概率分布$\mathcal{P}(\mathcal{X})?$使用条件概率将其分解：

• 由于$x_1,\cdots ,x_{\mathcal{T}}$它描述的是序列信息，自然会存在‘正向顺序’和‘反向顺序’。两种顺序的展开结果分别表示如下:
• 反向顺序在一些情况下存在物理意义。挖坑，后续介绍。[预备传送门]
  $$\{\begin{array}{l}\begin{array}{rl}\mathcal{P}(x_1,x_2,\cdots ,x_{\mathcal{T}})& =\mathcal{P}(x_{\mathcal{T}}\mid x_{\mathcal{T}-1},\cdots ,x_1)\cdot \mathcal{P}(x_{\mathcal{T}-1}\mid x_{\mathcal{T}-2},\cdots ,x_1)\cdots \mathcal{P}(x_2\mid x_1)\cdot \mathcal{P}(x_1)\\ & =\mathcal{P}(x_1)\cdot \prod _{i=2}^{\mathcal{T}}\mathcal{P}(x_i\mid x_{i-1},\cdots ,x_1)\\ \mathcal{P}(x_1,x_2,\cdots ,x_{\mathcal{T}})& =\mathcal{P}(x_1\mid x_2,\cdots ,x_{\mathcal{T}})\cdot \mathcal{P}(x_2\mid x_3,\cdots ,x_{\mathcal{T}})\cdots \mathcal{P}(x_{\mathcal{T}-1}\mid x_{\mathcal{T}})\cdot \mathcal{P}(x_{\mathcal{T}})\\ & =\mathcal{P}(x_{\mathcal{T}})\cdot \prod _{j=1}^{\mathcal{T}-1}\mathcal{P}(x_i\mid x_{i+1})\end{array}\end{array}$$

我们介绍过贝叶斯网络的结构表示。如果使用概率图去描述这个联合概率分布，为简化起见仅使用$4$个随机变量$x_1,x_2,x_3,x_4$的联合概率分布进行描述：
反向顺序同理，将概率图中所有箭头反向即可。这里不再过多赘述。

• 首先描述$\mathcal{P}(x_4\mid x_1,x_2,x_3)$的概率图结构：
  画曲线很麻烦，这里直接用直线了。好看的图见下方链接，侵删。时间6:42
  
• 联合概率分布$\mathcal{P}(x_1,x_2,x_3,x_4)$的概率图结构：
  $$\mathcal{P}(x_1,x_2,x_3,x_4)=\mathcal{P}(x_4\mid x_1,x_2,x_3)\cdot \mathcal{P}(x_3\mid x_1,x_2)\cdot \mathcal{P}(x_2\mid x_1)\cdot \mathcal{P}(x_1)$$
  

以正向顺序为例，从条件概率的分解结果可知，除了第一时刻的随机变量分布$\mathcal{P}(x_1)$，其余结果均由后验概率进行描述：
$$\mathcal{P}(x_t\mid x_{t-1},\cdots ,x_1)t=2,\cdots ,\mathcal{T}$$
如果能够将这个后验概率的通式描述出来，那么$\begin{array}{r}\prod _{i=2}^{\mathcal{T}}\mathcal{P}(x_i\mid x_{i-1},\cdots ,x_1)\end{array}$中的任意一项都可以进行表示。再加上$\mathcal{P}(x_1)$作为初始时刻分布，最终可以求解出联合概率分布。

自回归模型$(\text{AutoRegression Model})$。它的思想在于：相当于给定了$x_1,\cdots ,x_{t-1}$的特征信息，求解$x_t$的概率分布。直接将$x_1,\cdots ,x_{t-1}$作为输入特征，$x_t$作为输出特征，构建机器学习模型学习该特征：
这里$\lambda$表示模型$f(x_1,\cdots ,x_{t-1})$的参数信息。自回归模型作为一种‘无监督模型’，但它并没有用到隐变量，并且它对‘条件概率’直接进行建模。
$$\mathcal{P}(x_t\mid x_1,\cdots ,x_{t-1})=\mathcal{P}[x_t\mid f(x_1,\cdots ,x_{t-1};\lambda )]$$

• 马尔可夫假设
  根据上面的概率图结构，可以发现：如果随机变量结点数量足够多，它们之间的关联关系就越复杂。因此为了减小运算规模，提出了马尔可夫假设：当前时刻的随机变量仅与过去$\tau$个随机变量相关。对应简化公式表示如下：
  $$\mathcal{P}(x_t\mid x_1,\cdots ,x_{t-1})\Rightarrow \mathcal{P}(x_t\mid x_{t-\tau },\cdots ,x_{t-1})$$
  我们使用自回归方法再去对条件概率$\mathcal{P}(x_t\mid x_{t-\tau },\cdots ,x_{t-1})$进行建模，相比上述原始方法要简化的多：

  • 此时受约束的随机变量数量由原来的$t-1$个变成了固定数量的$\tau$个。大大简化了运算；
  • 基于马尔可夫假设，所有受影响的特征维度均相同($\tau$)，可以使用规则更简单的模型。如多层感知机$(\text{Multilayer Perceptrons,MLP})$。
    此时就变成了一个简单的回归任务。
    $$\mathcal{P}(x_t\mid x_{t-\tau },\cdots ,x_{t-1})\Rightarrow \mathcal{P}[x_t\mid \underset{\text{MLP}}{\underbrace{f(x_{t-\tau },\cdots ,x_{t-1};\lambda )}}]$$

• 潜变量模型
  潜变量的思想在于：引入潜变量，使用潜变量来表示过去的信息。潜变量与隐变量之间的区别在于：隐变量是一个伴随模型产生的特征。${\mathcal{Z}}_t$可描述为$t$时刻，模型内的隐藏特征。而这里潜变量$h_t$描述的是一个函数，关于描述$t$时刻之前信息的函数：
  $$h_t=f(x_1,\cdots ,x_{t-1})$$
  至此，$x_t$的后验分布可表示为：$\mathcal{P}(x_t\mid h_t)$。
  它的值可以看做是一个向量、一个值。
  关于该模型的概率图结构表示如下：
  
  该模型可以看做是两个部分模型的交替结合：

  • 根据当前时刻的过去信息$h_1$，与当前时刻的特征信息$x_1$融合，得到下一时刻的过去信息$h_2$；
  • 根据下一时刻的过去信息$h_2$，与当前时刻的特征信息$x_1$融合，得到下一时刻的特征信息$x_2$。

相关参考：
51 序列模型【动手学深度学习v2】