ASR神经网络实战

kaldi语音识别理论与实践课程学习。

之前学习了基于GMM-HMM的传统语音识别：GMM-HMM
其中也包含Kaldi架构的简介，语音数据的预处理，特征提取等过程。
今天学习基于神经网络的语音识别。

神经网络训练脚本

以TDNN为例。

Kaldi中大部分的例子egs里，都提供了训练thnn的recipe。

不同recipes的内容可能有所差异，但大体都能分为3个部分。

神经网络config可以简单理解为一张图，Kaldi网络就是从这张图初始化得到的。

参数设置

stage：控制脚本运行起始位置的参数。
nnet3_affix：训练好的神经网络存放名字后缀
train_stage：如果训到第50轮断了，就把该值设置成50，就可以从第50轮开始，而不需要从头开始

common_egs_dir和remove_egs后续会再说。

再下来 . ./的是配置环境变量。其中：
utils/parse_options.sh 实现了基于shell脚本的“ --key value”的传参方式， 例如：

./run_tdnn.sh --stage 0 --gmm tri4b \
--nnet3_affix data_aug

注意： 只有定义在utils/parse_options.sh之前的参数允许以该方式传参， 图中的[dir, gmm_dir, ali_dir, graph_dir]等不能以此方式传参。

神经网络config

num_target：神经网络维度，tree的叶子节点数。
下面是个TDNN的网络结构。tdnn1，2，3只是名字，不代表是第一层、第二层等，你也可以写成a,b,c。（-1，0，2）代表context的左一右二。

configs是一组配置。可以理解为就是神经网络的画像，整体结构和内部节点之间的关系。网络初始化的时候就要按config里的定义初始化。
为了便于理解config，Kaldi提供了一个config解析器，即xconfig_to_configs。

生成以下文件：
{ final.config; init.config; init.raw; network.config; ref.config;
ref.raw; vars; xconfig; xconfig.expanded.1; xconfig.expanded.2 }

可分为四类：

xconfig：
比原始的config增加了一些定义。expend2是对1的进一步解析。

init：
注意：是只和输入相关的节点，不是初始化后的整个网络。

init.config
只包含两个节点，input node和output node

init.raw
从init.config初始化得到的，

需要init.config的目的是得到输入数据的维度相关的信息，以便于训练后面的LDA，这是一个训练的小技巧。

ref
是reference的简称。顾名思义是个参考的config。
lda矩阵是”假“的（随机初始化的）：还没有对输入数据进行遍历，还没有统计

ref.raw就是从ref.config得到的完整模型，为了给kaldi提供一个参考，供kaldi遍历，能够计算出整个模型的context。

final
var，全程variable，存储模型上下文信息

这个左右context是根据左右context是根据ref.raw计算出来的。

final.config
训练的神经网咯就是由它初始化得到的。
被解析成更小的单元 component node

那component和component node之间是什么关系？
就是面向对象里的 类 component和 对象 component node的关系。

比如下面，

处了刚才例子中的TDNN模型中的relu-batchnorm组件，kaldi还有哪些组件呢？
xconfig_parser支持的组件都在这个文件里： kaldi/egs/steps/libs/nnet3/xconfig/parser.py

这些组件可以分为以下几类：

• Basic layer
  
• Activation & Normalization
  
• Recurrent layer
  
• Convolution layer
  
• Attention layer
  

这些组件按情况组在一起，可以DIY自己的网络。

下面介绍常见的网络模型。

Kaldi中的常见的神经网络

TDNN

一个简单的TDNN

看一下它的final.config

Append：拼接
offset：相对于当前位置的偏移，-3向历史时刻偏移3时刻，+3向未来。

一个稍微复杂的TDNN

除了拼接，实现加的操作sum
直接把tdnn3的0时刻接到tdnn5
scale对某个层的输出放大、缩小

CNN

一个简单的CNN

用了conv-relu-batchnorm的组件
height就是FBank的维数，time-offset就是卷积核kernel的大小
代码里描述的就是一个3 *3 的卷积核

这样的组件解析出的final.config：

大多数参数和之前的一样，多了个height-subsample-out，指高度上的降采样率，因为输入高度height-in和输出高度height-out都是40，所以没有降采样，所以这里等于1。
另一个要注意的，num_filters_out=64，所以后面跟的component要有 block-dim=64，不然初始化模型时候会报错。

注：这里为了方面给大家看，里面有 /的换行符号，实际中kaldi是不允许有的。

LSTM

一个简单的LSTM
就多了个lstm-layer 和 cell，delay=3就是三次循环

先回归一下LSTM的网络结构：
输入xt，,历史信息rt ，输出yt。细胞核Ct

看下final-config：
因为比较复杂，下图删除了DNN的部分

下面看看component和LSTM的公式是怎么联系起来的？

比如，以输入门为例
it 可以从图中看到有三个输入箭头，
Wix和Wir对应上面代码的第一部分（前三行）
Wic对应第二部分（中间三行），向后偏移3个时刻
第三部分就是激活函数

再看个细胞核Ct的计算过程：


ElementwiseProduct就是点乘。

总结以下：

上面学习了如何使用Xconfig提供的组件搭建TDNN等这些网络，从component中看和公式的对应关系。等熟练了这些，就可以自己DIY网络结构。

神经网络训练流程

如何使用定义好的神经网络进行训练？
先看一个标准DNN训练的脚本：
feat-cmvn-opts：是否对参数归一化
训练前后期的jobs数，和学习率lrate，还可以用以前的egs,需不需要删掉，每多少步保存，是否用GPU，需要的文件地址，训练结束后模型存储位置

stage：描述控制训练流程
那标准的训练流程包含哪些步骤呢？
init初始化stage不控制

• egs：表示examples，训练使用的样例。把输入数据和标签换了一种方便读取的格式，整合在一起生成的文件。
• LDA：一般放在神经网络第一层
  计算LDA变换矩阵与pre softmax矩阵就是训练的小技巧，一般数据集小的时候用到，数据量大的时候不用（此时对数据规整起不到太大作用，甚至有反作用）
• stage=50，从50轮开始继续训练

一个重要的步骤egs：
stage=-4
这个目录下会生成四组文件

exp/$dir/egs

• egs相关文件
  egs.{n}.ark：训练数据易于读写的，有利于训练的形式
  {t,v}_diagnostic.egs：计算模型在训练集t上的loss和验证集v上的loss
  combine.egs：训练结束后，用来合并多个模型的egs
• 辅助文件
  tree：输出节点的个数，从而确定egs的标签的上限
  ali_special.scp和{t,v}_uttlist用来辅助生成{t,v}_diagnostic.egs
• info
  总共有多少egs，多少帧等信息

egs内部的具体信息：

参数信息：
左右context，每个egs中有8帧语音，每个大的egs里有383176个egs，特征维度feat_num，num_frames用来训练的羽音帧数，num_archives最后生成的egs个数

egs内部：
每个大的egs里有383176个小的egs，下面看小的egs，是kaldi读取输入输出数据的最小单元。从上面的参数知，这个小的egs里有8帧有效帧，但下图中的input是40，是包含了context的（19+13+8）

整个训练的结果
final.raw只有神经网络的参数
final.mdl是在.raw的基础上增加了些信息

Priors：先验向量
单纯的神经网络只是计算出来后验概率，再结合TransitionModel和priors计算似然分数，才能得到声学模型
final.mdl是声学模型，final.raw只是神经网络模型