ALBert

ALBERT就是为了解决模型参数量大以及训练时间过长的问题。ALBERT最小的参数只有十几M, 效果要比BERT低1-2个点，最大的xxlarge也就200多M。可以看到在模型参数量上减少的还是非常明显的，但是在速度上似乎没有那么明显。最大的问题就是这种方式其实并没有减少计算量，也就是受推理时间并没有减少，训练时间的减少也有待商榷。

整个模型的结构还是依照了BERT的骨架，采用了Transformer以及GELU激活函数。
具体的创新部分应该有三个：

一个是将embedding的参数进行了因式分解，
然后就是跨层的参数共享，
最后是抛弃了原来的NSP任务，现在使用SOP任务。

这三个更新前两个的主要任务就是来进行参数减少的，第三个更新这已经算不上什么更新了，之前已经有很多工作发现原来BERT中的下一句话预测这个任务并没有什么积极地影响。根据文章的实验结果来看似乎参数共享对参数降低的影响比较大，同时也会影响模型的整体效果。后面就来详细的说一下这三个改动。

Factorized embedding parameterization

原始的BERT模型以及各种依据transformer来搞的预训练语言模型在输入的地方我们会发现它的E是等于H的，其中E就是embedding size，H就是hidden size，也就是transformer的输入输出维度。

这就会导致一个问题，当我们的hidden size提升的时候，embedding size也需要提升，这就会导致我们的embedding matrix维度的提升。
所以这里作者将E和H进行了解绑，具体的操作其实就是在embedding后面加入一个矩阵进行维度变换。E是永远不变的，后面H提高了后，我们在E的后面进行一个升维操作，让E达到H的维度。这使得embedding参数的维度从 $O (V \times H)$ 到了 $O (V \times E + E \times H)$ , 当E远远小于H的时候更加明显。

Cross-layer parameter sharing

之前transformer的每一层参数都是独立的，包括self-attention 和全连接，这样的话当层数增加的时候，参数就会很明显的上升。
之前有工作试过单独的将self-attention或者全连接进行共享，都取得了一些效果。

这里作者尝试将所有的参数进行共享，这其实就导致多层的attention其实就是一层attention的叠加。同时作者通过实验还发现了，使用参数共享可以有效地提升模型的稳定程度。实验结果如下图：

Inter-sentence coherence loss

这里作者使用了一个新的loss，其实就是更改了原来BERT的一个子任务NSP, 原来NSP就是来预测下一个句子的，也就是一个句子是不是另一个句子的下一个句子。

这个任务的问题出在训练数据上面，正例就是用的一个文档里面连续的两句话，但是负例使用的是不同文档里面的两句话。这就导致这个任务包含了主题预测在里面，而主题预测又要比两句话连续性的预测简单太多。
新的方法使用了sentence-order prediction(SOP), 正例的构建和NSP是一样的，不过负例则是将两句话反过来。实验的结果也证明这种方式要比之前好很多。但是这个这里应该不是首创了，百度的ERNIE貌似也采用了一个这种的。

Embedding的size影响：
在这里插入图片描述
对于参数不共享的版本，随着E的增加，效果是不断提升的。