小白学视觉 | 神经网络训练trick总结

本文来源公众号“小白学视觉”，仅用于学术分享，侵权删，干货满满。

原文链接：神经网络训练trick总结

来自 | 知乎作者 | Anticoder

链接 | https://zhuanlan.zhihu.com/p/59918821

本文仅作学术交流，如有侵权，请联系删除

神经网络构建好，训练不出好的效果怎么办？明明说好的拟合任意函数(一般连续) ，说好的足够多的数据(Occam's razor)，仔细设计的神经网络都可以得到比其他算法更好的准确率和泛化性呢(当然不是我说的)，怎么感觉不出来呢？

很直观，因为神经网络可以随意设计，先验假设较少，参数多，超参数更多，那模型的自由度就非常高了，精心设计对于新手就变得较难了。这里讲一些最简单的trick，肯定不全面，欢迎大家留言补充。因为我也是新手！

下面介绍一些值得注意的部分，有些简单解释原理，具体细节不能面面俱到，请参考专业文章。

那我们直接从拿到一个问题决定用神经网络说起。一般而言，

首先选定你要采用的结构，如一对一，固定窗口，数据维度粒度，MLP，RNN或者CNN等
非线性选择，sigmoid，tanh，ReLU，或者一些变体，一般tanh比sigmoid效果好一点(简单说明下，两者很类似，tanh是rescaled的sigmoid，sigmoid输出都为正数，根据BP规则，某层的神经元的权重的梯度的符号和后层误差的一样，也就是说，如果后一层的误差为正，则这一层的权重全部都要降低，如果为负，则这一层梯度全部为负，权重全部增加，权重要么都增加，要么都减少，这明显是有问题的；tanh是以0为对称中心的，这会消除在权重更新时的系统偏差导致的偏向性。当然这是启发式的，并不是说tanh一定比sigmoid的好)，ReLU也是很好的选择，最大的好处是，当tanh和sigmoid饱和时都会有梯度消失的问题，ReLU就不会有这个问题，而且计算简单，当然它会产生dead neurons，下面会具体说。
Gradient Check，如果你觉得网络feedforward没什么问题，那么GC可以保证BP的过程没什么bug。值得提的是，如果feedforward有问题，但是得到的误差是差不多的，GC也会感觉是对的。大多情况GC可帮你找到很多问题！步骤如下：

那如果GC失败，可能网络某些部分有问题，也有可能整个网络都有问题了！你也不知道哪出错了，那怎么办呢？构建一个可视化过程监控每一个环节，这可以让你清楚知道你的网络的每一地方是否有问题！！这里还有一个trick，先构建一个简单的任务(比如你做MNIST数字识别，你可以先识别0和1，如果成功可以再加入更多识别数字)；然后从简单到复杂逐步来检测你的model，看哪里有问题。举个例子吧，先用固定的data通过单层softmax看feedforward效果，然后BP效果，然后增加单层单个neuron unit看效果；增加一层多个；增加bias。。。。。直到构建出最终的样子，系统化的检测每一步！

参数初始化也是重要滴！其主要考虑点在于你的激活函数的取值范围和梯度较大的范围！
隐层的bias一般初始化为0就可以；输出层的bias可以考虑用reverse activation of mean targets或者mean targets(很直观对不对) weights初始化一般较小的随机数，比如Uniform，Gaussion

更放心一点，可视化每一层feedforward输出的取值范围，梯度范围，通过修改使其落入激活函数的中间区域范围（梯度类似线性）；如果是ReLU则保证不要输出大多为负数就好，可以给bias一点正直的噪声等。当然还有一点就是不能让神经元输出一样，原因很简单

优化算法，一般用mini-batch SGD，绝对不要用full batch gradient(慢)。一般情况下，大数据集用2nd order batch method比如L-BFGS较好，但是会有大量额外计算2nd过程；小数据集，L-BFGS或共轭梯度较好。(Large-batch L-BFGS extends the reach of L-BFGSLe et al. ICML 2001)

mini-batch好处主要有：可以用矩阵计算加速并行；引入的随机性可以避免困在局部最优值；并行化计算多个梯度等。在此基础上一些改进也是很有效的(因为SGD真的敏感)，比如Momentum，他的意图就是在原先的跟新基础上增加一点摩擦力，有点向加速度对速度的作用，如果多次更新梯度都往一个方向，说明这个方向是对的，这时候增加跟新的步长，突然有一个方向，只会较少影响原来的方向，因为可以较少的数据带来的误差。当你使用momentum时可以适当减小global learning rate

momentum

学习率，跑过神经网络的都知道这个影响还蛮大。一般就是要么选用固定的lr，要么随着训练让lr逐步变小

方案一：当验证误差不再下降时，lr减小为原来的0.5

方案二：采用理论上可以保证收敛的减小比例，O(1/t)，t是迭代次数

方案三：最好用自适应的学习率，比如Adagrad(Duchi et al. 2010)等

简要说明一下，Adagrad非常适合数据出现频度不一样的模型，比如word2vec，你肯定希望出现非常少的词语权重更新非常大，让它们远离常规词，学习到向量空间中距离度量的意义，出现非常多的词(the，very，often)每次更新比较小。

adagrad

按照上面式子，如果进入一个local optimum，参数可能无法更新时，可以考虑每隔一段epoch，reset sum项

看看你的模型有没有能力过拟合！(training error vs. validation error)

如果没有，想办法让它过拟合！(r u kidding?! 哈哈)，一般而言，当参数多于training数据时，模型是有能力记住数据的，总归先保证模型的能力么

如果过拟合了，那么就可以进一步优化啦，一般深度学习breakthrough的方法都是来自于更好的regularization method，解决过拟合很多方法在此就不多论述了。比如减小模型(layers, units)；L1，L2正则(weight decay)；early stop(按照数据集大小,每隔一段epoch(比如小数据集每隔5epoch，大的每隔(1/3epoch)）保存模型，最后选择validation error 最小的模型)；sparsity constraints on hidden activation；Dropout；data

augumentation (CNN 一些变化不变性要注意)等

------

大体流程如上，再引一篇大神之作

Practical Recommendations for Gradient-Based Training of Deep Architectures Y. Bengio(2012)

https://link.springer.com/chapter/10.1007/978-3-642-35289-8_26

额外提到的有unsupervised预训练。其实数据不够时也可以找类似任务做迁移学习，fine-tuning等。

最后，可以看到一个网络那么多的超参数，怎么去选这些超参数呢？文章也说了：Random hyperparameter search!

以上提的多是supervised learning，对于unsupervised learning可以做fine tuning

接下来按一些模块具体列举下，欢迎补充！！

1 标准化(Normalization)

很多machine learning模型都需要，在此不多论述，神经网络假设inputs/outputs服从近似均值为0方差为1分布。主要为了公平对待每个特征；使优化过程变得平稳；消除量纲影响等

z-score; min-max; decimal scaling等

scale控制特征的重要性：大scale的output特征产生更大的error；大的scale的input的特征可以主导网络对此特征更敏感，产生大的update
一些特征本来取值范围很小需要格外注意，避免产生NaNs
就算没有标准化你的网络可以训练的话，那可能前几层也是做类似的事情，无形增加了网络的复杂程度
通常都是把所有inputs的特征独立地按同样的规则标准化，如果对任务有特殊需求，某些特征可以特别对待

2 检查结果(Results Check)

有点类似于在模型中按一个监控系统（预处理，训练，预测过程中都要），这个步骤可以帮助你发现你的模型在哪里出了问题，最好可以找到可视化的方法，一目了然，比如图像方面就很直观了。

需要注意的是，你需要理解你设定的error的意义，就算训练过程error在不断减少，也需要来和真实的error比较，虽然training error减少了，但是可能还不够，真实世界中需要更小的error，说明模型学习的还不够
当在training过程中work后，再去看在validation集上的效果
再更新网络结构前，最好确保每一个环节都有“监控”，不要盲目做无用功

3 预处理(Pre-Processing Data)

现实中同样的数据可以有不同的表达方式，比如移动的汽车，你从不同角度位置去观察，它做的都是同样的事情。你应该确保从南面观察和从西面观察的同样的数据，应该是相似的！

神经网络假设数据的分布空间是连续的
减少数据表示多样性带来的误差；间接减少了网络前几层做没必要的“等同”映射带来的复杂度

4 正则化(Regularization)

增加Dropout，随机过程，噪声，data augumentation等。就算数据足够多，你认为不可能over-fitting，那么最好还是有正则，如dropout(0.99)

一方面缓解过拟合，另一方面引入的随机性，可以平缓训练过程，加速训练过程，处理outliers
Dropout可以看做ensemble，特征采样，相当于bagging很多子网络；训练过程中动态扩展拥有类似variation的输入数据集。（在单层网络中，类似折中Naiive bayes(所有特征权重独立)和logistic regression(所有特征之间有关系)；
一般对于越复杂的大规模网络，Dropout效果越好，是一个强regularizer！
最好的防止over-fitting就是有大量不重复数据