---

前言

本文是【Datawhale X 李宏毅苹果书 AI夏令营】的Task3学习笔记打卡。

学习目标

李宏毅老师对应视频课程：https://www.bilibili.com/video/BV1JA411c7VT?p=4
《深度学习详解》第二章主要介绍了训练模型时的优化方法。

---

一、优化策略

完成的作业如果在 Kaggle 上的结果不太好，虽然 Kaggle 上呈现的是测试数据的结果，但要先检查训练数据的损失。
看看模型在训练数据上面，有没有学起来，再去看测试的结果。

Kaggle 是一个全球知名的数据科学和机器学习竞赛平台，同时也是一个数据科学社区。它提供了各种与数据科学相关的资源，包括竞赛、数据集、代码共享、讨论论坛和学习资源。

二、模型偏差

模型偏差可能会影响模型训练，所以如果模型的灵活性不够大，可以增加更多特征，可以设一个更大的模型，可以用深度学习来增加模型的灵活性，这是第一个可以的解法。

三、优化问题

但是并不是训练的时候，损失大就代表一定是模型偏差，可能会遇到另外一个问题：优化做得不好。

一个建议判断模型偏差或者优化问题的方法，通过比较不同的模型来判断模型现在到底够不够大。

并不是所有的结果不好，都叫做过拟合。
在训练集上，20 层的网络损失其实是比较低的，56 层的网络损失是比较高的，如图 2.4(b) 所示，这代表 56 层的网络的优化没有做好，它的优化不给力。

这边给大家的建议是看到一个从来没有做过的问题，可以先跑一些比较小的、比较浅的网络，或甚至用一些非深度学习的方法，比如线性模型、支持向量机（Support Vector Machine，SVM），SVM 可能是比较容易做优化的，它们比较不会有优化失败的问题。

三、过拟合

为什么会有过拟合这样的情况呢？

如果模型它的自由度很大的话，它可以产生非常奇怪的曲线，导致训练集上的结果好，但是测试集上的损失很大。

怎么解决过拟合的问题呢，有两个可能的方向：

增加训练集

可以做数据增强（data augmentation，），这个方法并不算是使用了额外的数据。

给模型一些限制

全连接网络（fully-connected network）其实是一个比较有灵活性的架构，而卷积神经网络（Convolutional Neural Network，CNN）是一个比较有限制的架构。

• 给模型比较少的参数。如果是深度学习的话，就给它比较少的神经元的数量。

• 或者用比较少的特征，本来给 3 天的数据，改成用给两天的数据，其实结果就好了一些。

• 还有别的方法，比如早停（early stopping）、正则化（regularization）和丢弃法（dropoutmethod）。

随着模型越来越复杂，训练损失可以越来越低，但测试时，当模型越来越复杂的时候，刚开始，测试损失会跟著下降，但是当复杂的程度，超过某一个程度以后，测试损失就会突然暴增了。

可以选一个中庸的模型，不是太复杂的，也不是太简单的，刚刚好可以在训练集上损失最低，测试损失最低。

四、交叉验证

比较合理选择模型的方法是把训练的数据分成两半，一部分称为训练集（training set），一部分是验证集（validation set）。

其实最好的做法，就是用验证损失，最小的直接挑就好了，不要管公开测试集的结果。在实现上，不太可能这么做，因为公开数据集的结果对模型的选择，可能还是会有些影响的。
理想上就用验证集挑就好，有过比较好的基线（baseline）算法以后，就不要再去动它了，就可以避免在测试集上面过拟合。

五、不匹配

真实曲线与预测曲线之间出现反常情况，这种错误的形式称为不匹配。

不匹配跟过拟合其实不同，一般的过拟合可以用搜集更多的数据来克服，但是不匹配是指训练集跟测试集的分布不同，训练集再增加其实也没有帮助了。

---

总结

《深度学习详解》的前两章到此就顺利看完了，本质上是对李宏毅老师《机器学习》课程的一个口语化文字记录，非常通俗易懂，后面还有更加有意思的内容。