x.1 导数，计算图，大型网络

计算图就是根据链式法则求取偏导，大型网络就是多层网络堆叠而成。

x.2 Diagnostic

在我们对深度学习有了一些认知后，最重要的就是模型的诊断，以带有L1正则化的线性回归为例，我们需要预测房屋的价格，此时若我们在预测时候得到了一个较大的error，我们可能会从以下几个问题着手，是否需要一个更大的训练样本？是否需要更少特征？是否需要额外特征？特征工程？减少或者增加L1惩罚项？

相较于这些而言，我们更应该判断我们得到的error是否合理，即对模型应该有一个全方位的评估。为了对模型有一个全方位的评估，我们将数据集分为(training set)训练集，(validation set)验证集和(test set)测试集，

我们使用训练集来判断模型的拟合程度，用验证集来判断模型的泛化性能，用测试集来做最后总的评估。我们这里仍然使用MSE来做损失函数，

根据loss我们来选取我们需要的模型的参数，