欠拟合

训练误差和验证误差都有，还可能比较严重，但它们之间仅有差距不大。这个时候模型不能降低训练的误差，有可能是我们设计的模型简单了，表达能力不足，捕获试图学习的模式比较难。由于我们的训练和验证误差之间的泛化误差很小，这个时候我们认为可以用一个更复杂的模型降低训练误差，那这个时候模型就被称为欠拟合，英文：underfitting

过拟合

发现模式 pattern 是机器学习智能专家的目标，我们需要做的是：确定模型是真正发现了一种泛化的模式，并不是简单记数据，如果只是简单记住了数据，虽然在一定程度上，部分预测能够到达要求，但是泛化太差，而且，有一个比较明显的现象：训练误差明显低于验证误差，那么这个时候，我们称之为过拟合

如何防止

在训练参数化机器学习模型时，权重衰减（weight decay）是最广泛使用的正则化的技术之一，它通常也被称为正则化。

正则化这项技术通过函数与零的距离来衡量函数的复杂度，因为在所有函数中，函数（所有输入都得到值）在某种意义上是最简单的。我们应该如何精确地测量一个函数和零之间的距离呢？没有一个正确的答案。这就和人脑一样，虽然大部分时间是正常的，一遇到非正常情况，真不一定能反应过来。这个时候，我们经常说要放空自己，也就是学习的东西未必是智慧，可能只是知识，这时候，方法出来了，叫做放弃特征 dropout。

除了放弃特征，还有一个方案，就是增大数据集，训练数据集中的样本越少，我们就越有可能（且更严重地）过拟合。随着训练数据量的增加，泛化误差通常会减小
而函数分析和巴拿赫空间理论的研究，致力于回答这种问题。