一、决定下一步做什么
在你得到你的学习参数以后，如果你要将你的假设函数放到一组新的房屋样本上进行测试，假如说你在预测房价时产生了巨大的误差，你想改进这个算法，接下来应该怎么办？实际上你可以考虑先采用下面的几种方法：
获得更多的训练实例
尝试减少特征的数量
尝试获得更多的特征
尝试增加多项式特征
尝试减少正则化程度
尝试增加正则化程度
我们不应该随机选择上面的某种方法来改进我们的算法，而是运用一些机器学习诊断法来帮助我们知道上面哪些方法对我们的算法是有效的。“诊断法”的意思是这是一种测试法，你通过执行这种测试，能够深入了解某种算法到底是否有用，这通常也能够告诉你，要想改进一种算法的效果，什么样的尝试才是有意义的
二、评估一个假设
在本节内容中我想介绍一下怎样用你学过的算法来评估假设函数，在之后的内容中，我将以此为基础来讨论如何避免过拟合和欠拟合的问题
当我们确定学习算法的参数的时候，我们考虑的是选择参数来使训练误差最小化，有人认为得到一个非常小的训练误差一定是一件好事，但我们已经知道，仅仅是因为这个假设具有很小的训练误差，并不能说明它就一定是一个好的假设函数，而且我们也学习了过拟合假设函数的例子，所以这推广到新的训练集上是不适用的。
那么，你该如何判断一个假设函数是过拟合的呢？对于某个简单的例子，我们可以对假设函数h(x)进行画图，然后观察图形趋势，但对于特征变量不止一个的一般情况，想要通过画出假设函数来进行观察，就会变得很难甚至是不可能实现，因此，我们需要另一种方法来评估我们的假设函数。为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用70%的数据作为训练集，用剩下30%的数据作为测试集，很重要的一点是训练集和测试集均要含有各种类型的数据，通常我们要对数据进行“洗牌”，然后再分成训练集和测试集。
测试集评估在通过训练集让我们的模型学习得出其参数后，对测试集运用该模型，我们有两种方式计算误差：
对于线性回归模型，我们利用测试集数据计算代价函数J
对于逻辑回归模型，我们除了可以利用测试数据集来计算代价函数外：
还可以对于每一个测试集实例计算误分类的比例：
然后对计算结果求平均
三、模型选择和交叉验证集
假设我们要在10个不同次数的二项式模型之间进行选择：
显然次数越高的多项式模型越能够适应我们的训练数据集，但是适应训练数据集并不代表着能推广至一般情况，我们应该选择一个更能适应一般情况的模型，因此我们需要使用交叉验证集来帮助选择模型，即：使用60%的数据作为训练集，使用 20%的数据作为交叉验证集，使用20%的数据作为测试集
模型选择的方法为：
使用训练集训练出10个模型
用10个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）
选取代价函数值最小的模型
用步骤3中选出的模型对测试集计算得出推广误差（代价函数的值）
四、诊断偏差和方差
推荐一篇写得很好的关于偏差和方差的文章：机器学习 -偏差与方差 - 知乎
当你运行一个学习算法时，如果这个算法的表现不理想，那么多半是出现两种情况：要么是偏差比较大，要么是方差比较大。换句话说，出现的情况要么是欠拟合，要么是过拟合问题。那么这两种情况，哪个和偏差有关，哪个和方差有关，或者是不是和两个都有关？搞清楚这一点非常重要，因为能判断出现的情况是这两种情况中的哪一种其实是一个很有效的指示器，指引着可以改进算法的最有效的方法。
Bias（偏差）：用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异
Variance（方差）：是不同的训练数据集训练出的模型输出值之间的差异
我们通常会通过将训练集和交叉验证集的代价函数误差与多项式的次数绘制在同一张图表上来帮助分析：（d：多项式的最高次数）
对于训练集，当 d 较小时，模型拟合程度更低，误差较大；随着 d 的增长，拟合程度提高，误差减小；对于交叉验证集，当 d 较小时，模型拟合程度低，误差较大；但是随着 d 的增长，误差呈现先减小后增大的趋势，转折点是我们的模型开始过拟合训练数据集的时候
根据上面的图表，我们知道:
训练集误差和交叉验证集误差近似时：高偏差/欠拟合
交叉验证集误差远大于训练集误差时：高方差/过拟合
五、正则化和偏差/方差
在我们训练模型的过程中，一般会使用一些正则化方法来防止过拟合，但是我们可能会正则化的程度太高或太小了，即我们在选择λ的值时也需要思考与刚才选择多项式模型次数类似的问题
我们选择一系列的想要测试的值，通常是 0-10之间的呈现2倍关系的值，如：0,0.01,0.02,0.04,0.08,0.15,0.32,0.64,1.28,2.56,5.12,10共12个），我们同样把数据分为训练集、交叉验证集和测试集
选择
的方法为：
使用训练集训练出12个不同程度正则化的模型
用12个模型分别对交叉验证集计算的出交叉验证误差
选择得出交叉验证误差最小的模型
运用步骤3中选出模型对测试集计算得出推广误差，我们也可以同时将训练集和交叉验证集模型的代价函数误差与λ的值绘制在一张图表上：
• 当
较小时，训练集误差较小而交叉验证集误差较大
• 随着
六、学习曲线
学习曲线就是一种来判断某一个学习算法是否处于偏差、方差问题的很好的工具，学习曲线是将训练集误差和交叉验证集误差作为训练集实例数量（m）的函数绘制的图表。如果我们有100行数据，我们从1行数据开始，逐渐学习更多行的数据。思想是：当训练较少行数据的时候，训练的模型将能够非常完美地适应较少的训练数据，但是训练出来的模型却不能很好地适应交叉验证集数据或测试集数据
如何利用学习曲线识别高偏差/欠拟合：作为例子，我们尝试用一条直线来适应下面的数据，可以看出，无论训练集有多么大误差都不会有太大改观，也就是说在高偏差/欠拟合的情况下，增加数据到训练集不一定能有帮助
如何利用学习曲线识别高方差/过拟合：假设我们使用一个非常高次的多项式模型，并且正则化非常小，可以看出，当交叉验证集误差远大于训练集误差时，往训练集增加更多数据可以提高模型的效果，也就是说在高方差/过拟合的情况下，增加更多数据到训练集可能可以提高算法效果
七、回答开头的问题
我们已经介绍了怎样评价一个学习算法，我们讨论了模型选择问题、偏差和方差的问题。那么这些诊断法怎样帮助我们判断，哪些方法可能有助于改进学习算法的效果，而哪些可能是徒劳的呢？让我们再次回到最开始的例子在那里寻找答案，回顾开头提出的六种可选的下一步，让我们来看一看我们在不同的情况下应该怎样选择：
