小小考一下大家前两节的内容(坏笑)
我们如何评判一个机器学习模型的性能呢? 通常是判断它的泛化能力(对于未知数据的处理能力)
那么对于泛化能力是否有一个标准,比如在未知的1万个数据中,泛化能力 模型一90% > 模型二80% , 我们能说模型一就比模型二好吗? 根据NFL原则(没有绝对最好的),我们可以知道,刚刚那句话是不对的,比如对A来说,他需要前100个好就行,其他不重要,但B需要前10000个好,我们需要对他们进行定制不同的模型。
进入正题,我们手中没有没见过的数据(unseen instance),所以我们只能用已知的数据来调试模型参数,训练模型模型并模拟未知的数据来测试模型性能。
调试模型就是用验证集来调试参数 (这个在这篇文章的后面讲)。
训练模型就是用训练集。
测试模型就是用测试集。
这个时候就会出现两个事情:过拟合和欠拟合。
过拟合:模型对于训练数据的特征进行过度解析,导致出现不符合该问题一般特征的判断。
欠拟合:模型对于训练数据的特征解析不够,导致没有全面了解该问题一般特征,无法做出正确判断。
下图可以很好地表现
上面是直观表示,两条线,一个是真实训练效果,这个是我们训练出来出来对于未来数据的效果,实际上是先欠拟合,之后越来越好,再之后过拟合。表面训练效果就是对于训练集表现出来的表面效果,是看起来越来越好的,但是实际后面已经出现过拟合了。
之后我们需要探讨一下模型选择方面的事,有三个问题
评估方法--如何获得评测结果,获得什么样的评测结果
性能度量--如何评估性能优劣,怎么判断需要什么性能
比较检验--如何判断实质差别,用什么标准比较模型的差别
OK,这节就这样