可视化lossfunction
- loss funciton
- 可视化损失函数
- 等高图
loss funciton
上一节讲过损失函数,也就是代价函数,它是衡量模型训练好坏的指标,对于线性回归来说,模型、参数、损失函数以及目标如下:、
损失函数的目标当然是越小越好,因为模型最好就是期望等于真实值。
可视化损失函数
可视化函数的原因,是希望能够通过直观的看损失函数,同时更快的找到能够最小化损失函数的w和b,上一节为了简化,b始终为0做了损失函数的可视化:
实际损失函数J是关于参数是w 和b的函数, 损失函数是建立在三维空间中的,所以损失函数图如下:
其中这个类似碗形形状的底部,就是损失函数的最小值。
等高图
用3d的图来展示依然不是很值观,采用了等高图来表示更加直观:
可以想象一下就是三维空间映射到了二维空间,其中同一条等高线上的点具有相同的高度,也就是具备相同的损失值,如图上图中标注的三个点,虽然w和b各不相同,但是他们的损失是相同的。
另外注意的是,虽然经过了映射,但是性质不会变,靠近碗底的那个损失依然是最小的,如下所示,右侧中心的蓝点就是对应的最小值,左侧根据这个具体的w和b 画出了这条模型图,这些点与直线的距离就是误差:
分别给最小值周围的w和b,计算损失值,就可以找到合适的w和b,最小化这个损失,但显然这个方法太具有随机性。下一节我们会学习梯度下降这个算法,来实现最小化损失。