在Softmax回归的风险函数(公式(3.39))中如果加上正则化项会有什么影响?
(1)
在 Softmax 回归的风险函数中加入正则化项会对模型的训练产生影响。正则化项的作用是对模型的复杂度进行惩罚,防止过拟合的发生。
(2)
原书公式为:
在加入正则化后损失函数为:
求梯度得:
W更新:
加入正则化后,在更新参数时每次需要减去,使得参数不会太大,防止数值溢出。