本篇的思维导图:
神经网络可调超参数:激活函数
神经网络中的激活函数(有时也叫激励函数)。
在逻辑回归中,输入的特征通过加权、求和后,还将通过一个Sigmoid逻辑函数将线性回归值压缩至[0,1]区间,以体现分类概率值。这个逻辑函数在神经网络中被称为激活函数(这个名词应该是来自生物的神经系统中神经元被激活的过程)。在神经网络中,不仅最后的分类输出层需要激活函数,而且每一层都需要进行激活,然后向下一层输入被激活之后的值。不过神经网络中间层的输出值,没有必要位于[0,1]区间,因为中间层只负责非线性激活,并不负责输出分类概率和预测结果。
那么,为什么每一层都要进行激活呢?其原因在于,如果没有激活函数,每一层的输出都是上层输入的线性变换结果&