leakyRelu()激活函数 ReLU函数在输入大于0时返回输入值,否则返回0。 Leaky ReLU在输入小于0时会返回一个较小的负数,以保持一定的导数,使得信息可以继续向后传播。 Leaky ReLU函数: f(x) = max(ax, x) 其中,a是一个小于1的常数,通常取0.01。当输入x大于0时,输出与输入相同;当输入x小于0时,输出为a乘以输入x的值。