激活函数总结(四十一):激活函数补充
- 1 引言
- 2 激活函数
- 2.1 ShiLU激活函数
- 2.2 ReLUN激活函数
- 3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid
、Tanh
、ReLU
、Leaky ReLU
、PReLU
、Swish
、ELU
、SELU
、GELU
、Softmax
、Softplus
、Mish
、Maxout
、HardSigmoid
、HardTanh
、Hardswish
、HardShrink
、SoftShrink
、TanhShrink
、RReLU
、CELU
、ReLU6
、GLU
、SwiGLU
、GTU
、Bilinear
、ReGLU
、GEGLU
、Softmin
、Softmax2d
、Logsoftmax
、Identity
、LogSigmoid
、Bent Identity
、Absolute
、Bipolar
、Bipolar Sigmoid
、Sinusoid
、Cosine
、Arcsinh
、Arccosh
、Arctanh
、LeCun Tanh
、TanhExp
、Gaussian
、GCU
、ASU
、SQU
、NCU
、DSU
、SSU
、SReLU
、BReLU
、PELU
、Phish
、RBF
、SQ-RBF
、ISRU
、ISRLU
、SQNL
、PLU
、APL
、Inverse Cubic
、Soft Exponential
、ParametricLinear
、Piecewise Linear Unit
、CLL
、SquaredReLU
、ModReLU
、CosReLU
、SinReLU
、Probit
、Smish
、Multiquadratic
、InvMultiquadratic
、PSmish
、ESwish
、CoLU
、ShiftedSoftPlus
、Logit
、Softsign
、ELiSH
、Hard ELiSH
、Serf
、FReLU
、QReLU
、m-QReLU
、FReLU
、CReLU
、KAF
、Siren
、ARiA
、m-arcsinh
、PAU
、DELU
、PDELU
、CosLU
、NFN
、Hermite
、AHAF
、SERLU
)。在这篇文章中,会接着上文提到的众多激活函数继续进行介绍,给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图:
2 激活函数
2.1 ShiLU激活函数
论文链接:Trainable Activations for Image Classification
Shifted Rectified Linear Unit (ShiLU) 是对具有可训练参数
的ReLU
激活函数的修改。其数学表达式和数学图像分别如下所示:
S
h
i
L
U
(
x
)
=
α
R
e
L
U
(
x
)
+
β
ShiLU(x) = \alpha ReLU(x) + \beta
ShiLU(x)=αReLU(x)+β
优点:
- 可训练参数:参数 α \alpha α 和 β \beta β 都是可训练参数,可以适应更复杂的模型和数据
缺点:
- 未摆脱ReLU的缺点:虽然说 ShiLU 是 ReLU的
改进
,但是 ShiLU 仍未解决
其缺点 - 难以训练:
参数更多
导致模型更加难以训练
到满意的程度
该算法只是在预印文章
中提出,其有效性
和合理性
还有待验证。。。另外,根据该算法的结构可以确定与最新算法
相比,其并不能
具有一个好效果。。。
2.2 ReLUN激活函数
论文链接:Trainable Activations for Image Classification
Rectified Linear Unit N (ReLUN) 是对具有可训练参数 n
的 ReLU6
激活函数的修改。其数学表达式和数学图像分别如下所示:
R e L U N ( x ) = m i n ( m a x ( 0 , x ) , n ) ReLUN(x) = min(max(0, x), n) ReLUN(x)=min(max(0,x),n)
优点:
- 可训练参数:增加了
可训练参数
,可以适应更复杂
的任务。
缺点:
- 难以训练:
增加
了训练的参数,使模型更难以训练
。
该算法只是在预印文章
中提出,其有效性
和合理性
还有待验证。。。另外,虽然该激活函数增加了一个可训练参数,但是从ReLU的特点来说:增加该参数并不能起到很好的效果
,反而有点画蛇添足
的作用,破坏了ReLU简单
、快速
的特点。。。
3. 总结
到此,使用 激活函数总结(四十一) 已经介绍完毕了!!! 如果有什么疑问欢迎在评论区提出,对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数
也可以在评论区提出,后续会对其进行添加!!!!
如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦😄。