激活函数总结（二十二）：激活函数补充
- 1 引言
- 2 激活函数
- 2.1 Soft Exponential激活函数
- 2.2 ParametricLinear激活函数
- 3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：
2 激活函数
2.1 Soft Exponential激活函数
论文链接：https://arxiv.org/pdf/1602.01321.pdf
Soft Exponential（软指数）激活函数是一种非线性激活函数，其形式允许引入指数函数的非线性特性。这个激活函数通过引入一个可调节的超参数来控制其形状。其数学表达式和数学图像分别如下所示：
f
(
x
)
=
{
−
l
n
(
1
−
α
∗
(
x
+
α
)
)
α
,
if
α
<
0
x
,
if
α
=
0
e
α
∗
x
−
1
α
+
α
,
if
α
>
0
f(x) = \begin{cases} -\frac{ln(1 - α*(x + α))}{α}, & \text{if } \alpha < 0 \\ x, & \text{if } \alpha = 0 \\ \frac{e^{α*x} - 1}{α}+α, & \text{if } \alpha > 0\\ \end{cases}
f(x)=⎩
⎨
⎧−αln(1−α∗(x+α)),x,αeα∗x−1+α,if α<0if α=0if α>0
优点：
- 非线性性质： Soft Exponential 激活函数引入了
指数函数的非线性性质，有助于神经网络捕捉数据中的复杂非线性模式。 - 参数控制： 通过
调整参数 α，可以控制激活函数的形状，使其适应不同的任务需求。 - 平滑性： 激活函数中包含
指数和对数函数，这可以在一些区域内保持相对平滑的性质。 - 灵活性： 由于参数 α 的存在，Soft Exponential 激活函数在
不同的区域内可以具有不同的非线性特性，使其更具灵活性。
缺点：
- 参数设置： 需要仔细调整参数 α 才能获得
最佳性能，这可能需要一些实验和调试。 - 数值稳定性： 由于
指数和对数函数的存在，当输入值较大或较小时，可能会出现数值不稳定性的问题。 - 计算开销： 由于包含了
指数和对数函数，可能在计算上相对于一些简单的激活函数而言具有一定的计算开销。 - 可解释性： 由于包含
指数和对数函数，这个激活函数可能在解释性方面存在挑战，对于非专业人士来说可能不容易理解。
总之，Soft Exponential 激活函数通过引入指数函数的非线性性质，具有一些优点，但也需要考虑其参数设置、数值稳定性和计算开销等方面的问题。
2.2 ParametricLinear激活函数
ParametricLinear激活函数是一种线性激活函数，它引入了可学习的参数 a，以调整输出的斜率。其数学表达式如下所示：
f
(
x
)
=
a
∗
x
f(x)=a*x
f(x)=a∗x
优点：
- 灵活性： 可学习的参数 a 允许您在训练过程中
调整输出的斜率，使其适应不同的任务和数据特性。 - 可解释性： 这是一种
相对简单的激活函数，因此很容易理解其作用。参数 a 的值可以提供有关特征重要性的直观见解。 - 防止梯度消失： 与
传统的线性激活函数相比，可学习的参数 a 可以帮助防止梯度消失问题，使网络更容易训练。
缺点：
- 有限的表达能力： 由于是
线性的，这种激活函数的表达能力有限。它可能无法捕捉更复杂的非线性模式，尤其是在需要更深层次的表示能力时。 - 不适用于所有任务： 对于某些任务和数据，需要
更强的非线性性能。这种激活函数可能在一些复杂的问题中表现不佳。 - 过拟合风险： 引入可学习的参数 a 可能会增加
过拟合的风险，特别是当数据集较小或模型复杂度较高时。
ParametricLinear 激活函数是一种具有可调节斜率的简单激活函数，它仅仅在一些简单任务和具有可解释性要求的场景中可能会有一定的应用。。。。
3. 总结
到此，使用 激活函数总结（二十二） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！
如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。
