激活函数总结（十九）：激活函数补充
- 1 引言
- 2 激活函数
- 2.1 Inverse Square Root Unit （ISRU）激活函数
- 2.2 Inverse Square Root Linear Unit (ISRLU)激活函数
- 3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：
2 激活函数
2.1 Inverse Square Root Unit （ISRU）激活函数
Inverse Square Root Unit（ISRU）是一种非线性激活函数，它在神经网络中用于引入非线性变换。其数学表达式和数学图像分别如下所示：
I
S
R
U
(
x
)
=
x
1
+
a
x
2
ISRU(x) = \frac{x}{\sqrt{1+ax^2}}
ISRU(x)=1+ax2x
优点：
- 非线性性质： ISRU 激活函数引入了
非线性性质，有助于神经网络模型捕捉数据中的复杂模式。 - 平滑性： ISRU 在输入值的范围内具有
连续和平滑的性质，这对于梯度计算和反向传播有益。 - 参数调整： 通过
调整参数 α，您可以自由地控制激活函数的形状，使其适应不同的数据分布和任务需求。 - 避免梯度消失： 相对于一些激活函数，如 Sigmoid 和 Tanh，ISRU 在输入
较大的范围内可以避免梯度消失问题。
缺点：
- 计算复杂性： ISRU 涉及
平方根的计算，这可能在计算上相对于一些简单的激活函数（如 ReLU）而言较为复杂。 - 参数调整： 调整参数 α 需要更多的
实验和调优，以找到最佳参数设置。 - 可解释性： ISRU 不是一个广泛使用的激活函数，因此可能需要更多的背景知识来
解释其作用和效果。
该激活函数在当前环境下很少使用。。。。
2.2 Inverse Square Root Linear Unit (ISRLU)激活函数
Inverse Square Root Linear Unit（ISRLU）是一种非线性激活函数，它是 Rectified Linear Unit（ReLU）的一种扩展。ISRLU 激活函数引入了一个可学习的参数，使得在输入为负时，激活函数的输出与输入之间存在非线性关系。其数学表达式和数学图像分别如下所示：
I
S
R
L
U
(
x
)
=
{
x
1
+
a
x
2
,
if
x
<
0
x
,
if
x
≥
0
ISRLU(x) = \begin{cases} \frac{x}{\sqrt{1+ax^2}}, & \text{if } x < 0 \\ x, & \text{if } x \geq 0 \\ \end{cases}
ISRLU(x)={1+ax2x,x,if x<0if x≥0
优点：
- 非线性性质： ISRLU 激活函数在输入为
负时引入了非线性性质，有助于神经网络模型更好地捕捉数据中的复杂模式。 - 平滑性： ISRLU 在输入为负时是
平滑的，这对于梯度计算和反向传播有益。 - 自适应性： 参数 (
α
\alpha
α) 可以通过训练
适应不同的数据分布，使 ISRLU 的负半部分适应数据的特性。 - 避免梯度消失： 相对于一些激活函数，如 Sigmoid 和 Tanh，ISRLU 在输入
较大的范围内可以避免梯度消失问题。
缺点：
- 计算复杂性： ISRLU 涉及
平方根的计算，这可能在计算上相对于一些简单的激活函数（如 ReLU）而言较为复杂。 - 参数调整： 调整参数 (
α
\alpha
α) 需要更多的
实验和调优，以找到最佳参数设置。 - 可解释性： ISRLU 不是一个
广泛使用的激活函数，因此可能需要更多的背景知识来解释其作用和效果。
该激活函数在当前环境下很少使用。。。。但是从其性质上可以感觉到是一个不错的激活函数，可能会在某些应用中得到应用。。。。
3. 总结
到此，使用 激活函数总结（十九） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！
如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。
