1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：
在这里插入图片描述

最后，对于文章中没有提及到的激活函数，大家可以通过评论指出，作者会在后续的文章中进行添加补充。

2 激活函数

2.1 Gaussian 激活函数

Gaussian 激活函数通常指的是基于高斯函数（正态分布函数）的激活函数。这个激活函数使用高斯分布的形状，当输入 $x$ 趋近于0时，激活值逐渐趋近于1，而在 $x$ 远离0时，激活值迅速趋近于0。这种形状可以在一定程度上提供类似于 Sigmoid 或 Tanh 的非线性映射，但相对平滑。其数学表达式为和数学图像分别如下所示：
$f(x)=e^{−x^2}$ 在这里插入图片描述
优点：

平滑度：高斯激活函数是连续且平滑的，这意味着它在任何地方都是可微的，并且具有良好的梯度。此属性使优化算法可以轻松收敛到最佳解。
非线性：高斯激活函数将非线性引入网络，使其能够对输入和输出之间的复杂关系进行建模。

缺点：

复杂性：高斯激活函数会增加网络的复杂性，并且可能需要更多的计算资源来训练。
过拟合：如果网络变得过于复杂，它可能会开始过度拟合训练数据，这意味着它记住训练数据而不是学习一般模式。
局部最小值：高斯激活函数也可能倾向于卡在局部最小值中，这会使优化更加困难，并可能导致次优解。

当前状况很少使用，但是也在一些顶刊中出现过。。。。

2.2 Growing Cosine Unit (GCU)激活函数

论文链接：Noel, Mathew Mithra, Advait Trivedi, and Praneet Dutta. “Growing cosine unit: A novel oscillatory activation function that can speedup training and reduce parameters in convolutional neural networks.” arXiv preprint arXiv:2108.12943 (2021).

Growing Cosine Unit (GCU) 激活函数是近年来提出的一种新型激活函数，其设计灵感来自余弦函数，旨在缓解神经网络训练过程中的一些问题。GCU是一种振荡型非单调激活函数，它打破了激活函数领域的传统，使激活函数领域发生了革命性的变化。其数学表达式为和数学图像分别如下所示：
$f (x) = x * cos (x)$
在这里插入图片描述
优点：