1 引言

在前面的文章中已经介绍了过去大家较为常见的激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：
在这里插入图片描述

最后，对于文章中没有提及到的激活函数，大家可以通过评论指出，作者会在后续的文章中进行添加补充。

2 激活函数

2.1 Softmax激活函数

Softmax函数通常用于多分类问题的输出层。它将每个神经元的原始输出转换为概率分布，确保所有输出的和为1。这使得Softmax函数在进行多分类任务时非常有效。
$Softmax(z_i) = exp{(z_i)}/ Σ_jexp({z_j})$

其中， $z_i$ 表示向量 $z$ 中的第 $i$ 个元素， $e x p$ 表示自然对数的底数， $Σ$ 表示求和符号， $j$ 遍历1到N，即对所有N个元素进行求和。
当前对于各种多分类任务都是选用的Softmax激活函数。

2.2 Softplus激活函数

Softplus激活函数是一种常用的平滑激活函数，它被广泛用于深度神经网络中。它是ReLU激活函数的一种平滑版本，解决了ReLU的梯度截断问题。Softplus函数将其输入值映射到一个非负的、平滑的输出范围。Softplus函数的定义和数学图像分别如下所示：
$f(x) = ln(1 + e^x)$ 在这里插入图片描述
Softplus函数的特点是：

平滑性：与ReLU不同，Softplus在所有点上都是可导的，没有梯度截断问题。这使得在使用基于梯度的优化算法时更加稳定。
输出范围：Softplus的输出范围是(0, +∞)，它总是返回一个非负的值。
近似线性：对于较大的输入值，Softplus函数的输出值近似于输入值。这使得它在某些情况下可以起到线性激活函数的作用。

与ReLU相比，Softplus函数在输出值上更平滑，避免了ReLU的神经元死亡问题。然而，由于它的输出范围包含0，因此在一些情况下，Softplus可能并不适合作为隐藏层的激活函数，因为它可能导致神经元输出接近于0，从而影响梯度的传播。

当前没有得到普遍使用，Mish激活函数是其升级版本!!!

2.3 Mish激活函数

对激活函数的研究一直没有停止过，ReLU还是统治着深度学习的激活函数，不过，这种情况有可能会被Mish改变。Mish是另一个与ReLU和Swish非常相似的激活函数。正如论文所宣称的那样，Mish可以在不同数据集的许多深度网络中胜过它们。公式如下：
$y=x \ * tanh(ln(1+e^x))$

Mish激活函数是一个平滑的曲线，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化；在负值的时候并不是完全截断，允许比较小的负梯度流入。实验中，随着层深的增加，ReLU激活函数精度迅速下降，而Mish激活函数在训练稳定性、平均准确率(1%-2.8%)、峰值准确率(1.2% - 3.6%)等方面都有全面的提高。如下图：
在这里插入图片描述
Mish论文： https://arxiv.org/pdf/1908.08681.pdf
当前更多的是用于YOLO目标检测中。

2.4 Maxout激活函数

Maxout是一种非常灵活的激活函数，由Ian J. Goodfellow等人在2013年的论文《Maxout Networks》中提出。Maxout激活函数在某些情况下可以作为其他激活函数的替代品，并且在一些网络架构中表现出色。Maxout激活函数的定义和数学图像分别如下所示：
$M a x o u t (x) = ma x (w 1 * x + b 1, w 2 * x + b 2, ..., w n * x + bn)$ 在这里插入图片描述
其中， $w 1 、 w 2 、 b 1 、 b 2 、 w n 、 bn$ 是可学习的参数。根据不同的方式，Maxout可以拟合任意的的凸函数。作者从数学的角度上也证明了这个结论，即只需2个 maxout 节点就可以拟合任意的凸函数了（相减），前提是”隐隐含层”节点的个数可以任意多。