✨1 介绍

⛄ 1.1 概念

激活函数是神经网络中的一种数学函数，它被应用于神经元的输出，以决定神经元是否应该被激活并传递信号给下一层。常见的激活函数包括Sigmoid函数、ReLU函数、Tanh函数等。

激活函数是神经网络中的一种重要组件，它的作用是引入非线性特性，使得神经网络能够学习和表示更加复杂的函数关系。

激活函数具有以下几个性质：

非线性：激活函数必须是非线性的，这是为了使得神经网络能够学习非线性函数。如果使用线性激活函数，多层神经网络的输出将仍然是线性的，无法表达复杂的非线性关系。
可微性：激活函数在神经网络的反向传播算法中起到关键作用，因此它必须是可微的。这样才能计算梯度并更新网络参数，实现网络的训练。
非饱和性：激活函数应该具有非饱和性，即在输入取值范围内，函数值不会饱和或饱和得很快。这样可以避免梯度消失的问题，使得网络能够更好地进行训练。
输出范围：激活函数的输出范围应该适当，使得神经网络的输出在合理的范围内。例如，对于二分类问题，常用的激活函数是sigmoid函数，其输出范围在0到1之间，可以表示概率值。

在深度学习中，神经网络通常由多个层组成，每一层都包含了许多神经元。每个神经元接收来自上一层神经元的输入，并通过激活函数将其转换为输出。起到的作用有三点：

激活函数可以引入非线性。如果没有激活函数，多层神经网络将只能表示线性关系，无法学习复杂的非线性模式。通过使用激活函数，神经网络能够学习和表示更加复杂的模式，从而提高其表达能力。
激活韩素可以帮助神经网络进行分类任务，将输入数据映射到不同的类别。
激活函数还可以帮助神经网络处理输入数据中的噪声和不确定性，增强其鲁棒性和泛化能力。

总之，激活函数在深度学习中的使用是为了引入非线性特性，提高神经网络的表达能力和学习能力。

常见的激活函数包括Sigmoid函数、ReLU函数、Tanh函数等

公式：
在这里插入图片描述
(0, 1)之间取值

函数图像：
在这里插入图片描述
但是sigmoid存在下列问题：

torch.nn.Sigmoid()

公式：
在这里插入图片描述
sigmoid函数在输入值非常大或非常小时，导数接近于0，导致梯度逐渐消失。而ReLU函数在正值部分的导数为1，因此在反向传播过程中可以更好地保持梯度的大小，避免梯度消失问题。

函数图像：
在这里插入图片描述
但是仍然存在一些问题：

输出范围是[0,正无穷)，存在输出不是以0为中心的问题。
Dead ReLU问题。当输入值小于等于0时，ReLU函数的导数为0，导致神经元无法更新权重，从而导致神经元“死亡”。如果大量神经元处于“死亡”状态，那么整个网络的表达能力将受到限制。
输出不受限制。ReLU函数的输出范围没有上界，这可能导致某些神经元输出值过大，称为“exploding gradients”问题。这可能会对网络的稳定性和收敛性造成影响。
不可导性。ReLU函数在输入为0时是不可导的，因为它的导数在0处不存在。这可能导致在某些优化算法中的计算问题，例如梯度下降算法。

torch.nn.ReLU( inplace: bool = False)

inplace：如果inplace=True，ReLU函数将会修改输入张量本身，而不是创建一个新的张量来存储结果（计算ReLU的反向传播时，有时只需根据输出就能够推算出反向传播的梯度）。这意味着原始输入张量的值将被覆盖，这种原地操作可以节省内存，特别是当处理大型张量时，但是只有少数的autograd操作支持inplace操作，除非明确地知道自己在做什么，否则不要使用inplace操作。

公式：
在这里插入图片描述
输出范围是(-1, 1)
函数图像：

存在的一些问题：

梯度消失。当输入值非常大或非常小的时候，Tanh函数的导数会接近于零，导致梯度消失的问题。这可能会导致训练过程中的梯度更新变得非常缓慢，甚至无法收敛到最优解。（与Sigmoid相同）
输出范围限制。Tanh函数的输出范围被限制在-1和1之间，这可能导致某些情况下的信息损失。例如，在某些任务中，输出值需要超过这个范围才能正确表示。