前言：Hello大家好，我是小哥谈。激活函数（Activation Function）是神经网络中的一种重要概念，用于控制神经网络中神经元的激活方式。在传统的神经网络中，激活函数被用来将神经元的输出从数值转换为可以被神经网络其他部分理解的非数值形式。激活函数通常被定义为神经元的输出与其输入之间的关系，并能够为神经网络提供非线性特性，这对于解决某些复杂问题（如分类和回归）非常重要。🌈 

     目录

🚀1.基础概念

🚀2.常见激活函数介绍

🍀🍀2.1 ELU

🍀🍀2.2 HardShrink

🍀🍀2.3 Hardsigmoid

🍀🍀2.4 HardTanh

🍀🍀2.5 Hardswish

🍀🍀2.6 LeakyReLU

🍀🍀2.7 LogSigmoid

🍀🍀2.8 PReLU

🍀🍀2.9 ReLU

🍀🍀2.10 ReLU6

🍀🍀2.11 RReLU

 🍀🍀2.12 SELU

🍀🍀2.13 CELU

🍀🍀2.14 Sigmoid

🍀🍀2.15 SiLU

🍀🍀2.16 Mish

🍀🍀2.17 Softplus

🍀🍀2.18 Tanh

🍀🍀2.19 Tanhshrink

🍀🍀2.20 Threshold