别盲目，别着急，慢慢走，没事的
—— 25.2.24
一、定义与数学表达式
GELU（Gaussian Error Linear Unit，高斯误差线性单元）是一种结合概率分布的非线性激活函数，其核心思想是通过输入值服从标准正态分布的概率来决定激活程度。数学表达式为：
GELU(x)=x⋅Φ(x)
其中，Φ(x) 是标准正态分布的累积分布函数（CDF）：
实际应用中，常使用近似公式简化计算：
该近似公式在保持性能的同时显著降低计算复杂度
二、核心特点
非线性建模能力：通过高斯分布概率引入非线性，增强模型对复杂数据的拟合能力。
连续可导性：在整个定义域内可微，避免梯度消失问题，适合反向传播优化。
自门控特性：输入值越大，激活概率越高，类似“软开关”机制。
输出范围：(−∞,+∞)，适用于需要线性输出的场景
三、优势对比
| 特性 | GELU | ReLU | Sigmoid/Tanh |
|---|---|---|---|
| 梯度消失问题 | 有效缓解 | 部分区域梯度为0 | 易出现梯度消失 |
| 输出范围 | 全实数域 | [0,+∞) | (0,1)或(−1,1) |
| 计算复杂度 | 较高（近似公式可优化） | 低 | 较高（涉及指数运算） |
| 应用场景 | Transformer、NLP、CV | 计算机视觉、简单任务 | 二分类输出层 |
四、实际应用
Transformer架构：BERT、GPT-2/3等模型均采用GELU作为隐藏层激活函数，显著提升语言建模性能。
计算机视觉：在图像分类、目标检测任务中，GELU的非线性特性优于ReLU。
推荐系统：处理用户行为序列数据时，GELU的随机正则化特性增强模型泛化能力。
五、代码实现
1.torch.nn.GELU()
torch.nn.GELU()： PyTorch 中实现高斯误差线性单元（GELU）激活函数的类。其核心功能是通过高斯分布的累积分布函数（CDF）对输入张量进行非线性变换
数学表达式为：GELU(x)=x⋅Φ(x)
| 参数名称 | 类型 | 是否必填 | 说明 |
|---|---|---|---|
| approximate | str | 否 | 近似算法选择，可选值为 'none'（精确计算）或 'tanh'（近似计算，默认为 'none'）。 |
import torch
import torch.nn as nn
# 定义GELU层（默认使用精确计算）
gelu_layer = nn.GELU()
# 输入张量
x = torch.randn(32, 128)
# 前向传播
output = gelu_layer(x)
print(output.shape) # 输出形状与输入一致2.torch.nn.functional.gelu()
torch.nn.functional.gelu(): PyTorch 中实现高斯误差线性单元（GELU）激活函数的函数。其核心功能是通过高斯分布的累积分布函数（CDF）对输入张量进行非线性变换，
数学表达式为：GELU(x)=x⋅Φ(x)
| 参数名称 | 类型 | 是否必填 | 说明 |
|---|---|---|---|
| approximate | str | 否 | 近似算法选择，可选值为 'none'（精确计算）或 'tanh'（近似计算，默认为 'none'）。 |
import torch
import torch.nn.functional as F
# 输入张量
x = torch.randn(32, 128)
# 应用GELU激活函数
output = F.gelu(x)
print(output.shape) # 输出形状与输入一致
