目录

四层神经网络，反向传播计算过程

网络结构

前向传播

损失函数

反向传播

1. 计算输出层到隐藏层 2 的梯度

2. 计算隐藏层 2 到隐藏层 1 的梯度

3. 计算输入层到隐藏层 1 的梯度

梯度下降更新

---

四层神经网络，反向传播计算过程

在四层神经网络中，使用均方差损失函数进行反向传播计算是一个常见的训练过程。这里我们简单举例说明这个过程。

网络结构

假设我们有一个四层神经网络，包括：

• 输入层（Input Layer）：有 n0​ 个神经元（不包括偏置项），接收输入数据 x。
• 隐藏层 1（Hidden Layer 1）：有 n1​ 个神经元，激活函数为 f1​（如ReLU或Sigmoid）。
• 隐藏层 2（Hidden Layer 2）：有 n2​ 个神经元，激