【全连接神经网络】核心步骤及其缺陷

前向传播

计算公式（其中一种）

x1/x2：输入值，一般是神经网络上一层的输出或者输入数据本身，上图中表示两个节点
w11 w13：权重，在神经网络中，权重是学习的参数，表示每个输入对输出的影响程度
b1：表示偏置顶，是一个额外的常数值，用来帮助神经网络调整输出。偏置项的作用是让神经元能够更好地拟合数据
sigmoid：激活函数

损失函数

基本了解

损失函数主要用于衡量模型预测结果与实际结果之间的差距或者误差。损失函数的作用是告诉我们模型在当前的预测中犯了多大的错误，训练过程就是通过最小化损失函数来调整模型参数，使得模型的预测更准确

简单来说，损失函数可以看做是误差的度量标准，帮助模型知道自己哪里出错了然后进行改进

损失函数常见的类型

均方误差（MSE）：用来衡量回归任务中的预测误差，适用于预测连续数值。比如预测房价、温度等
交叉熵（Cross-Entropy）：用来衡量分类任务中的预测误差，适用于分类问题，如判断图片是猫还是狗

均方误差函数

yi^表示第i个样本的预测值
yi表示第i个样本的真实值
n表示样本的总数量

投篮事例连理解该函数

假设你正在进行投篮游戏，每次投篮你都希望能进球。我们可以把这个投篮过程看作是一个回归问题，其中

目标：你希望每次投篮的目标位置是篮筐的中心
真实值：篮筐的实际位置
预测值：你每次投篮的预测位置（即球的落点）

所以其中MSE就是来衡量每次投篮的精确度

预测误差：每次投篮时，球的落点与篮筐中心之间的距离就是预测误差
平方误差：为了避免正负误差互相抵消，投篮的误差被平方。假设有一次你投篮偏左 3 米，另一种情况是偏右 5 米。通过平方，两个误差都会被放大，使得两次投篮的误差都得到了应有的惩罚
平均误差：你可以计算所有投篮的误差的平均值，这就是最终的 MSE

例如如果有三次投篮，那么计算其平均误差

第一次投篮，球偏左 3 米，真实值是篮筐中心，误差是 3 米，误差的平方是 9
第二次投篮，球偏右 4 米，误差的平方是16。
第三次投篮，球正中篮筐，误差是 0，平方误差是 002=0

综上三次的平均数值就是 mse = 1/3 * （9+16+0） = 8.33

MSE 的值越小，说明你投篮越准确，模型表现得越好。反之，MSE 值较大，说明你的投篮偏差较大，模型还需要调整

交叉熵损失函数

基本了解

一种适合分类问题的损失函数，比如图像分类、文本分类等任务。它衡量的是两个概率分布之间的差异：一个是模型输出的预测概率分布，另一个是真实标签的概率分布。通过最小化交叉熵，模型可以更好地调整其输出，以使得预测的概率分布尽可能接近真实标签的分布

二分类交叉熵损失

二分类的理解

假设你在预测某个城市是否会下雨，你的任务是根据一些气象数据（如温度、湿度等）来判断是否会下雨。你将这个任务视为一个二分类问题，输出为“下雨”（1）或“不下雨”（0）

其中模型，输出的是一个概率值y^ ，表示模型预测下雨的概率
真实标签y是0或1，分别表示下雨和不下雨

场景 1：真实标签 y=1y = 1y=1（下雨）

果模型预测 y^=0.9，即模型预测下雨的概率为 90%，那么交叉熵损失是：

由于预测接近真实值，损失很小

场景 2：真实标签 y=0y = 0y=0（不下雨）

如果模型预测y^=0.1，即模型预测不下雨的概率为 90%，那么交叉熵损失是：

由于模型预测正确，损失很小。
如果模型预测y^=0.9，即模型预测不下雨的概率为 10%，那么交叉熵损失是：

由于预测错误，损失非常大

多分类交叉熵损失

多分类预测理解

预测一天的天气类型，可能的天气类型有三种：晴天、阴天、雨天，我们将这个任务视为一个多分类问题。模型输出的是每种天气类型的概率

目标：预测某一天的天气类型
真实标签：如果真实天气是“阴天”，标签为 [0,1,0][0, 1, 0][0,1,0]（0 表示晴天，1 表示阴天，0 表示雨天）
预测值：模型输出的天气预测概率，例如模型预测“晴天”的概率是 0.3，“阴天”的概率是 0.6，“雨天”的概率是 0.1

交叉熵损失将惩罚模型在错误天气类型上的大概率预测。例如模型的预测非常接近真实标签，预测60%阴天最后是阴天，那么损失就小。如果模型此时给了错误的判断，那么损失就会变大

梯度下降法

反向传播的具体实现方法

基本了解

梯度下降就类似爬山的过程，目标就是找到山谷中的最低点，也就是损失函数的最小值

爬山：你站在山顶上，想要下山，找到最低点。你根据地形的坡度（梯度）来决定每一步走多远。坡度越陡，步伐越大；坡度越平缓，步伐越小
梯度下降：就像爬山一样，我们通过计算梯度来决定往哪个方向走。在机器学习中，我们通过计算损失函数的梯度来确定更新参数的方向。每次调整的步长由学习率决定。如果步伐太大，可能会错过最低点；如果步伐太小，可能会走得很慢

优点

可用于大规模数据：对于大型数据集，尤其是深度学习模型，随机梯度下降和小批量梯度下降能有效处理

缺点

局部最小值：对于非凸的损失函数，梯度下降可能会陷入局部最小值或鞍点，而不是全局最优解
学习率选择：选择合适的学习率是一个挑战，学习率过大或过小都会影响优化效果
收敛速度：梯度下降可能需要许多迭代才能收敛，特别是在损失函数复杂时

基本概念

梯度下降的核心思想是通过计算损失函数对参数的导数（梯度），了解损失函数在当前参数位置的变化趋势。然后，根据梯度的方向调整模型参数，逐步降低损失

实现步骤

初始化参数：首先，我们随机初始化模型的参数（如神经网络的权重和偏置）
计算梯度：对于当前参数，计算损失函数对各个参数的梯度
更新参数：根据公式，参考下文
迭代：重复步骤 2 和 3，直到损失函数收敛，即损失不再显著减小，或者达到了预定的迭代次数

梯度下降法类型

批量梯度下降

每次更新参数时，使用整个训练数据集来计算梯度

优点：每次计算的梯度都比较精确，能保证找到损失函数的全局最优解（如果损失函数是凸的）
缺点：每次计算梯度时需要遍历整个数据集，计算量大，对于数据集较大的问题，效率较低

随机梯度下降

每次更新参数时，仅使用一个样本（通常是随机选择的一个样本）来计算梯度并更新参数

优点：每次更新都很快，适用于大规模数据集，可以快速得到一个近似最优解。由于每次只计算一个样本的梯度，计算量较小
缺点：由于每次计算的梯度不准确，可能会导致更新方向波动较大，不容易收敛到全局最优解，最终的收敛过程可能较为慢

小批量梯度下降

批量梯度下降和随机梯度下降的折中方案，每次更新时，使用一个小的随机样本批次（mini-batch）来计算梯度并更新参数

优点：结合了批量梯度下降和随机梯度下降的优点。相比批量梯度下降，计算速度更快，收敛也比SGD更稳定。对于大数据集，小批量梯度下降能在有效计算的同时，避免计算量过大
缺点：需要选择合适的批次大小（通常介于 10 到 1000 之间）

梯度下降法的优化（了解）

动量法（Momentum）：为了加速收敛，并减小梯度下降中的震荡，动量法引入了过去梯度的记忆，使得每次更新不仅依赖当前的梯度，还依赖之前的梯度
自适应学习率算法
- Adagrad：根据参数的历史梯度自动调整学习率，适用于稀疏数据
- RMSprop：改进了Adagrad，解决了学习率过快衰减的问题
- Adam：结合了动量法和自适应学习率的优点，通常表现很好

反向传播

整体上理解后向传播

前向传播是从输入到输出的特征抽取与映射过程，而后向传播是从输出向输入方向计算梯度并更新参数的过程

输入层的信息传递：输入原始的数据
利用已有的w和b以及激活函数计算卷积核作用下的特征图：初始时候的w\b是随机的，但是后面经过几轮后就不是随机的
- 通过卷积操作得到第一层的特征图，然后经过激活函数）非线性变换后得到激活特征
第一层特征图多层卷积和池化：逐渐抽取更加抽象的特征图，这些特征会被传递到更深层的网络结构中
预测输出y：最终从输出层得到预测值，这就是前向流程
误差与反向传播：根据预测值与真实标签的差异（Loss），通过反向传播计算对各层参数的梯度，并更新每一层的权重（包括卷积核的权重w和偏置b）使网络逐步逼近正确的映射函数