顺便一提 这有一点点像描述生物中 神经元的网络如何学习的一个理论 “赫布理论” 总结起来就是“一同激活的神经元关联在一起”

这里 权重的最大增长 即连接变得更强的部分 就会发生在已经最活跃的神经元 和想要更多激发的神经元之间 可以说 看见一个“2”时激发的神经元 会和“想到一个2”时激发的神经元联系地更紧密

这里解释一下 我个人对人工神经网络是否真的在 模仿生物学上大脑的工作 没有什么发言权 “一同激活的神经元关联在一起”这句话是要打星号注释的 但作为一个粗略的对照 我觉得还是挺有意思的

言归正传 第三个能够增加这个神经元激活值的方法
就是改变前一层的激活值 更具体地说 如果所有正权重连接的神经元更亮 所有负权重连接的神经元更暗的话 那么数字2的神经元就会更强烈地激发 和改权重的时候类似 我们想造成更大的影响 就要依据对应权重的大小 对激活值做出呈比例的改变 当然 我们并不能直接改变激活值 我们手头只能控制权重和偏置 但就光对最后一层来说 记住我们期待的变化还是很有帮助的 不过别忘了 从全局上看 这只不过是数字2的神经元所期待的变化

我们还需要最后一层其余的神经元的激发变弱 但这其余的每个输出神经元 对于如何改变倒数第二层 都有各自的想法 所以 我们会把数字2神经元的期待 和别的输出神经元的期待全部加起来 作为对如何改变倒数第二层神经元的指示

这些期待变化不仅是对应的权重的倍数 也是每个神经元激活值改变量的倍数 这其实就是在实现“反向传播”的理念了 我们把所有期待的改变加起来 就得到了一串对倒数第二层改动的变化量 有了这些 我们就可以重复这个过程

改变影响倒数第二层神经元激活值的相关参数 从后一层到前一层 把这个过程一直循环到第一层

着眼大局 还记得我们只是在讨论 单个训练样本对所有权重偏置的影响吗？ 如果我们只关注那个“2”的要求 最后 网络只会把所有图像都分类成是“2” 所以你要对其他所有的训练样本 同样地过一遍反向传播 记录下每个样本想怎样修改权重与偏置

最后再取一个平均值 这里一系列的权重偏置的平均微调大小

不严格地说 就是上期影片提到的代价函数的负梯度
至少是其标量的倍数 这里的不严格 指的是我还没有准确地解释如何量化这些微调

但如果你清楚我提到的所有改动 为什么有些数字是其他数字的好几倍

以及最后要怎么全部加起来 你就懂得了反向传播的真实工作原理 顺带一提

实际操作中 如果梯度下降的每一步 都用上每一个训练样本来计算的话 那么花的时间就太长了

所以我们一般会这么做 首先把训练样本打乱 然后分成很多组minibatch 每个minibatch就当包含100个训练样本好了

然后你算出这个minibatch下降的一步 这不是代价函数真正的梯度 毕竟计算真实梯度得用上所有的样本 而非这个子集 所以这也不是下山最高效的一步 然而 每个minibatch都会给你一个不错的近似 而且更重要的是 你的计算量会减轻不少

你如果想把网络沿代价函数的表面下山的路径画出来的话 它看上去会有点像醉汉漫无目的地遛下山 但起码步伐很快 而不像是细致入微的人 踏步之前先准确地算好下坡的方向 然后再向那个方向谨小慎微地慢慢走一步
这个技巧就叫做“随机梯度下降”

内容挺多的 我们先小结一下好不好 反向传播算法算的是 单个训练样本想怎样修改权重与偏置 不仅是说每个参数应该变大还是变小 还包括了这些变化的比例是多大 才能最快地降低代价

真正的梯度下降 得对好几万个训练范例都这么操作 然后对这些变化值取平均 但算起来太慢了

所以你会先把所有的样本分到各个minibatch中去 计算一个minibatch来作为梯度下降的一步

计算每个minibatch的梯度 调整参数 不断循环
最终你就会收敛到代价函数的一个局部最小值上 此时就可以说 你的神经网络对付训练数据已经很不错了

总而言之 我们实现反向传播算法的每一句代码

其实或多或少地都对应了大家已经知道的内容

但有时 了解其中的数学原理只不过是完成了一半 如何把这破玩意儿表示出来又会搞得人一头雾水 那么 在座的如果想深入探讨的话 下一期影片中我们会把本期的内容用微积分的形式呈现出来 下一期影片中我们会把本期的内容用微积分的形式呈现出来
希望看过以后再看其他资料时会更容易接受一些吧

收尾之前 我想着重提一点 反向传播算法在内 所有包括神经网络在内的机器学习 要让它们工作 咱需要一大坨的训练数据

我们用的手写数字的范例之所以那么方便 是因为存在着一个MNIST数据库 里面所有的样本都已经人为标记好了

所以机器学习领域的人 最熟悉的一个难关 莫过于获取标记好的训练数据了 不管是叫别人标记成千上万个图像 还是去标记别的类型的数据也罢

参考

https://youtu.be/Ilg3gGewQ5U?si=Cj4v_7kY3Ee-YDi2