假设函数 J(w)=w^2，当 w=3 时， J(w)=3*3=9

当我们给w增加一个很小的量时，观察J(w)如何变化。

例如 w=3+0.001， 则J（w）=9.006001，因此当w=3且增加一个变化量 ε 时，J(w)将会增加 6ε，也就是此时J（w）对 w 的导数值为6.

在python中求导

计算图(computation graph)

如下图中由边或箭头连接的结点

 

 前向传播(forward prop)：从左往右计算

后向传播(back prop):从后往前计算 J 对每一个的导数，是一种有效计算导数的方法，可以减少重复计算

 

大型神经网络案例，计算图如下