1. 前言 残差连接(shortcut or residual connection)是深度学习实践中已经被证明非常有效的一种优化神经网络结构以解决梯度消失问题,从而提升神经网络训练效率的方法。其核心思想是创建一条梯度传播的快捷路径,让神经网络模块的输出 F ( x ) F(x) F(x)与其输入 x x