原文：https://arxiv.org/abs/1512.03385

1. 论文试图解决什么问题?

更深的网络有更高的训练误差和测试误差，更深的网络开始收敛时，退化问题开始暴露：随着网络深度的增加，准确性变得饱和，然后迅速退化。

2. 这是否是一个新的问题?

图像分类中，深度卷积神经网络取得了一系列的突破，网络的深度至关重要。

但随着网络深度像堆叠层一样变多，产生了梯度消失/梯度爆炸的问题，通过归一初始化和中间归一层的方法，具有数十层的网络能够开始收敛，以实现具有反向传播的随机梯度下降（SGD）。

3. 这篇文章要验证一个什么科学假设?

1. 梯度传播的困难性：ResNet假设了深度神经网络中存在梯度传播的困难性，即信息无法有效地在深层网络中传播。
2. 残差学习的有效性：基于对梯度消失和梯度爆炸问题的理解，ResNet假设了通过引入残差学习的机制可以解决这一问题。通过引入“跳跃连接”，即通过将输入直接加到输出上，可以使得梯度更容易地传播，从而能够训练非常深的网络。
3. 网络深度的重要性：ResNet的设计假设了增加网络深度有助于提高模型的表达能力和性能，而残差学习能够帮助克服由于深度增加而带来的梯度传播问题。

4. 有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？

1. 结构改进：研究人员提出了许多改进的 ResNet 结构，包括变体的残差块、不同深度的网络结构、跨层连接的变化等。（如之后的DenseNet）
2. 应用领域：ResNet 在计算机视觉、自然语言处理、医疗图像分析等领域都得到了广泛的应用。
3. 模型融合：研究人员尝试将 ResNet 与其他模型进行融合，如将 Transformer 和 ResNet 结合以应对多模态任务，或将注意力机制与 ResNet 结合以改进模型性能。

Kaiming He（何恺明）：作为 ResNet 的主要作者之一，他在深度学习领域有着丰富的经验和卓越的贡献，其中论文ResNet的引用量达到了19万+。

5. 论文中提到的解决方案之关键是什么?

在ResNet中，引入了残差模块（Residual Block），通过跨层的连接和残差学习来实现信息的传递和捕获。

这种设计使得网络可以更轻松地训练非常深的结构，避免了传统深度网络结构中梯度消失和梯度爆炸的问题。

形式定义如下：

关键创新是采用了"shortcut connection"或者"skip connection"，即在每个残差模块中引入了一个跳跃连接，将输入直接加到输出上，从而实现了跨层的信息传递和捕获。这种结构可以帮助网络学习恒等映射，有效地缓解了训练过程中的优化问题。

6. 论文中的实验是如何设计的?

受VGG的启发

1. 对于相同的输出特征图大小，层具有相同数量的滤波器
2. 如果特征图大小减半，滤波器的数量加倍，以保持每层的时间复杂度。直接通过步长为 2 的卷积层执行下采样。

7. 用于定量评估的数据集是什么?代码有没有开源?

• ImageNet 2012 分类数据集：包含 1000 个类，模型在 128 万张训练图像上进行训练，并在 5 万张验证图像上进行评估。
• CIFAR-10 数据集：10 个类别的 50k 训练图像和 10k 测试图像组成。
• PASCAL 和 MS COCO 上的物体检测

8. 论文中的实验及结果有没有很好地支持需要验证的科学假设?

在 ImageNet 测试集上的 top-5 错误率为 3.57%，并在 ILSVRC 2015 分类竞赛中获得第一名。

在 ILSVRC & COCO 2015 竞赛中进一步赢得了 ImageNet 检测、ImageNet 定位、COCO 检测和 COCO 分割方面的第一名。

• ImageNet 验证的错误率
  

• CIFAR-10 测试集上的分类错误

• MS COCO 物体检测

• PASCAL物体检测

  

9. 这篇论文到底有什么贡献?

1. 解决梯度消失和网络退化问题：ResNet 提出了残差学习的思想，通过引入残差连接（即跨层的直接连接）的方式，有效缓解了深度神经网络训练过程中的梯度消失和网络退化问题。这使得可以训练比以往更深的网络，提高了模型的性能。
2. 推动深度学习发展：ResNet 的提出为深度学习领域带来了重大影响，它突破了传统认知对于深度神经网络深度的限制，鼓舞了研究者进一步探索更深层次的网络结构和训练方法，极大地推动了深度学习的发展。（ResNet的引用量达到了19万+）
3. 模型设计理念：ResNet 提出了“跨层连接”和“残差学习”的设计理念，对后续深度学习模型的设计产生了深远的影响。许多后续的模型设计都借鉴了 ResNet 的思想，如 DenseNet、FractalNet 等

10. 下一步呢?有什么工作可以继续深入?

1. 模型改进与创新：可以尝试探索修改ResNet结构、引入新的连接方式或者结合其他模型架构来提高性能。（如之后的DenseNet

2. 跨领域应用：如自然语言处理、推荐系统等。