论文十问：ResNet（Deep Residual Learning for Image Recognition）

原文：https://arxiv.org/abs/1512.03385

更深的网络有更高的训练误差和测试误差，更深的网络开始收敛时，退化问题开始暴露：随着网络深度的增加，准确性变得饱和，然后迅速退化。

请添加图片描述

图像分类中，深度卷积神经网络取得了一系列的突破，网络的深度至关重要。

但随着网络深度像堆叠层一样变多，产生了梯度消失/梯度爆炸的问题，通过归一初始化和中间归一层的方法，具有数十层的网络能够开始收敛，以实现具有反向传播的随机梯度下降（SGD）。

梯度传播的困难性：ResNet假设了深度神经网络中存在梯度传播的困难性，即信息无法有效地在深层网络中传播。
残差学习的有效性：基于对梯度消失和梯度爆炸问题的理解，ResNet假设了通过引入残差学习的机制可以解决这一问题。通过引入“跳跃连接”，即通过将输入直接加到输出上，可以使得梯度更容易地传播，从而能够训练非常深的网络。
网络深度的重要性：ResNet的设计假设了增加网络深度有助于提高模型的表达能力和性能，而残差学习能够帮助克服由于深度增加而带来的梯度传播问题。

结构改进：研究人员提出了许多改进的 ResNet 结构，包括变体的残差块、不同深度的网络结构、跨层连接的变化等。（如之后的DenseNet）
应用领域：ResNet 在计算机视觉、自然语言处理、医疗图像分析等领域都得到了广泛的应用。
模型融合：研究人员尝试将 ResNet 与其他模型进行融合，如将 Transformer 和 ResNet 结合以应对多模态任务，或将注意力机制与 ResNet 结合以改进模型性能。

Kaiming He（何恺明）：作为 ResNet 的主要作者之一，他在深度学习领域有着丰富的经验和卓越的贡献，其中论文ResNet的引用量达到了19万+。

在这里插入图片描述

在ResNet中，引入了残差模块（Residual Block），通过跨层的连接和残差学习来实现信息的传递和捕获。

这种设计使得网络可以更轻松地训练非常深的结构，避免了传统深度网络结构中梯度消失和梯度爆炸的问题。

请添加图片描述

形式定义如下：
请添加图片描述

关键创新是采用了"shortcut connection"或者"skip connection"，即在每个残差模块中引入了一个跳跃连接，将输入直接加到输出上，从而实现了跨层的信息传递和捕获。这种结构可以帮助网络学习恒等映射，有效地缓解了训练过程中的优化问题。

受VGG的启发

请添加图片描述

在 ImageNet 测试集上的 top-5 错误率为 3.57%，并在 ILSVRC 2015 分类竞赛中获得第一名。

在 ILSVRC & COCO 2015 竞赛中进一步赢得了 ImageNet 检测、ImageNet 定位、COCO 检测和 COCO 分割方面的第一名。

请添加图片描述

请添加图片描述

解决梯度消失和网络退化问题：ResNet 提出了残差学习的思想，通过引入残差连接（即跨层的直接连接）的方式，有效缓解了深度神经网络训练过程中的梯度消失和网络退化问题。这使得可以训练比以往更深的网络，提高了模型的性能。
推动深度学习发展：ResNet 的提出为深度学习领域带来了重大影响，它突破了传统认知对于深度神经网络深度的限制，鼓舞了研究者进一步探索更深层次的网络结构和训练方法，极大地推动了深度学习的发展。（ResNet的引用量达到了19万+）
模型设计理念：ResNet 提出了“跨层连接”和“残差学习”的设计理念，对后续深度学习模型的设计产生了深远的影响。许多后续的模型设计都借鉴了 ResNet 的思想，如 DenseNet、FractalNet 等