3,094
个编辑
更改
跳到导航
跳到搜索
第18行：
第18行： − + − 若目标输出为 <math>y</math>，则残差分支需要学习的是：+ + + 第30行：
第32行： − +
→残差神经网络
=== '''[[残差神经网络]]''' ===
=== '''[[残差神经网络]]''' ===
'''残差神经网络'''（Residual Neural Network, ResNet）由[[何恺明]]等人提出，是深度网络结构发展中的重要模型。ResNet 的关键设计是[[残差块]]（Residual Block）和[[快捷连接]]（skip connection）。在残差块中，输入不仅经过若干网络层变换，也会通过快捷连接直接加到输出上：
'''残差神经网络'''（Residual Neural Network, ResNet）由[[何恺明]]等人提出，是深度网络结构发展中的重要模型。ResNet 的关键设计是[[残差块]]（Residual Block）和[[快捷连接]]（skip connection）。在残差块中，输入<math>x</math>不仅经过若干网络层变换，即<math>F(x)</math>，也会通过快捷连接直接加到输出上，即：
<math>\hat y=F(x)+x</math>
<math>\hat y=F(x)+x</math>
这里<math>\hat y</math>就是残差块的输出，它由网络的计算结果<math>F(x)</math>加上输入<math>x</math>得到（这也意味着<math>x</math>必须与<math>F(x)</math>保持同样的维度。
若该层目标输出为 <math>y</math>，则残差分支需要学习的是：
<math>F(x)=y-x</math>
<math>F(x)=y-x</math>
（对比普通神经网络层与残差块结构，残差块结构输入 <math>x</math> 通过快捷连接直接加到输出端）
（对比普通神经网络层与残差块结构，残差块结构输入 <math>x</math> 通过快捷连接直接加到输出端）
ResNet 的意义不仅在于提升了图像识别性能，更在于提供了一种新的网络设计范式。后续许多模型，如 [[DenseNet]]、[[Inception-ResNet]] 等，都继承或发展了跨层连接的思想。
ResNet 的意义不仅在于提升了图像识别的性能，更在于提供了一种新的网络设计范式。后续许多模型，如 [[DenseNet]]、[[Inception-ResNet]] 等，都继承或发展了跨层连接的思想。
=== '''从 ResNet 到 Neural ODE''' ===
=== '''从 ResNet 到 Neural ODE''' ===