3,094
个编辑
更改
→研究背景
神经微分方程的发展与深度神经网络的加深过程密切相关。根据[[通用逼近定理]]，足够宽的单隐层神经网络理论上可以逼近连续函数，但在实际[[深度学习]]中，增加网络深度通常比单纯增加宽度更有效。更深的网络能够逐层提取抽象特征，在图像识别、[[自然语言处理]]等任务中表现出更强的表达能力。
神经微分方程的发展与深度神经网络的加深过程密切相关。根据[[通用逼近定理]]，足够宽的单隐层神经网络理论上可以逼近连续函数，但在实际[[深度学习]]中，增加网络深度通常比单纯增加宽度更有效。更深的网络能够逐层提取抽象特征，在图像识别、[[自然语言处理]]等任务中表现出更强的表达能力。
深层网络的发展经历了从 AlexNet、VGG、GoogLeNet 到 ResNet 的演进。AlexNet 在 2012 年 ImageNet 竞赛中使用 8 层网络取得显著性能提升；随后，VGG 和 GoogLeNet 进一步加深网络结构；ResNet 则通过残差连接成功训练了百层以上网络，并在 2015 年 ImageNet 竞赛中取得领先结果。
深层网络的发展经历了从 [[AlexNet]]、[[VGG]]、[[GoogLeNet]] 到 [[ResNet]] 的演进。[[AlexNet]] 在 2012 年 [[ImageNet竞赛]] 中使用 8 层网络取得显著性能提升；随后，[[VGG]] 和 [[GoogLeNet]] 进一步加深网络结构；[[ResNet]] 则通过[[残差连接]]成功训练了百层以上网络，并在 2015 年 ImageNet 竞赛中取得领先结果。
然而，简单堆叠网络层并不总能提升性能。随着层数增加，网络可能出现[[梯度消失]]、[[梯度爆炸]]和退化问题。其中，退化问题指更深网络在训练集上的误差反而升高，说明问题并非单纯由[[过拟合]]造成，而是与优化难度有关。
[[文件:神经网络随时间发展层数增加错误降低.png|替代=神经网络随时间发展层数增加错误降低|缩略图|'''神经网络随时间发展层数增加错误降低''']]
[[文件:神经网络随时间发展层数增加错误降低.png|替代=神经网络随时间发展层数增加错误降低|缩略图|'''神经网络随时间发展层数增加错误降低''']]
（时间顺序为从右到左，柱状图为模型在ILSVRC测试上的误差，折线图为网络层数）
（时间顺序为从右到左，柱状图为模型在ILSVRC测试上的误差，折线图为网络层数）
=== '''[[残差神经网络]]''' ===
=== '''[[残差神经网络]]''' ===
'''残差神经网络'''（Residual Neural Network, ResNet）由[[何恺明]]、[[张祥雨]]、[[任少卿]]、[[孙剑]]等人提出，是深度网络结构发展中的重要模型。ResNet 的关键设计是[[残差块]]（Residual Block）和快捷连接（skip connection）。在残差块中，输入不仅经过若干网络层变换，也会通过快捷连接直接加到输出上：
'''残差神经网络'''（Residual Neural Network, ResNet）由[[何恺明]]等人提出，是深度网络结构发展中的重要模型。ResNet 的关键设计是[[残差块]]（Residual Block）和[[快捷连接]]（skip connection）。在残差块中，输入不仅经过若干网络层变换，也会通过快捷连接直接加到输出上：
<math>\hat y=F(x)+x</math>
<math>\hat y=F(x)+x</math>
（对比普通神经网络层与残差块结构，残差块结构输入 <math>x</math> 通过快捷连接直接加到输出端）
（对比普通神经网络层与残差块结构，残差块结构输入 <math>x</math> 通过快捷连接直接加到输出端）
ResNet 的意义不仅在于提升了图像识别性能，更在于提供了一种新的网络设计范式。后续许多模型，如 DenseNet、Inception-ResNet 等，都继承或发展了跨层连接的思想。
ResNet 的意义不仅在于提升了图像识别性能，更在于提供了一种新的网络设计范式。后续许多模型，如 [[DenseNet]]、[[Inception-ResNet]] 等，都继承或发展了跨层连接的思想。
=== '''从 ResNet 到 Neural ODE''' ===
=== '''从 ResNet 到 Neural ODE''' ===
<math>\frac{dx(t)}{dt}=f(x(t),t)</math>
<math>\frac{dx(t)}{dt}=f(x(t),t)</math>
因此，残差网络的层间更新可以被理解为[[常微分方程]]的离散近似。Neural ODE 则进一步将离散层数推广为连续时间变量，用微分方程的解轨迹表示隐藏状态从输入到输出的变化过程。
[[文件:由残差网络到 Neural ODE 的连续化过程 .png|替代=由残差网络到 Neural ODE 的连续化过程 |缩略图|'''由残差网络到 Neural ODE 的连续化过程''']]
[[文件:由残差网络到 Neural ODE 的连续化过程 .png|替代=由残差网络到 Neural ODE 的连续化过程 |缩略图|'''由残差网络到 Neural ODE 的连续化过程''']]