3,094
个编辑
更改
无编辑摘要
然而，简单堆叠网络层并不总能提升性能。随着层数增加，网络可能出现梯度消失、梯度爆炸和退化问题。其中，退化问题指更深网络在训练集上的误差反而升高，说明问题并非单纯由过拟合造成，而是与优化难度有关。
然而，简单堆叠网络层并不总能提升性能。随着层数增加，网络可能出现梯度消失、梯度爆炸和退化问题。其中，退化问题指更深网络在训练集上的误差反而升高，说明问题并非单纯由过拟合造成，而是与优化难度有关。
[[文件:神经网络随时间发展层数增加错误降低.png|替代=神经网络随时间发展层数增加错误降低|缩略图|'''神经网络随时间发展层数增加错误降低''']]
[[File:image1.png|thumb|'''图 1：神经网络随时间发展层数增加错误降低''']]
（时间顺序为从右到左，柱状图为模型在ILSVRC测试上的误差，折线图为网络层数）
（时间顺序为从右到左，柱状图为模型在ILSVRC测试上的误差，折线图为网络层数）
这意味着新加入的网络层不必直接学习完整映射，而是学习输入与目标之间的差值，即"残差"。这种结构改善了信息和梯度在深层网络中的传播，使得训练超深神经网络成为可能。
这意味着新加入的网络层不必直接学习完整映射，而是学习输入与目标之间的差值，即"残差"。这种结构改善了信息和梯度在深层网络中的传播，使得训练超深神经网络成为可能。
[[文件:残差网络模块示意图.png|替代=残差网络模块示意图|缩略图|残差网络模块示意图]]
[[File:image2.png|thumb|'''图 2：残差网络模块图''']]
（对比普通神经网络层与残差块结构，残差块结构输入 <math>x</math> 通过快捷连接直接加到输出端）
（对比普通神经网络层与残差块结构，残差块结构输入 <math>x</math> 通过快捷连接直接加到输出端）
因此，残差网络的层间更新可以被理解为常微分方程的离散近似。Neural ODE 则进一步将离散层数推广为连续时间变量，用微分方程的解轨迹表示隐藏状态从输入到输出的变化过程。
因此，残差网络的层间更新可以被理解为常微分方程的离散近似。Neural ODE 则进一步将离散层数推广为连续时间变量，用微分方程的解轨迹表示隐藏状态从输入到输出的变化过程。
[[文件:由残差网络到 Neural ODE 的连续化过程 .png|替代=由残差网络到 Neural ODE 的连续化过程 |缩略图|'''由残差网络到 Neural ODE 的连续化过程''']]
[[File:image3.png|thumb|'''图 3：由残差网络到 Neural ODE 的连续化过程''']]
== '''数学形式''' ==
== '''数学形式''' ==
在监督学习中，Neural ODE 将输入样本视为初始状态 <math>z_0</math>，通过连续时间动力系统将其变换为终止状态 <math>z(T)</math>，再用于分类或回归。与传统神经网络固定层数的前馈计算不同，Neural ODE 的变换过程由 ODE 求解器完成，计算步数可以根据求解精度自适应调整。
在监督学习中，Neural ODE 将输入样本视为初始状态 <math>z_0</math>，通过连续时间动力系统将其变换为终止状态 <math>z(T)</math>，再用于分类或回归。与传统神经网络固定层数的前馈计算不同，Neural ODE 的变换过程由 ODE 求解器完成，计算步数可以根据求解精度自适应调整。
这种建模方式适合将神经网络解释为连续变换过程，也适合需要在精度和计算量之间动态折中的场景。
这种建模方式适合将神经网络解释为连续变换过程，也适合需要在精度和计算量之间动态折中的场景。
# 根据编码结果估计潜变量初始状态 <math>z_0</math>；
# 根据编码结果估计潜变量初始状态 <math>z_0</math>；
# 使用 ODE 求解器生成潜空间轨迹；
# 使用 ODE 求解器生成潜空间轨迹；
# 通过解码器将潜状态映射回观测空间，得到未来预测。
# [[文件:Neural ODE 拟合时间序列状态点.png|替代=Neural ODE 拟合时间序列状态点|缩略图|'''Neural ODE 拟合时间序列状态点''']]通过解码器将潜状态映射回观测空间，得到未来预测。
[[文件:Latent ODE 时间序列预测结构.png|替代=Latent ODE 时间序列预测结构|缩略图|'''Latent ODE 时间序列预测结构''']]
[[File:image5.png|thumb|'''图 5：Neural ODE 拟合时间序列状态点''']]
（上图为解轨迹经过多个观测时间点的过程）
（上图为解轨迹经过多个观测时间点的过程）
（上图为 RNN 编码器、潜变量初始状态、ODE 求解器和解码器组成的预测流程）
（上图为 RNN 编码器、潜变量初始状态、ODE 求解器和解码器组成的预测流程）