3,094
个编辑
更改
→从 ResNet 到 Neural ODE
Neural ODE 可以看作残差网络从离散层结构到连续时间结构的一种推广。对 ResNet 的第 <math>n</math> 层输出，可写为：
Neural ODE 可以看作残差网络从离散层结构到连续时间结构的一种推广。对 ResNet 的第 <math>n</math> 层输出，可写为：
<math>x_n=x_{n-1}+F(x_{n-1})</math>
<math>x_t=x_{t-1}+F(x_{t-1})</math>
这里<math>t</math>为层数，<math>x_t</math>为<math>t</math>层的输出，<math>F</math>为神经网络的一层计算。把上式移项得到：
<math>F(x_{n-1})=x_n-x_{n-1}</math>
<math>F(x_{t-1})=x_t-x_{t-1}</math>
这一形式类似于离散导数。若引入时间步长 <math>h</math>，则有：
这一形式类似于离散导数。若引入时间步长 <math>h</math>，则有：