786
个编辑
更改
跳到导航
跳到搜索
第309行：
第309行： − + 第321行：
第321行： − −
→带测量噪声的弹簧振荡器
\tilde{\mathbf{x}}_2 = \mathbf{x} - \xi \\
\tilde{\mathbf{x}}_2 = \mathbf{x} - \xi \\
\end{cases}</math></blockquote>|{{EquationRef|27}}}}
\end{cases}</math></blockquote>|{{EquationRef|27}}}}
其中<math>\xi \sim \mathcal{N}(0,\sigma)</math> 是符合二维高斯分布的随机数值，<math>\sigma</math> 是位置与速度标准差的向量。将状态<math>\mathbf{x}</math>理解为潜在宏观状态，测量微观状态<math>\tilde{\mathbf{x}}_1</math>，<math>\tilde{\mathbf{x}_2}</math>。 NIS从测量值中恢复潜在的宏观X。
其中<math>\xi \sim \mathcal{N}(0,\sigma)</math> 是符合二维高斯分布的随机数值，<math>\sigma</math> 是位置与速度标准差的向量。将状态<math>\mathbf{x}</math>理解为潜在宏观状态，测量微观状态<math>\tilde{\mathbf{x}}_1</math>，<math>\tilde{\mathbf{x}}_2</math>。 NIS从测量值中恢复潜在的宏观X。
根据式{{EquationNote|27}}，影响状态测量的噪音可以通过叠加两通道的数据消除。因此，如果在NIS中输入两个测量值的宏观状态，则可简单地获得正确的动力学。使用Euler方法（<math>dt = 1</math>）采样<math>10,000</math>批批次的数据，并在每个批次中生成100个随机初始状态并执行一个步骤动力学，求得下一个时间步长中的状态。使用这些数据来训练神经网络，同时使用相同的数据集来训练具有相同数量参数的普通前馈神经网络以作比较。 结果如下图所示。
根据式{{EquationNote|27}}，影响状态测量的噪音可以通过叠加两通道的数据消除。因此，如果在NIS中输入两个测量值的宏观状态，则可简单地获得正确的动力学。使用Euler方法（<math>dt = 1</math>）采样<math>10,000</math>批批次的数据，并在每个批次中生成100个随机初始状态并执行一个步骤动力学，求得下一个时间步长中的状态。使用这些数据来训练神经网络，同时使用相同的数据集来训练具有相同数量参数的普通前馈神经网络以作比较。 结果如下图所示。
根据信息瓶颈理论<ref>Shwartz-Ziv, R.; Tishby, N. Opening the black box of deep neural networks via information. arXiv 2017, arXiv:1703.00810.</ref>，在训练初期潜变量和输出之间的互信息可能会增加，且输入和潜变量之间的信息必然在增加后随着训练过程的进行而减少。NIS 模型证实了这一结论（上图b部分），其中宏观状态 <math>\mathbf{y}_t</math> 和预测 <math>\mathbf{y}_{t+1}</math> 都是潜变量。由于 <math>\mathbf{y}_t</math> 和 <math>\mathbf{y}(t+1)</math> 是瓶颈，而所有其他无关信息都被变量 <math>\mathbf{x}''_t</math> 弃用，在得到相同结论的情况下，NIS 模型的架构可以比一般的神经网络更清楚地反映信息瓶颈。
根据信息瓶颈理论<ref>Shwartz-Ziv, R.; Tishby, N. Opening the black box of deep neural networks via information. arXiv 2017, arXiv:1703.00810.</ref>，在训练初期潜变量和输出之间的互信息可能会增加，且输入和潜变量之间的信息必然在增加后随着训练过程的进行而减少。NIS 模型证实了这一结论（上图b部分），其中宏观状态 <math>\mathbf{y}_t</math> 和预测 <math>\mathbf{y}_{t+1}</math> 都是潜变量。由于 <math>\mathbf{y}_t</math> 和 <math>\mathbf{y}(t+1)</math> 是瓶颈，而所有其他无关信息都被变量 <math>\mathbf{x}''_t</math> 弃用，在得到相同结论的情况下，NIS 模型的架构可以比一般的神经网络更清楚地反映信息瓶颈。
==简单马尔可夫链==
==简单马尔可夫链==