786
个编辑
更改
跳到导航
跳到搜索
第51行：
第51行： − +
→NIS系列
该模型由编码器（encoder）、动力学学习器（<math>f </math>）以及解码器（decoder）三个部分构成，编码器和解码器主要由[[可逆神经网络]]（Invertible Neural Network，简称INN）<ref>Dinh, L.; Sohl-Dickstein, J.; Bengio, S. Density estimation using real nvp. arXiv 2016, arXiv:1605.08803.</ref>构建，动力学学习器由多层感知机（Multilayer Perceptron，简称MLP）构建。此模型框架可以看成是一个[[NIS|神经信息压缩器]]，将包含噪音的微观态压缩成宏观态，丢弃无用的信息，从而使得宏观动力学的因果性更强。[[NIS]]方法的模型框架如左图所示。
该模型由编码器（encoder）、动力学学习器（<math>f </math>）以及解码器（decoder）三个部分构成，编码器和解码器主要由[[可逆神经网络]]（Invertible Neural Network，简称INN）<ref>Dinh, L.; Sohl-Dickstein, J.; Bengio, S. Density estimation using real nvp. arXiv 2016, arXiv:1605.08803.</ref>构建，动力学学习器由多层感知机（Multilayer Perceptron，简称MLP）构建。此模型框架可以看成是一个[[NIS|神经信息压缩器]]，将包含噪音的微观态压缩成宏观态，丢弃无用的信息，从而使得宏观动力学的因果性更强。[[NIS]]方法的模型框架如左图所示。
图中，模型输入是微观状态<math>x_t\ (x_t^1,x_t^2,…,x_t^p ) </math>，<math>p </math>表示输入数据的维数。<math>ϕ </math>是粗粒化函数（编码器），将输入的<math>p </math>维数据映射到<math>q </math>维数据上，得到宏观变量<math>y_t </math>，此步还包括了通过投影算子抛弃<math>p-q </math>维信息的操作。<math>f </math>是动力学学习器，在宏观层面上学习有效的马尔可夫动力学。<math>\hat{y}_{t+1} </math>是通过[math]f[/math]预测的t+1时刻的宏观状态。由于此时数据是<math>q </math>维的，为了使用反粗粒化函数<math>ϕ^† </math>（解码器），模型需要用<math>p-q </math>维高斯随机向量填充维度不足的数据。宏观变量经过反粗粒化函数之后可以得到预测的微观变量<math>\hat{x}_{t+1} </math>。而<math>x_t+1 </math>和<math>\hat{x}_{t+1} </math>之间的差值即为预测损失评估值，可以用来训练整个网络架构。
图中，模型输入是微观状态<math>x_t\ (x_t^1,x_t^2,…,x_t^p ) </math>，<math>p </math>表示输入数据的维数。<math>ϕ </math>是粗粒化函数（编码器），将输入的<math>p </math>维数据映射到<math>q </math>维数据上，得到宏观变量<math>y_t </math>，此步还包括了通过投影算子抛弃<math>p-q </math>维信息的操作。<math>f </math>是动力学学习器，在宏观层面上学习有效的马尔可夫动力学。<math>\hat{y}_{t+1} </math>是通过[math]f[/math]预测的t+1时刻的宏观状态。由于此时数据是<math>q </math>维的，为了使用反粗粒化函数<math>ϕ^† </math>（解码器），模型需要用<math>p-q </math>维高斯随机向量填充维度不足的数据。宏观变量经过反粗粒化函数之后可以得到预测的微观变量<math>\hat{x}_{t+1} </math>。而<math>x_{t+1} </math>和<math>\hat{x}_{t+1} </math>之间的差值即为预测损失评估值，可以用来训练整个网络架构。
该方法的目标函数是希望在保证微观状态预测误差很小的条件下最大化有效信息，保证预测误差约束足够小是为了避免平凡解（粗粒化丢失太多信息，以致宏观动力学无效）的出现。NIS最终希望得到能够让[[有效信息]]最大的有效粗粒化维度<math>q </math>、粗粒化策略<math>\mathrm{\phi}_q </math>和宏观动力学<math>{\hat{f}}_{\mathrm{\phi}_q} </math>。
该方法的目标函数是希望在保证微观状态预测误差很小的条件下最大化有效信息，保证预测误差约束足够小是为了避免平凡解（粗粒化丢失太多信息，以致宏观动力学无效）的出现。NIS最终希望得到能够让[[有效信息]]最大的有效粗粒化维度<math>q </math>、粗粒化策略<math>\mathrm{\phi}_q </math>和宏观动力学<math>{\hat{f}}_{\mathrm{\phi}_q} </math>。