642
个编辑
更改
跳到导航
跳到搜索
第295行：
第295行： − + − 然而由于该目标函数是一个[[泛函优化]]问题，往往很难优化。为了解决这个问题，作者将优化过程分为两个阶段，第一个阶段表示在给定宏观尺度<math>q </math>的情况下<math>\min _{\phi_q, \hat{f}_q, \phi_q^{\dagger}}\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\|<\epsilon </math>，第二阶段将复杂的函数优化问题转换成线性搜索不同的<math>q </math>，使得找到有效信息最大的宏观尺度<math>\mathop{max}\limits_{q}EI(\hat{f}_{\phi_q}^\ast) </math> 。+ 第311行：
第311行： − 但是该方法存在一些不足，作者将优化过程分为两个阶段，但是没有真正的最大化有效信息。因此，杨等人<ref name=":6" />进一步改进该方法，通过引入反向动力学以及[[重加权技术]]借助[[变分不等式]]将原始的最大化有效信息转换成最大化其变分下界来直接优化目标函数。目标函数可以被定义为在给定微观预测足够小的情况下最大化宏观动力学的有效信息：+ +
→NIS
====NIS====
====NIS====
为了识别系统中的因果涌现，作者提出一种[[神经信息压缩器]]（Neural Information Squeezer，NIS）方法<ref name="NIS" />，该构建了一种编码器-动力学学习器-解码器框架，即模型由三个部分构成分别用于对原始数据进行粗粒化得到宏观态、拟合宏观动力学和反粗粒化运算（将宏观态配合随机噪声解码为微观态）。其中，作者们用[[可逆神经网络]]（INN）构建编码器（Encoder）和解码器（Decoder）。该模型框架可以看成是一个神经信息压缩器，将包含噪音的微观态压缩成宏观态，丢弃无用的信息，从而使得宏观动力学的因果性更强。NIS方法的模型框架如下图所示：
为了识别系统中的因果涌现，作者提出一种[[神经信息压缩器]]（Neural Information Squeezer，NIS）方法<ref name="NIS" />，该构建了一种编码器-动力学学习器-解码器框架，即模型由三个部分构成分别用于对原始数据进行粗粒化得到宏观态、拟合宏观动力学和反粗粒化运算（将宏观态配合随机噪声解码为微观态）。其中，作者们用[[可逆神经网络]]（INN）构建编码器（Encoder）和解码器（Decoder），分别对应粗粒化函数[math]\phi[/math]和反粗粒化函数[math]\phi^{\dagger}[/math]。该模型框架可以看成是一个神经信息压缩器，将包含噪音的微观态压缩成宏观态，丢弃无用的信息，从而使得宏观动力学的因果性更强。NIS方法的模型框架如下图所示：
[[文件:NIS模型框架图.png|居中|500x500像素|替代=NIS模型框架图|NIS模型框架图]]
[[文件:NIS模型框架图.png|居中|500x500像素|替代=NIS模型框架图|NIS模型框架图]]
然而，由于优化维度平均[[有效信息]]存在困难，文章<ref name="NIS" />并没有直接优化{{EquationRef{1}}}，往往很难优化。为了解决这个问题，作者将优化过程分为两个阶段，第一个阶段表示在给定宏观尺度<math>q </math>的情况下<math>\min _{\phi_q, \hat{f}_q, \phi_q^{\dagger}}\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\|<\epsilon </math>，第二阶段将复杂的函数优化问题转换成线性搜索不同的<math>q </math>，使得找到有效信息最大的宏观尺度<math>\mathop{max}\limits_{q}EI(\hat{f}_{\phi_q}^\ast) </math> 。
除了能基于时序数据自动识别因果涌现，该框架还有很好的理论性质，其中有两个重要定理，定理一：神经信息挤压器的[[信息瓶颈]]，即对于任意的双射<math>\mathrm{\Psi}_\alpha </math>、投影<math>\chi_q </math>、宏观动力学<math>f </math>以及高斯噪音<math>z_{p-q}\simΝ\left (0,I_{p-q}\right ) </math>，<math>I\left(Y_t;Y_{t+1}\right)=I\left(X_t;{\hat{X}}_{t+1}\right) </math>恒成立，这意味着，编码器丢弃的所有信息实际上都是与预测无关的噪声信息；定理二：对于一个训练好的模型，<math>I\left(X_t;{\hat{X}}_{t+1}\right)\approx I\left(X_t;X_{t+1}\right) </math>。因此，综合定理一和定理二，可以得到对于一个训练好的模型<math>I\left(Y_t;Y_{t+1}\right)\approx I\left(X_t;X_{t+1}\right) </math>。
除了能基于时序数据自动识别因果涌现，该框架还有很好的理论性质，其中有两个重要定理，定理一：神经信息挤压器的[[信息瓶颈]]，即对于任意的双射<math>\mathrm{\Psi}_\alpha </math>、投影<math>\chi_q </math>、宏观动力学<math>f </math>以及高斯噪音<math>z_{p-q}\simΝ\left (0,I_{p-q}\right ) </math>，<math>I\left(Y_t;Y_{t+1}\right)=I\left(X_t;{\hat{X}}_{t+1}\right) </math>恒成立，这意味着，编码器丢弃的所有信息实际上都是与预测无关的噪声信息；定理二：对于一个训练好的模型，<math>I\left(X_t;{\hat{X}}_{t+1}\right)\approx I\left(X_t;X_{t+1}\right) </math>。因此，综合定理一和定理二，可以得到对于一个训练好的模型<math>I\left(Y_t;Y_{t+1}\right)\approx I\left(X_t;X_{t+1}\right) </math>。
[[文件:弹簧振子模型1.png|居中|600x600像素|替代=弹簧振子模型1|弹簧振子模型|缩略图]]
[[文件:弹簧振子模型1.png|居中|600x600像素|替代=弹簧振子模型1|弹簧振子模型|缩略图]]
====NIS+====
但是该方法存在一些不足，作者将优化过程分为两个阶段，但是没有真正的最大化有效信息，即公式{{EquationNote|1}}。因此，[[杨明哲]]等人<ref name=":6" />进一步改进该方法，通过引入反向动力学以及[[重加权技术]]借助[[变分不等式]]将原始的最大化有效信息转换成最大化其变分下界来直接优化目标函数。目标函数可以被定义为在给定微观预测足够小的情况下最大化宏观动力学的有效信息：
{{NumBlk|:|
{{NumBlk|:|