NIS+ - 版本历史

2025年2月27日 (四) 11:37 念

2025-02-27T11:37:31Z

2024年12月22日 (日) 10:57 念

2024-12-22T10:57:00Z

念：/* 生命游戏模型数据 */

2024-10-28T05:51:51Z

生命游戏模型数据

2024年10月26日 (六) 13:39 念

2024-10-26T13:39:11Z

念：/* NIS框架及其缺陷 */

2024-10-26T11:26:17Z

NIS框架及其缺陷

2024年10月26日 (六) 11:25 念

2024-10-26T11:25:43Z

念：/* NIS+识别因果涌现的能力 */

2024-10-26T08:47:50Z

NIS+识别因果涌现的能力

念：/* NIS+识别因果涌现的能力 */

2024-10-26T08:45:43Z

NIS+识别因果涌现的能力

念：/* 模型框架 */

2024-10-26T08:40:34Z

模型框架

念：/* 强化版神经信息压缩机（NIS+） */

2024-10-26T08:38:27Z

强化版神经信息压缩机（NIS+）

←上一版本		2025年2月27日 (四) 11:37的版本
第745行：		第745行：

	= 参考文献 =		= 参考文献 =
		+	<references />
		+	----此词条由[[潘琳莉]]、[[杨明哲]]编写，[[张江]]、[[王志鹏]]整理和审校。
		+
		+	'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第665行： / 第665行： @@
 在实践中，为了减轻机器学习的压力，作者先让模型学到比较靠谱的编码策略，然后通过反向动力学将编码策略调整至最优解。NIS+的训练过程分为两个阶段。
-第一阶段：只训练前向神经网络，最小化预测误差<math>w(\boldsymbol{x}_t)\parallel\boldsymbol{y}_t-g(\boldsymbol{y}_{t+1})\parallel </math>。
+第一阶段：只训练前向神经网络，最小化预测误差<math>\parallel\hat{x}_{t+1}-\boldsymbol{x}_{t+1}\parallel </math>。
 第二阶段，训练反向神经网络和前向神经网络，本质上是用于训练<math>
 \phi_{ω}
-</math>。在此过程中，用<math>λ </math>来平衡前向神经网络预测误差<math>w(\boldsymbol{x}_t)\parallel\boldsymbol{y}_t-g(\boldsymbol{y}_{t+1})\parallel </math>和反向神经网络预测误差<math>\parallel\hat{x}_{t+1}-\boldsymbol{x}_{t+1}\parallel </math>。在不同的实验中，根据超参数搜索法，<math>λ </math>取不同的值。
+</math>。在此过程中，用<math>λ </math>来平衡前向神经网络预测误差<math>\parallel\hat{x}_{t+1}-\boldsymbol{x}_{t+1}\parallel </math>和反向神经网络预测误差<math>w(\boldsymbol{x}_t)\parallel\boldsymbol{y}_t-g(\boldsymbol{y}_{t+1})\parallel </math>。在不同的实验中，根据超参数搜索法，<math>λ </math>取不同的值。
 在整个模型的训练过程中，总的目标如式{{EquationNote|3}}。

@@ 第288行： / 第288行： @@
 === 生命游戏模型数据 ===
-康威的生命游戏是一个著名的二维元胞自动机模型，在这个模型上出现了滑翔机、正方形、花朵、信号灯、蜂窝、交通灯等各种有趣的动态模式。与[[SIR]]模型和[[鸟群算法|Boids模型]]不同的是，在规则网格上，生命游戏模型在每个时间步长的微观状态是离散的（0或1）。此外，微观动力学不能用微分方程或差分方程来表示，而是用规则表来表示。
+[[康威的生命游戏 Conway's Game of Life|康威的生命游戏]]是一个著名的二维[[元胞自动机]]模型，在这个模型上出现了滑翔机、正方形、花朵、信号灯、蜂窝、交通灯等各种有趣的动态模式。与[[SIR]]模型和[[鸟群算法|Boids模型]]不同的是，在规则网格上，[[康威的生命游戏 Conway's Game of Life|生命游戏模型]]在每个时间步长的微观状态是离散的（0或1）。此外，微观动力学不能用微分方程或差分方程来表示，而是用规则表来表示。
 ====NIS+的拓展====
-为了使用此数据，作者在空间和时间维度上对元胞自动机的微观状态进行粗粒化处理。为此，作者引入了时空卷积的概念。
+为了使用此数据，作者在空间和时间维度上对[[元胞自动机]]的微观状态进行粗粒化处理。为此，作者引入了时空卷积的概念。
 [[文件:Gamelife - 副本.png|无框|替代=|400x400像素]]
@@ 第300行： / 第300行： @@
 ====NIS+捕获模式的能力====
-作者使用随机初始条件下模拟生成的数据来训练NIS+，并提取从第100步到第120步的状态时间序列。图(a)、(b)和(c)显示了由真实宏观机制模拟(第一行)和NIS+预测(第三行)生成的动态模式，以及可以进行这些预测的涌现宏观状态(第二行)。作者将两个连续时间步长的图像输入到NIS+中，再用两个连续时间步长得到另一个图像对。把上面的图片和下面的图片比较一下，图案是相似的。然而，由于在随机初始条件下具有某些模式的训练样本出现有限，第三列的学习和预测模式有些（特别是“滑翔机”模式）显得模糊。为了提高预测的质量，作者生成一组包含两个“滑翔机”初始条件的新训练样本。
+作者使用随机初始条件下模拟生成的数据来训练NIS+，并提取从第100步到第120步的状态时间序列。图(a)、(b)和(c)显示了由真实宏观机制模拟(第一行)和NIS+预测(第三行)生成的动态模式，以及可以进行这些预测的[[涌现]]宏观状态(第二行)。作者将两个连续时间步长的图像输入到NIS+中，再用两个连续时间步长得到另一个图像对。把上面的图片和下面的图片比较一下，图案是相似的。然而，由于在随机初始条件下具有某些模式的训练样本出现有限，第三列的学习和预测模式有些（特别是“滑翔机”模式）显得模糊。为了提高预测的质量，作者生成一组包含两个“滑翔机”初始条件的新训练样本。
 [[文件:Gamelifec.png|无框|700x700像素]]
@@ 第320行： / 第320行： @@
 [[文件:Gamelife (1).png|无框|替代=|400x400像素]]
-结果表明（图(g)），除“随机”情况外，其余8例均发生[[因果涌现]]。由于出现“滑翔机”的训练样本有限，NIS+在此部分训练不充分，故“滑翔机”型预测不良，[[因果涌现]]（[math]\Delta\mathcal{J}[/math]）程度最低（见图(c)）。其余7种模式的<math>\Delta\mathcal{J} </math>值相似。这些结果表明，<math>\Delta\mathcal{J} </math>提供了[[因果涌现]]发生的更合理的指示。但是，对于Ψ，所有情况产生的值都小于或等于0，这可能是因为此系统是一个高维的复杂系统，冗余信息更多，而Ψ的近似忽略了许多冗余信息，使得Ψ无法确定[[因果涌现]]是否发生。因此，本文提出的<math>\Delta\mathcal{J} </math>是一种较好的鉴别[[因果涌现]]的方法。
+结果表明（图(g)），除“随机”情况外，其余8例均发生[[因果涌现]]。由于出现“滑翔机”的训练样本有限，NIS+在此部分训练不充分，故“滑翔机”型预测不良，[[因果涌现]]（[math]\Delta\mathcal{J}[/math]）程度最低（见图(c)）。其余7种模式的<math>\Delta\mathcal{J} </math>值相似。这些结果表明，<math>\Delta\mathcal{J} </math>提供了[[因果涌现]]发生的更合理的指示。但是，对于Ψ，所有情况产生的值都小于或等于0，这可能是因为此系统是一个高维的[[复杂系统 Complex Systems|复杂系统]]，冗余信息更多，而Ψ的近似忽略了许多冗余信息，使得Ψ无法确定[[因果涌现]]是否发生。因此，本文提出的<math>\Delta\mathcal{J} </math>是一种较好的鉴别[[因果涌现]]的方法。
 === 大脑fMRI 真实数据 ===

@@ 第83行： / 第83行： @@
 对于式{{EquationNote|1}}的求解，[[NIS]]率先给出了神经网络求解的方案，如下图所示：
-[[文件:Image00.png|无框|600x600像素]]
+[[文件:Image000.png|无框|600x600像素]]
 图中，模型输入是微观状态<math>x_t </math>，<math>ϕ </math>是粗粒化函数（编码器），得到宏观变量<math>y_t </math>。<math>f </math>是动力学学习器，在宏观层面上学习有效的马尔可夫动力学。<math>\hat{y}_{t+1} </math>是通过[math]f[/math]预测的t+1时刻的宏观状态。由于此时数据经过降维操作，为了使用反粗粒化函数<math>ϕ^† </math>（解码器），模型需要用高斯随机向量<math>N(0,I) </math>填充维度不足的数据。宏观变量经过反粗粒化函数之后可以得到预测的微观变量<math>\hat{x}_{t+1} </math>。而<math>x_{t+1} </math>和<math>\hat{x}_{t+1} </math>之间的差值<math>Loss </math>即为预测损失评估值，可以用来训练整个网络架构。

@@ 第85行： / 第85行： @@
 [[文件:Image00.png|无框|600x600像素]]
-图中，模型输入是微观状态<math>x_t </math>，<math>ϕ </math>是粗粒化函数（编码器），得到宏观变量<math>y_t </math>。<math>f </math>是动力学学习器，在宏观层面上学习有效的马尔可夫动力学。<math>{y}_{t+1} </math>是通过[math]f[/math]预测的t+1时刻的宏观状态。由于此时数据经过降维操作，为了使用反粗粒化函数<math>ϕ^† </math>（解码器），模型需要用高斯随机向量<math>N(0,I) </math>填充维度不足的数据。宏观变量经过反粗粒化函数之后可以得到预测的微观变量<math>\hat{x}_{t+1} </math>。而<math>x_{t+1} </math>和<math>\hat{x}_{t+1} </math>之间的差值<math>Loss </math>即为预测损失评估值，可以用来训练整个网络架构。
+图中，模型输入是微观状态<math>x_t </math>，<math>ϕ </math>是粗粒化函数（编码器），得到宏观变量<math>y_t </math>。<math>f </math>是动力学学习器，在宏观层面上学习有效的马尔可夫动力学。<math>\hat{y}_{t+1} </math>是通过[math]f[/math]预测的t+1时刻的宏观状态。由于此时数据经过降维操作，为了使用反粗粒化函数<math>ϕ^† </math>（解码器），模型需要用高斯随机向量<math>N(0,I) </math>填充维度不足的数据。宏观变量经过反粗粒化函数之后可以得到预测的微观变量<math>\hat{x}_{t+1} </math>。而<math>x_{t+1} </math>和<math>\hat{x}_{t+1} </math>之间的差值<math>Loss </math>即为预测损失评估值，可以用来训练整个网络架构。
 为了数学性质和可解释性，以及降低模型参数量，NIS采用了[[可逆神经网络]]（INN）。其中编码器对应了式{{EquationNote|1}}中的粗粒化策略[math]\phi[/math]（<math>\boldsymbol{x} </math>是微观数据值，<math>\boldsymbol{y} </math>是宏观数据值）它是由两步操作复合而成的，即：

@@ 第210行： / 第210行： @@
 [[文件:Sir1_-_副本_(3).jpg|替代=|无框]]
-结果表明（图(e)），当噪音水平<math>σ ＜0.01 </math>时，<math>\Delta\mathcal{J}>0 </math>始终保持不变，这表明，NIS+方法认为在低噪声水平[[因果涌现]]始终发生，而因为<math>\sigma=10^{-3} </math>后，<math>\Psi>0 </math>，这表明Rosas的方法认为因果涌现始终发生。NIS+的结果更合理，因为它可以从有噪声的数据中提取出类似于真实宏观机制的宏观动力学，并且这种确定性动力学应该比有噪声的微观动力学具有更大的EI。作者还分别绘制了宏观和微观动力学的EI曲线<math>J(f_M) </math>(红色虚线)和<math>J(f_m) </math>(绿色虚线)。这些曲线随着σ的增大而减小，但<math>J(f_m) </math>的减小速度更快，导致观测到[[因果涌现]]的发生。但是，当<math>\Psi<0 </math>时，因为Ψ只能为[[因果涌现]]提供充分条件，作者不能做出明确的判断。这两个指标在<math>\sigma=10^{-2} </math>处达到峰值，这与作者模拟中使用的时间步长（<math>dt=0.01 </math>）的大小相对应，反映了微观状态的变化水平。另一方面，如果噪声过大，有限的观测数据将使NIS+难以从数据中准确识别正确的宏观动力学。因此，[[因果涌现|CE]]的程度降至零。虽然NIS+判定<math>σ ＞ 10 </math>时不存在[[因果涌现]]，但这一结果并不可靠，因为<math>\sigma=10^{-2} </math>后的归一化预测误差已经超过了所选阈值0.3(垂直虚线和虚线)。
+结果表明（图(e)），当噪音水平<math>σ ＜0.01 </math>时，<math>\Delta\mathcal{J}>0 </math>始终保持不变，这表明，NIS+方法认为在低噪声水平[[因果涌现]]始终发生，而因为<math>\sigma=10^{-3} </math>后，<math>\Psi>0 </math>，这表明Rosas的方法认为因果涌现始终发生。NIS+的结果更合理，因为它可以从有噪声的数据中提取出类似于真实宏观机制的宏观动力学，并且这种确定性动力学应该比有噪声的微观动力学具有更大的EI。作者还分别绘制了宏观和微观动力学的EI曲线<math>J(f_M) </math>(红色虚线)和<math>J(f_m) </math>(绿色虚线)。这些曲线随着σ的增大而减小，但<math>J(f_m) </math>的减小速度更快，导致观测到[[因果涌现]]的发生。但是，当<math>\Psi<0 </math>时，因为<math>\Psi </math>只能为[[因果涌现]]提供充分条件，作者不能做出明确的判断。这两个指标在<math>\sigma=10^{-2} </math>处达到峰值，这与作者模拟中使用的时间步长（<math>dt=0.01 </math>）的大小相对应，反映了微观状态的变化水平。另一方面，如果噪声过大，有限的观测数据将使NIS+难以从数据中准确识别正确的宏观动力学。因此，[[因果涌现|CE]]的程度降至零。虽然NIS+判定<math>σ ＞ 10 </math>时不存在[[因果涌现]]，但这一结果并不可靠，因为<math>\sigma=10^{-2} </math>后的归一化预测误差已经超过了所选阈值0.3(垂直虚线和虚线)。
 ====NIS+与其他模型比较预测和泛化能力====

@@ 第206行： / 第206行： @@
 结果表明（图(b)），NIS+(红色实线)、[[NIS]](黑色虚线)和VAE+(绿色实线)的曲线呈上升趋势，但NIS+的增长速度更快。这表明NIS+比其他模型更能有效地最大化J。值得注意的是，[[NIS]]也表现出EI的自然增长，因为它逐渐使预测误差最小化。
-其次，为了检验NIS+检测和识别因果涌现的能力，图(e)展示了随着噪音的增大，因果涌现强度<math>\Delta\mathcal{J} </math>的变化趋势，并将其与[[Rosas的因果涌现度量]]<math>\Psi </math>指标进行了比较（为了让<math>\Psi </math>可计算，作者利用从NIS+中学习到的宏观状态来作为[math]\Psi[/math]计算中的宏观变量。结果用图(e)中的黑色和黄色实线表示。
+其次，为了检验NIS+检测和识别因果涌现的能力，图(e)展示了随着噪音的增大，因果涌现强度<math>\Delta\mathcal{J} </math>的变化趋势，并将其与[[Rosas的因果涌现度量]]<math>\Psi </math>指标进行了比较（为了让<math>\Psi </math>可计算，作者利用从NIS+中学习到的宏观状态来作为[math]\Psi[/math]计算中的宏观变量）。结果用图(e)中的黑色和黄色实线表示。
 [[文件:Sir1_-_副本_(3).jpg|替代=|无框]]

←上一版本		2024年10月26日 (六) 08:40的版本
第139行：		第139行：


−	图注：在此框架中，输入可观测的数据（如图(a)，可以是轨迹、图像序列、时间序列），输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略（如图(c)）。在NIS+中（如图(b)），作者首先使用[[互信息]]和变分不等式的公式将[[互信息]]的最大化问题转化为机器学习问题，其中，通过学习一个反向宏观动力学[math]g[/math]，也就是通过<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，该框架保证了[[互信息]]的最大化。最后，该框架提出利用样本重加权技术来解决均匀分布干预的挑战，从而保证了优化的目标函数是[[有效信息]]。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref name=":12"/>。	+	图注：在此框架中，输入可观测的数据（如图(a)，可以是轨迹、图像序列、时间序列），输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略（如图(c)）。在NIS+中（如图(b)），作者首先使用[[互信息]]和变分不等式的公式将[[互信息]]的最大化问题转化为机器学习问题，其中，通过学习一个反向宏观动力学[math]g[/math]，也就是通过<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>得到<math>\hat{y}_{t}</math>，该框架保证了[[互信息]]的最大化。最后，该框架提出利用样本重加权技术来解决均匀分布干预的挑战，从而保证了优化的目标函数是[[有效信息]]。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref name=":12"/>。

	其中，模型输入是微观状态<math>x_t </math>。<math>ϕ </math>是粗粒化函数（编码器），得到宏观变量<math>y_t </math>。<math>f </math>是动力学学习器，在宏观层面上学习有效的马尔可夫动力学。<math>\hat{y}_{t+1} </math>是通过[math]f[/math]预测的t+1时刻的宏观状态。由于此时数据经过降维操作，为了使用反粗粒化函数<math>ϕ^† </math>（解码器），数据需要拼接高斯随机向量<math>N(0,I) </math>。宏观变量经过反粗粒化函数之后可以得到预测的微观变量<math>\hat{x}_{t+1} </math>。而<math>x_{t+1} </math>和<math>\hat{x}_{t+1} </math>之间的差值<math>L_1 </math>即为预测损失评估值。同样，将微观状态<math>x_{t+1} </math>输入，经过粗粒化函数（编码器）<math>ϕ </math>，得到宏观变量<math>y_{t+1} </math>。<math>g </math>是反向动力学学习器。<math>\hat{y}_{t} </math>是通过[math]g[/math]预测的t时刻的宏观状态。而<math>y_{t} </math>和<math>\hat{y}_{t} </math>之间的差值<math>L_2 </math>即为反向预测损失评估值。		其中，模型输入是微观状态<math>x_t </math>。<math>ϕ </math>是粗粒化函数（编码器），得到宏观变量<math>y_t </math>。<math>f </math>是动力学学习器，在宏观层面上学习有效的马尔可夫动力学。<math>\hat{y}_{t+1} </math>是通过[math]f[/math]预测的t+1时刻的宏观状态。由于此时数据经过降维操作，为了使用反粗粒化函数<math>ϕ^† </math>（解码器），数据需要拼接高斯随机向量<math>N(0,I) </math>。宏观变量经过反粗粒化函数之后可以得到预测的微观变量<math>\hat{x}_{t+1} </math>。而<math>x_{t+1} </math>和<math>\hat{x}_{t+1} </math>之间的差值<math>L_1 </math>即为预测损失评估值。同样，将微观状态<math>x_{t+1} </math>输入，经过粗粒化函数（编码器）<math>ϕ </math>，得到宏观变量<math>y_{t+1} </math>。<math>g </math>是反向动力学学习器。<math>\hat{y}_{t} </math>是通过[math]g[/math]预测的t时刻的宏观状态。而<math>y_{t} </math>和<math>\hat{y}_{t} </math>之间的差值<math>L_2 </math>即为反向预测损失评估值。

@@ 第132行： / 第132行： @@
 = 强化版神经信息压缩机（NIS+）=
-为了解决NIS的遗留问题，特别是在泛函空间上能够真正优化[[有效信息]]，NIS+应运而生<ref name=":12">Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。
+为了解决NIS的遗留问题，特别是在泛函空间上不能够真正优化[[有效信息]]的问题，NIS+应运而生<ref name=":12">Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。
 == 模型框架 ==