更改

= NIS+ 框架有效性的验证（数值实验） =

= NIS+ 框架有效性的验证（数值实验） =

在此部分中，我们将介绍验证NIS+框架有效性的四个实验：SIR模型实验、Boids模型实验、生命游戏模型实验、大脑fMRI实验。实验数据包括人脑的核磁共振成像数据和不同的人工模型(动态系统、多主体系统和元胞自动机)生成的数据。每个实验中，我们将评估NIS+的因果涌现识别能力和泛化能力。

在此部分中，作者通过四个实验验证NIS+框架有效性：[[SIR]]模型实验、Boids模型实验、生命游戏模型实验、大脑fMRI实验。实验数据包括人脑的核磁共振成像数据和不同的人工模型(动态系统、多主体系统和元胞自动机)生成的数据。每个实验中，作者评估了NIS+的[[因果涌现]]识别能力和泛化能力。

== SIR模型实验 ==

== SIR模型实验 ==

在本实验中，SIR（Susceptible<math>\rightarrow</math>Infected<math>\rightarrow</math>Recovered Model）模型是一个简单的宏观动态系统，而微观变量是通过在宏观变量中引入噪声来产生的。这是一个已知宏观机制的玩具模型，可以验证NIS+是否真的做到了宏观有效信息最大化。

在本实验中，[[SIR]]（Susceptible<math>\rightarrow</math>Infected<math>\rightarrow</math>Recovered Model）模型是一个简单的宏观动态系统，而微观变量是通过在宏观变量中引入噪声来产生的。这是一个已知宏观机制的玩具模型，可以验证NIS+是否真的做到了宏观[[有效信息]]最大化。

<math>\begin{cases}   

<math>\begin{cases}   

\end{cases}</math>

\end{cases}</math>

其中<math>S,I,R\in[0,1]</math>表示种群中健康，感染和康复或死亡个体的比例，<math>\beta=1</math>是感染率，即健康人感染成感染者的概率，<math>\gamma=0.5</math>是恢复率，即感染者康复或者死亡的概率。图(a)显示了SIR动力学的相空间(S, I, R)。由于SIR模型只有两个自由度（<math>S + I + R = 1 </math>），所以所有的宏观状态都分布在三维的三角形平面上，故作者仅用S和I构成宏观状态变量<math>\boldsymbol{y}=(S,I) </math>。

其中<math>S,I,R\in[0,1]</math>表示种群中健康，感染和康复或死亡个体的比例，<math>\beta=1</math>是感染率，即健康人感染成感染者的概率，<math>\gamma=0.5</math>是恢复率，即感染者康复或者死亡的概率。图(a)显示了[[SIR]]动力学的相空间(S, I, R)。由于[[SIR]]模型只有两个自由度（<math>S + I + R = 1 </math>），所以所有的宏观状态都分布在三维的三角形平面上，故作者仅用S和I构成宏观状态变量<math>\boldsymbol{y}=(S,I) </math>。

同时，作者通过引入高斯噪声将<math>\boldsymbol{y}=(S,I) </math>展开为一个四维变量，并将其看做微观状态。

同时，作者通过引入高斯噪声将<math>\boldsymbol{y}=(S,I) </math>展开为一个四维变量，并将其看做微观状态。

[[文件:NIS+_sir.jpg|替代=|无框|700x700像素]]

[[文件:NIS+_sir.jpg|替代=|无框|700x700像素]]

一、NIS+识别CE的能力。

一、NIS+识别[[因果涌现|CE]]的能力。

首先，为了确保EI被NIS+最大化，我们观察EI(维平均)J在训练时期的演变。

首先，为了确保[[有效信息|EI]]被NIS+最大化，作者绘制相应图形，观察[[有效信息|EI]](维平均)J在训练时期的演变。

实验结果表明（图(b)），NIS+(红色实线)、NIS(黑色虚线)和VAE+(绿色实线)的曲线呈上升趋势，但NIS+的增长速度更快。这表明NIS+比其他模型更能有效地最大化J。值得注意的是，NIS也表现出EI的自然增长，因为它逐渐使预测误差最小化。

实验结果表明（图(b)），NIS+(红色实线)、[[NIS]](黑色虚线)和VAE+(绿色实线)的曲线呈上升趋势，但NIS+的增长速度更快。这表明NIS+比其他模型更能有效地最大化J。值得注意的是，[[NIS]]也表现出EI的自然增长，因为它逐渐使预测误差最小化。

其次，为了检验NIS+检测和识别CE的能力，我们计算随着噪音的增大，<math>\Delta{J} </math>的变化，并将其与<math>\Psi </math>指标进行比较。比较过程中，作者利用从NIS+中学习到的宏观状态来计算<math>\Psi </math>。结果用图(e)中的黑色和黄色实线表示。

其次，为了检验NIS+检测和识别CE的能力，作者计算随着噪音的增大，<math>\Delta{J} </math>的变化，并将其与<math>\Psi </math>指标进行比较。比较过程中，作者利用从NIS+中学习到的宏观状态来计算<math>\Psi </math>。结果用图(e)中的黑色和黄色实线表示。

实验结果表明（图(e)），当<math>σ ＜0.01 </math>时，<math>\Delta{J}>0 </math>始终保持不变，但<math>\sigma=10^{-3} </math>后，<math>\Psi>0 </math>。NIS+表明在低噪声水平因果涌现始终发生，而信息分解的方法则并非如此。NIS+的结果更合理，因为它可以从有噪声的数据中提取出类似于真实宏观机制的宏观动力学，并且这种确定性动力学应该比有噪声的微观动力学具有更大的EI。作者还分别绘制了宏观和微观动力学曲线<math>J(f_M) </math>(红色虚线)和<math>J(f_m) </math>(绿色虚线)。这些曲线随着σ的增大而减小，但<math>J(f_m) </math>的减小速度更快，导致观测到CE的发生。但是，当<math>\Psi<0 </math>时，因为Ψ只能为CE提供充分条件，我们不能做出明确的判断。这两个指标在<math>\sigma=10^{-2} </math>处达到峰值，这与我们模拟中使用的时间步长（<math>dt=0.01 </math>）的大小相对应，反映了微观状态的变化水平。另一方面，如果噪声过大，有限的观测数据将使NIS+难以从数据中准确识别正确的宏观动力学。因此，CE的程度降至零。虽然NIS+判定<math>σ ＞ 10 </math>时不存在CE，但这一结果并不可靠，因为<math>\sigma=10^{-2} </math>后的归一化预测误差已经超过了所选阈值0.3(垂直虚线和虚线)。

实验结果表明（图(e)），当<math>σ ＜0.01 </math>时，<math>\Delta{J}>0 </math>始终保持不变，但<math>\sigma=10^{-3} </math>后，<math>\Psi>0 </math>。NIS+表明在低噪声水平[[因果涌现]]始终发生，而信息分解的方法则并非如此。NIS+的结果更合理，因为它可以从有噪声的数据中提取出类似于真实宏观机制的宏观动力学，并且这种确定性动力学应该比有噪声的微观动力学具有更大的EI。作者还分别绘制了宏观和微观动力学曲线<math>J(f_M) </math>(红色虚线)和<math>J(f_m) </math>(绿色虚线)。这些曲线随着σ的增大而减小，但<math>J(f_m) </math>的减小速度更快，导致观测到[[因果涌现|CE]]的发生。但是，当<math>\Psi<0 </math>时，因为Ψ只能为[[因果涌现|CE]]提供充分条件，作者不能做出明确的判断。这两个指标在<math>\sigma=10^{-2} </math>处达到峰值，这与作者模拟中使用的时间步长（<math>dt=0.01 </math>）的大小相对应，反映了微观状态的变化水平。另一方面，如果噪声过大，有限的观测数据将使NIS+难以从数据中准确识别正确的宏观动力学。因此，[[因果涌现|CE]]的程度降至零。虽然NIS+判定<math>σ ＞ 10 </math>时不存在[[因果涌现|CE]]，但这一结果并不可靠，因为<math>\sigma=10^{-2} </math>后的归一化预测误差已经超过了所选阈值0.3(垂直虚线和虚线)。

二、NIS+与其他模型比较预测未来状态的能力。

二、NIS+与其他模型比较预测未来状态的能力和泛化能力。

比较的模型包括NIS模型、前馈神经网络（NN）、变分自编码器（VAE）。为了进行公平比较，作者确保所有模型具有大致相同数量的参数，且将样本重加权技术和反向动力学技术应用于前馈神经网络（NN）和变分自编码器（VAE），构建出NN+和VAE+。然后，在单独的测试数据集上预测多个时间步（10步）的未来状态。

比较的模型包括NIS模型、前馈神经网络（NN）、变分自编码器（VAE）。为了进行公平比较，作者确保所有模型具有大致相同数量的参数，且将样本重加权技术和反向动力学技术应用于前馈神经网络（NN）和变分自编码器（VAE），构建出NN+和VAE+。

实验结果表明（图(d)），NIS+和NIS在整体数据集上（绿色条）表现优于其他模型（NN、NN+、VAE、VAE+）。这说明在编码器和解码器中使用可逆神经网络会更好。

在单独的测试数据集上预测多个时间步（10步）的未来状态，以比较NIS+与其他模型的预测未来状态的能力。之后，以图(a)中带点区域为训练数据集，即<math>\frac{1}{3} ≤ S ≤ 1 </math>的部分。以图(a)中整个蓝色三角形为测试数据集，即<math>0 ≤ S ≤ 1 </math>的部分。这样训练NIS+的时候不会用到<math>0 ≤ S ≤ \frac{1}{3} </math>的数据，但是测试NIS+的时候会用到<math>0 ≤ S ≤ \frac{1}{3} </math>的数据，可以通过测试<math>0 ≤ S ≤ \frac{1}{3} </math>的数据的误差大小来比较各个模型的泛化能力。

实验结果表明（图(d)），NIS+和[[NIS]]在整体数据集上（绿色条）表现优于其他模型（NN、NN+、VAE、VAE+）。这说明在编码器和解码器中使用[[可逆神经网络]]会更好。

 

以图(a)中带点区域为训练数据集，即<math>\frac{1}{3} ≤ S ≤ 1 </math>的部分。以图(a)中整个蓝色三角形为测试数据集，即<math>0 ≤ S ≤ 1 </math>的部分。这样训练NIS+的时候不会用到<math>0 ≤ S ≤ \frac{1}{3} </math>的数据，但是测试NIS+的时候会用到<math>0 ≤ S ≤ \frac{1}{3} </math>的数据，可以通过测试<math>0 ≤ S ≤ \frac{1}{3} </math>的数据的误差大小来比较各个模型的泛化能力。

实验结果表明（图(d)），NIS+的分布外泛化能力优于其他模型，在部分数据集上，不同模型之间的差异较大。

实验结果表明（图(d)），NIS+的分布外泛化能力优于其他模型，在部分数据集上，不同模型之间的差异较大。

四、NIS+能否发现真正的宏观动态。

三、NIS+能否发现真正的宏观动态。

将真实的SIR动力学的向量场（<math>d\boldsymbol{y}/dt </math>）（红色）、基于编码器的雅可比矩阵得到的理论向量（蓝色）与通过模型学习到的宏观动态的向量（<math>d(h_1,h_2)/dt </math>）（绿色）进行比较。

将真实的[[SIR]]动力学的向量场（<math>d\boldsymbol{y}/dt </math>）（红色）、基于编码器的雅可比矩阵得到的理论向量（蓝色）与通过模型学习到的宏观动态的向量（<math>d(h_1,h_2)/dt </math>）（绿色）进行比较。

实验结果表明（图(c)表示NIS+，图(f)表示NIS），学习到的向量与真实向量对齐和理论向量对齐。NIS+明显优于NIS，尤其是在没有训练样本的外围区域。

实验结果表明（图(c)表示NIS+，图(f)表示[[NIS]]），学习到的向量与真实向量对齐和理论向量对齐。NIS+明显优于[[NIS]]，尤其是在没有训练样本的外围区域。

综上可知，通过最大化EI和学习独立的因果机制，NIS+可以有效地忽略数据中的噪声，准确地学习真实宏观动态，并有良好的泛化能力。此外，NIS+在识别CE方面表现出优越的性能。

综上可知，通过最大化[[有效信息|EI]]和学习独立的因果机制，NIS+可以有效地忽略数据中的噪声，准确地学习真实宏观动态，并有良好的泛化能力。此外，NIS+在识别[[因果涌现|CE]]方面表现出优越的性能。

== Boids 模型实验 ==

== Boids 模型实验 ==

Boids模型，是一个著名的多主体模型，用于模拟鸟类的集体行为<ref name=":5">Reynolds C-W. Flocks, herds and schools: A distributed behavioral model. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, Denver,

Boids模型，是一个著名的多主体模型，用于模拟鸟类的集体行为<ref name=":5">Reynolds C-W. Flocks, herds and schools: A distributed behavioral model. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, Denver,

27 July - 1 August 1987.</ref>。此实验有四个基本目标：①NIS+识别CE的能力；②提高NIS+训练粗粒化策略的可解释性；③NIS+的泛化能力；④内在噪音和外部噪音对NIS+识别CE的影响。

27 July - 1 August 1987.</ref>。此实验有四个基本目标：①NIS+识别[[因果涌现|CE]]的能力；②提高NIS+训练粗粒化策略的可解释性；③NIS+的泛化能力；④内在噪音和外部噪音对NIS+识别[[因果涌现|CE]]的影响。

我们根据Reynolds(1987)<ref name=":5" />的方法模拟Boids模型，在300 × 300的画布上用N = 16个鸟生成训练数据。为了评估NIS+发现有意义的宏观状态的能力，我们将鸟群分为两组，并为每组引入不同的恒定转向力。这一修改确保了两组分别沿着不同转弯角度的轨迹运动，如图(a)所示。我们通过模拟生成训练和测试数据。在每个时间步长t上，微状态生成为4N维向量：

作者根据Reynolds(1987)<ref name=":5" />的方法模拟Boids模型，在300 × 300的画布上用N = 16个鸟生成训练数据。为了评估NIS+发现有意义的宏观状态的能力，作者将鸟群分为两组，并为每组引入不同的恒定转向力。这一修改确保了两组分别沿着不同转弯角度的轨迹运动，如图(a)所示。作者通过模拟生成训练和测试数据。在每个时间步长t上，微状态生成为4N维向量：

<math>X_t=(x_1^t,y_1^t,v_{x,1}^t,v_{y,1}^t, \dots, x_N^t,y_N^t,v_{x,N}^t,v_{y,N}^t) </math>

<math>X_t=(x_1^t,y_1^t,v_{x,1}^t,v_{y,1}^t, \dots, x_N^t,y_N^t,v_{x,N}^t,v_{y,N}^t) </math>

[[文件:Boids1.png|替代=|无框|800x800像素]]

[[文件:Boids1.png|替代=|无框|800x800像素]]

一、NIS+识别CE的能力。

一、NIS+识别[[因果涌现|CE]]的能力。

实验结果表明（图(a)），预测的涌现集体飞行行为（50步）与两组的真实轨迹密切相关，特别是在初始阶段。这些预测轨迹是通过将预测的宏观状态解码为相应的微观状态来生成的，两条实线表示它们的平均值。

实验结果表明（图(a)），预测的涌现集体飞行行为（50步）与两组的真实轨迹密切相关，特别是在初始阶段。这些预测轨迹是通过将预测的宏观状态解码为相应的微观状态来生成的，两条实线表示它们的平均值。

根据观察，CE在q = 8时达到最大值，如图(c)所示，这与本实验选择超参数q = 8（宏观变量的维度）相符。

根据观察，[[因果涌现|CE]]在q = 8时达到最大值，如图(c)所示，这与本实验选择超参数q = 8（宏观变量的维度）相符。

二、NIS+粗粒化策略的可解释性。

二、NIS+粗粒化策略的可解释性。

作者利用积分梯度(IG)<ref name=":6">Sundararajan M, Taly A and Yan Q. Axiomatic attribution for deep networks. Proceedings of the 34th International Conference on Machine Learning, Sydney, 6-11 August

作者利用积分梯度(IG)<ref name=":6">Sundararajan M, Taly A and Yan Q. Axiomatic attribution for deep networks. Proceedings of the 34th International Conference on Machine Learning, Sydney, 6-11 August

2017.</ref>来识别每个学到的涌现宏观状态维度中最重要的微观状态，将计算的IG归一化，并在每个宏观状态中提高微观状态的最大梯度，并且忽略每只鸟的速度维度（与宏观状态的相关性较低）。最后，作者将归一化的IG绘制成矩阵图。

2017.</ref>来识别每个学到的涌现宏观状态维度中最重要的微观状态，将计算的IG归一化，并在每个宏观状态中提高微观状态的最大梯度，并且忽略每只鸟的速度维度（与宏观状态的相关性较低）。最后，作者将归一化的IG绘制成矩阵图，用以描述每个宏观维度（纵轴）和每只鸟空间坐标（横轴）之间的关系，并用橙色点表示每个宏观状态中最重要的微观状态。

实验结果表明（图(d)），宏观状态的第1、2、5、6维分别对应第一组中的ID（ID<8），第3、4、7、8维对应第二组中的ID（ID>=8）。因此，学习到的粗粒化策略使用两个位置坐标来表示所有其他信息，形成一个维度的宏观状态。

实验结果表明（图(d)），宏观状态的第1、2、5、6维分别对应第一组中的ID（ID<8）（图(d)中group 1 的橙色点在第1行、第2行、第5行、第6行），第3、4、7、8维对应第二组中的ID（ID>=8）（图(d)中group 2 的橙色点在第3行、第4行、第7行、第8行）。因此，学习到的粗粒化策略使用两个位置坐标来表示所有其他信息，形成一个维度的宏观状态。

三、NIS+的泛化能力。

三、NIS+的泛化能力。

在生成训练数据的仿真过程中，所有鸟的位置被约束在一个半径为r的圆内，如图(a)所示。我们评估当初始位置位于较大的圆上时两种模型的预测能力。

在生成训练数据的仿真过程中，所有鸟的位置被约束在一个半径为r的圆内，如图(a)所示。作者评估当初始位置位于较大的圆上时两种模型的预测能力。

实验结果表明（图(b)），NIS+和NIS的MAE值随半径r的增加而增加，而预测误差MAE越小，泛化能力越好。结果清楚地表明，与NIS相比，NIS+在所有测试半径r上具有优越的泛化能力。

实验结果表明（图(b)），NIS+和[[NIS]]的MAE值随半径r的增加而增加，而预测误差MAE越小，泛化能力越好。结果清楚地表明，与[[NIS]]相比，NIS+在所有测试半径r上具有优越的泛化能力。

四、内在噪音和外部噪音对NIS+识别CE的影响。

四、内在噪音和外部噪音对NIS+识别CE的影响。

通过在每个时间步长为每只鸟增加随机转角，引入内在噪声。这些角度均匀分布在区间<math>\alpha\cdot [-\pi,\pi] </math>内，其中<math>\alpha\in[0,1] </math>是控制内在噪声大小的参数。另一方面，假定外部噪声会影响观测的微观状态。在这种情况下，我们假设不能直接观察到每个物体的微观状态，而是获得有噪声的数据。将外部或观测噪声<math>\delta\sim \mathcal{N}(0,\delta_{max}) </math>添加到微观状态中，<math>\delta_{max} </math>是决定该噪声水平的参数。

通过在每个时间步长为每只鸟增加随机转角，引入内在噪声。这些角度均匀分布在区间<math>\alpha\cdot [-\pi,\pi] </math>内，其中<math>\alpha\in[0,1] </math>是控制内在噪声大小的参数。另一方面，假定外部噪声会影响观测的微观状态。在这种情况下，作者假设不能直接观察到每个物体的微观状态，而是获得有噪声的数据。将外部或观测噪声<math>\delta\sim \mathcal{N}(0,\delta_{max}) </math>添加到微观状态中，<math>\delta_{max} </math>是决定该噪声水平的参数。

实验结果表明（图(f)和图(g)），在这两种情况下，归一化MAE都增加了，这表明随着内在和外在噪声的增加，预测任务更具挑战性。然而，这两种类型的噪声之间的差异可以通过检查CE(<math>\Delta{J}>0 </math>)的程度来观察。从图(f)可以看出，<math>\Delta{J}>0 </math>随外部噪声(<math>\delta_{max} </math>)的增大而增大，说明粗粒化可以在一定范围内减轻噪声，增强因果效应。<math>\delta_{max}<0.1 </math>时，归一化MAE小于0.3(黑色虚线)，满足式{{EquationNote|1}}的约束。在这种情况下，CE的程度随着<math>\delta_{max} </math>的增大而增大。然而，当超过0.3的阈值时，即使<math>\Delta{J}>0 </math>减小，我们也无法得出有意义的结论（违反了式{{EquationNote|1}}中的约束），结果的可靠性就会降低。从图(g)可以看出，<math>\Delta{J}>0 </math>随着内部噪声(α)水平的增加而减小。这是由于宏观层面的动态学习器试图在这一阶段捕捉每个群体的群体行为。然而，随着内部噪声的增加，群体行为逐渐减弱，导致CE降低。因为归一化MAE超过0.3的阈值时违反了式{{EquationNote|1}}中的约束，我们没有包括<math>\alpha>0.6 </math>的情况。图(e)显示了随机偏转角噪声<math>\alpha=0.4 </math>时候的真实轨迹和预测。可以观察到，在早期可以预测直线趋势，但随着噪声引起的偏差逐渐增大，误差也随之增大，CE降低。

实验结果表明（图(f)和图(g)），在这两种情况下，归一化MAE都增加了，这表明随着内在和外在噪声的增加，预测任务更具挑战性。然而，这两种类型的噪声之间的差异可以通过检查CE(<math>\Delta{J}>0 </math>)的程度来观察。从图(f)可以看出，<math>\Delta{J}>0 </math>随外部噪声(<math>\delta_{max} </math>)的增大而增大，说明粗粒化可以在一定范围内减轻噪声，增强因果效应。<math>\delta_{max}<0.1 </math>时，归一化MAE小于0.3(黑色虚线)，满足式{{EquationNote|1}}的约束。在这种情况下，[[因果涌现|CE]]的程度随着<math>\delta_{max} </math>的增大而增大。然而，当超过0.3的阈值时，即使<math>\Delta{J}>0 </math>减小，作者也无法得出有意义的结论（违反了式{{EquationNote|1}}中的约束），结果的可靠性就会降低。从图(g)可以看出，<math>\Delta{J}>0 </math>随着内部噪声(α)水平的增加而减小。这是由于宏观层面的动态学习器试图在这一阶段捕捉每个群体的群体行为。然而，随着内部噪声的增加，群体行为逐渐减弱，导致[[因果涌现|CE]]降低。因为归一化MAE超过0.3的阈值时违反了式{{EquationNote|1}}中的约束，作者没有计算<math>\alpha>0.6 </math>的情况。图(e)显示了随机偏转角噪声<math>\alpha=0.4 </math>时候的真实轨迹和预测。可以观察到，在早期可以预测直线趋势，但随着噪声引起的偏差逐渐增大，误差也随之增大，[[因果涌现|CE]]降低。

综上可知，NIS+具有识别涌现集体行为和噪声对涌现集体行为的影响程度的能力。

综上可知，NIS+具有识别涌现集体行为和噪声对涌现集体行为的影响程度的能力。

NIS+可以学习最优宏观动态和粗粒度策略，具有良好的泛化能力。学习到的宏观状态有效地识别了平均群体行为，并且可以使用IG方法将其归因于个体位置。此外，CE的程度随外在噪声的增加而增加，随内在噪声的增大而减少。这一观察结果表明，通过粗粒化可以消除外在噪声，而不能消除内在噪声。

NIS+可以学习最优宏观动态和粗粒度策略，具有良好的泛化能力。学习到的宏观状态有效地识别了平均群体行为，并且可以使用IG方法将其归因于个体位置。此外，[[因果涌现|CE]]的程度随外在噪声的增加而增加，随内在噪声的增大而减少。这一观察结果表明，通过粗粒化可以消除外在噪声，而不能消除内在噪声。

== 生命游戏模型实验 ==

== 生命游戏模型实验 ==

 

 

[[文件:Gamelife.png|替代=|无框|800x800像素]]

[[文件:Gamelife.png|替代=|无框|800x800像素]]

一、NIS+捕获模式的能力。

一、NIS+的多功能性。

二、NIS+的泛化能力。

本实验中使用的体系结构如图10(e)所示。整个粗粒度过程可分为两个步骤：①在固定大小的窗口（本文为3x3窗口）内聚合信息，获得空间粗粒化结果；②将这些结果在多个连续的时间步长上聚合，形成一个时空粗粒化的宏观状态。所有这些过程都是通过NIS+中的并行编码器实现的。

我们比较了在不同于初始随机模式下，NIS和NIS+对8种不同模式类型的多步预测性能。

二、NIS+捕获模式的能力。

实验结果表明（图(f)），对于所有模式类型，NIS+始终比NIS具有更高的AUC(曲线下面积)。其中，在x坐标的刻度标签中，我们采用“模式名称(数量)”的格式来表示各种初始条件。例如，“滑翔机(2)”表示包含两个滑翔机的初始配置。实验表明，NIS+在捕获这些模式方面具有优越的泛化能力。

作者使用随机初始条件下模拟生成的数据来训练NIS+，并提取从第100步到第120步的状态时间序列。图(a)、(b)和(c)显示了由真实宏观机制模拟(第一行)和NIS+预测(第三行)生成的动态模式，以及可以进行这些预测的涌现宏观状态(第二行)。作者将两个连续时间步长的图像输入到NIS+中，再用两个连续时间步长得到另一个图像对。把上面的图片和下面的图片比较一下，图案是相似的。然而，由于在随机初始条件下具有某些模式的训练样本出现有限，第三列的学习和预测模式有些（特别是“滑翔机”模式）显得模糊。为了提高预测的质量，作者生成一组包含两个“滑翔机”初始条件的新训练样本。结果如图(d)所示，尽管这个测试环境中的滑翔机数量是3个，预测也更加清晰。这意味着，NIS+可以捕获包括移动、静态和振荡结构在内的模式。

三、NIS+识别CE的能力。

三、NIS+的泛化能力。

实验结果表明（图(g)），除“随机”情况外，其余8例均发生CE。“滑翔机”型由于预测不良，CE程度最低（见图(c)）。其余7种模式的<math>\Delta{J} </math>值相似。这些结果表明，<math>\Delta{J} </math>提供了CE发生的更合理的指示。但是，对于Ψ，所有情况产生的值都小于或等于0，这可能是因为Ψ的近似忽略了许多冗余信息，使得Ψ无法确定CE是否发生。因此，本文提出的<math>\Delta{J} </math>是一种较好的鉴别CE的方法。

实验结果表明（图(f)），对于所有模式类型，NIS+始终比[[NIS]]具有更高的AUC(曲线下面积)。其中，在x坐标的刻度标签中，作者采用“模式名称(数量)”的格式来表示各种初始条件。例如，“滑翔机(2)”表示包含两个滑翔机的初始配置。实验表明，NIS+在捕获这些模式方面具有优越的泛化能力。

四、NIS+的多功能性。

四、NIS+识别CE的能力。

本实验中使用的体系结构如图10(e)所示。整个粗粒度过程可分为两个步骤：①在固定大小的窗口（本文为3x3窗口）内聚合信息，获得空间粗粒化结果；②将这些结果在多个连续的时间步长上聚合，形成一个时空粗粒化的宏观状态。所有这些过程都是通过NIS+中的并行编码器实现的。

实验结果表明（图(g)），除“随机”情况外，其余8例均发生[[因果涌现|CE]]。由于出现“滑翔机”的训练样本有限，NIS+在此部分训练不充分，故“滑翔机”型预测不良，[[因果涌现|CE]]程度最低（见图(c)）。其余7种模式的<math>\Delta{J} </math>值相似。这些结果表明，<math>\Delta{J} </math>提供了[[因果涌现|CE]]发生的更合理的指示。但是，对于Ψ，所有情况产生的值都小于或等于0，这可能是因为此系统是一个高维的复杂系统，冗余信息更多，而Ψ的近似忽略了许多冗余信息，使得Ψ无法确定[[因果涌现|CE]]是否发生。因此，本文提出的<math>\Delta{J} </math>是一种较好的鉴别[[因果涌现|CE]]的方法。

== 大脑fMRI 实验 ==

== 大脑fMRI 实验 ==

作者在830名受试者(AOMIC ID1000)的大脑fMRI真实时间序列数据上测试了NIS+<ref name=":7">Snoek L, Miesen M and Beemsterboer T et al. The amsterdam open mri collection, a set of multimodal mri datasets for individual difference analyses. Sci Data 2021; 8: 03.</ref>。fMRI扫描数据是在受试者观看同一段电影时收集的，这对应于具有不同初始条件的相同动力学的时间序列。采样率（重复时间）为：ID1000为2.2s，PIOP2为2s。我们通过Schaefer atlas方法对原始数据进行预处理<ref>Schaefer A, Kong R and Gordon E-M et al. Local-Global Parcellation of the Human Cerebral Cortex from Intrinsic Functional Connectivity MRI. Cereb Cortex 2017; 28:3095–3114.</ref>，将每个受试者的时间序列维数从大约140,000（不同受试者的维数不同）降至100，使NIS+能够运行并获得更清晰的结果。然后，选取前800个时间序列数据进行训练，剩下的30个时间序列进行测试。作者还将结果与另一个fMRI数据集AOMIC PIOP2<ref name=":7" />进行了比较，其中50名受试者处于静息状态。

作者在830名受试者(AOMIC ID1000)的大脑fMRI真实时间序列数据上测试了NIS+<ref name=":7">Snoek L, Miesen M and Beemsterboer T et al. The amsterdam open mri collection, a set of multimodal mri datasets for individual difference analyses. Sci Data 2021; 8: 03.</ref>。fMRI扫描数据是在受试者观看同一段电影时收集的，这对应于具有不同初始条件的相同动力学的时间序列。采样率（重复时间）为：ID1000为2.2s，PIOP2为2s。作者通过Schaefer atlas方法对原始数据进行预处理<ref>Schaefer A, Kong R and Gordon E-M et al. Local-Global Parcellation of the Human Cerebral Cortex from Intrinsic Functional Connectivity MRI. Cereb Cortex 2017; 28:3095–3114.</ref>，将每个受试者的时间序列维数从大约140,000（不同受试者的维数不同）降至100，使NIS+能够运行并获得更清晰的结果。然后，选取前800个时间序列数据进行训练，剩下的30个时间序列进行测试。作者还将结果与另一个fMRI数据集AOMIC PIOP2<ref name=":7" />进行了比较，其中50名受试者处于静息状态。

[[文件:NIS+_brain.jpg|替代=|无框|650x650像素]]

[[文件:NIS+_brain.jpg|替代=|无框|650x650像素]]

实验结果表明（图(a)），当q = 27和q = 1时，NIS+的预测效果更好。具体来说，随着预测步骤的增加，与q = 1的曲线相比，q = 27的曲线显示出较慢的增长率。这表明选择超参数q为27可能比1更合适。

实验结果表明（图(a)），当q = 27和q = 1时，NIS+的预测效果更好。具体来说，随着预测步骤的增加，与q = 1的曲线相比，q = 27的曲线显示出较慢的增长率。这表明选择超参数q为27可能比1更合适。

然而，图(b)显示了不同的结果。当比较不同超参数q（绿色条）的CE（<math>\Delta{J} </math>）程度时，当q = 1时观察到最高的<math>\Delta{J} </math>。反之，当q = 27时，<math>\Delta{J} </math>值为负。这表明，当q = 27时，预测结果的改善可能是由于过拟合。因此，就<math>\Delta{J} </math>而言，q = 1优于q的其他值。尽管观察到q = 1时<math>\Delta{J} </math>的标准差较大，但NIS框架（红色条形图）支持了这一发现。此外，作者还将CE的结果与静息数据进行了比较，观察到NIS（深蓝色条）和NIS+（黄色条）在q = 7处达到峰值，这正好是Schaefer atalas中子系统的数量。因此，我们可以得出这样的结论：当被试观看电影时，大脑不同区域的活动可以在每个时间步上用一个实数来表示。

然而，图(b)显示了不同的结果。当比较不同超参数q（绿色条）的[[因果涌现|CE]]（<math>\Delta{J} </math>）程度时，当q = 1时观察到最高的<math>\Delta{J} </math>。反之，当q = 27时，<math>\Delta{J} </math>值为负。这表明，当q = 27时，预测结果的改善可能是由于过拟合。因此，就<math>\Delta{J} </math>而言，q = 1优于q的其他值。尽管观察到q = 1时<math>\Delta{J} </math>的标准差较大，但NIS框架（红色条形图）支持了这一发现。因此，作者得出结论：当被试观看电影时，大脑不同区域的活动可以在每个时间步上用一个实数来表示。此外，作者还将[[因果涌现|CE]]的结果与静息数据进行了比较，观察到NIS（深蓝色条）和NIS+（黄色条）在q = 7处达到峰值，这正好是Schaefer atalas中子系统的数量。

二、尝试研究粗粒化如何将输入数据转化为一维宏观状态。

二、尝试研究粗粒化如何将输入数据转化为一维宏观状态。

作者使用IG方法来识别微观状态的最重要维度<ref name=":6" />。

作者使用IG方法来识别微观状态的最重要维度<ref name=":6" />。

实验结果表明（图(c)和图(d)），视觉（VIS）子网络（受试者在观看电影片段时使用的功能系统）表现出最高的归因（图(c)）。此外，我们可以在大脑地图上更详细地看到活动区域（图(d)），其中较深的颜色表示更大程度上归因于单一宏观状态。因此，NIS+识别出的颜色相似的最深的区域，对应于大脑的深度视觉处理区域，可能代表了大脑在积极观看电影时的“协同核心”<ref>Luppi A, Mediano P and Rosas F et al. A synergistic core for human brain evolution and cognition. Nat Neurosci 2022; 25: 1–12.</ref>。这些区域的数字神经元可能协同作用。然而，通过将微观状态和宏观状态之间的[[互信息]]分解为协同信息、冗余信息和独特信息，还可以进一步证实和量化这一结论<ref name=":0" />。

实验结果表明（图(c)和图(d)），视觉（VIS）子网络（受试者在观看电影片段时使用的功能系统）表现出最高的归因（图(c)）。此外，作者在大脑地图上绘制了活动区域（图(d)），其中较深的颜色表示更大程度上归因于单一宏观状态。因此，NIS+识别出的颜色相似的最深的区域，对应于大脑的深度视觉处理区域，可能代表了大脑在积极观看电影时的“协同核”<ref>Luppi A, Mediano P and Rosas F et al. A synergistic core for human brain evolution and cognition. Nat Neurosci 2022; 25: 1–12.</ref>。这些区域的神经元可能协同作用。通过将微观状态和宏观状态之间的[[互信息]]分解为协同信息、冗余信息和独特信息，还可以进一步证实和量化这一结论<ref name=":0" />。

综上，NIS+展示了其学习和粗粒化来自大脑的复杂fMRI信号的能力，并允许使用单个宏观状态来模拟复杂的动态。

综上，NIS+展示了其学习和粗粒化来自大脑的复杂fMRI信号的能力，并允许使用单个宏观状态来模拟复杂的动态。

受[[因果涌现]]理论的启发，作者构建了一种新的[[机器学习 Machine Learning|机器学习]]框架Neural Information Squeezer Plus (NIS+)来学习涌现宏观动力学，并直接从数据中找到合适的粗粒化方法、量化各种条件下CE的程度。

受[[因果涌现]]理论的启发，作者构建了一种新的[[机器学习 Machine Learning|机器学习]]框架Neural Information Squeezer Plus (NIS+)来学习涌现宏观动力学，并直接从数据中找到合适的粗粒化方法、量化各种条件下CE的程度。

与其他机器学习框架相比，NIS+专注于在保持有效性约束的同时最大化宏观动力学的有效信息（EI）。这使得学习到的涌现宏观动力学能够捕获尽可能独立于输入数据分布的不变因果机制。这个特性不仅使NIS+能够识别不同环境中的数据CE，而且还增强了它对不同于训练数据的环境进行泛化的能力。通过将误差约束纳入式{{EquationNote|1}}，我们增强了EI最大化框架的鲁棒性，解决了<ref>Eberhardt F and Lee L-L. Causal emergence: When distortions in a map obscure the territory. Philosophies 2022; 7: 30.</ref>中提出的重整化和时间演化算子的交换性问题。我们的框架确保微观动力学演化与编码的宏观动力学相匹配。由于解码器是编码器的逆，这种不断发展的微观状态和宏观编码之间的一致性证实了学习动力学和粗粒化方法是可交换的。因此，NIS+扩展了Hoel<ref name=":8" />的CE理论，使其既适用于离散和连续动力系统，也适用于实际数据。

与其他机器学习框架相比，NIS+专注于在保持有效性约束的同时最大化宏观动力学的有效信息（EI）。这使得学习到的涌现宏观动力学能够捕获尽可能独立于输入数据分布的不变因果机制。这个特性不仅使NIS+能够识别不同环境中的数据CE，而且还增强了它对不同于训练数据的环境进行泛化的能力。通过将误差约束纳入式{{EquationNote|1}}，我们增强了EI最大化框架的鲁棒性，解决了<ref>Eberhardt F and Lee L-L. Causal emergence: When distortions in a map obscure the territory. Philosophies 2022; 7: 30.</ref>中提出的重整化和时间演化算子的交换性问题。我们的框架确保微观动力学演化与编码的宏观动力学相匹配。由于编码器和解码器所使用的神经网络互为可逆函数且参数共享，这种微观状态和编码成的宏观状态之间的一致性证实了学习动力学和粗粒化方法是可交换的。因此，NIS+扩展了Hoel<ref name=":8" />的CE理论，使其既适用于离散和连续动力系统，也适用于实际数据。

实验表明，①通过最大化EI，NIS+的多步预测能力、泛化能力、模式捕获能力优于其他机器学习模型，可以在隐空间中获得更稳健的宏观动力学。②NIS+可以比Ψ指标更合理地量化CE。NIS+可以有效地学习复杂系统的粗粒度化过程，并使用积分梯度(IG)方法可以将宏观状态和微观状态之间的关系可视化，从而可以识别微观状态中最重要的变量。③外在噪声会增加CE，而内在噪声会降低CE。这表明，由观测不确定性引起的外部噪声可以通过学到的粗粒化策略减轻。另一方面，由于动态规则的内在不确定性而产生的固有噪声无法消除。

实验表明，①通过最大化EI，NIS+的多步预测能力、泛化能力、模式捕获能力优于其他机器学习模型，可以在隐空间中获得更稳健的宏观动力学。②NIS+可以比Ψ指标更合理地量化CE。NIS+可以有效地学习复杂系统的粗粒度化过程，并使用积分梯度(IG)方法可以将宏观状态和微观状态之间的关系可视化，从而可以识别微观状态中最重要的变量。③外在噪声会增加CE，而内在噪声会降低CE。这表明，由观测不确定性引起的外部噪声可以通过学到的粗粒化策略减轻。另一方面，由于动态规则的内在不确定性而产生的固有噪声无法消除。