196
个编辑
更改
跳到导航
跳到搜索
第72行：
第72行： − + 第94行：
第94行： − 在编码器一步，虽然有丢失信息，但是通过数学证明可以得知，当神经网络训练收敛时，数据中相邻宏观状态之间的互信息倾向于接近两个相邻时间步的微观态互信息，丢失的信息与预测几乎无关，所有有效信息都汇聚到动力学学习器的信息瓶颈之中。且在此框架下，信息瓶颈的应用更加明显、更具可解释性。+ 第100行：
第100行： − + 第118行：
第118行： + + − + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + 第594行：
第739行： − +
无编辑摘要
== 数学问题定义 ==
== 数学问题定义 ==
假设复杂动态系统的行为数据是时间序列 <math>\{x_t\}</math>，时间步长<math>t = 1,2，…， T</math>，维数是p，它们构成了可观测的微观状态，我们假设不存在未观测变量。一个粗粒化策略（编码器） <math>ϕ: R_p → R_q</math> ，其中 <math>q ≤ p</math>， <math>q </math>是宏观状态的维度，作为超参数给定；一个相应的反粗粒化策略（解码器）<math>ϕ^\dagger: R_q → R_p</math>，以及一个宏观层面的马尔可夫动力学（动力学学习器）<math>f_q</math> ，使得<math>f_q</math>的有效信息（<math>\mathcal{J}</math>）值在通过<math>ϕ</math>、<math>f_q</math>和<math>ϕ^\dagger</math>预测出的<math>x_{t+1}</math>与<math>x_{t+1}</math>的实际数据的差距最小的约束下最大化。<math>\epsilon</math>是给定的常数。它们的关系用方程表示为：
假设复杂动态系统的行为数据是时间序列 <math>\{x_t\}</math>，时间步长<math>t = 1,2，…， T</math>，维数是p，它们构成了可观测的微观状态，我们假设不存在未观测变量。一个粗粒化策略（编码器） <math>ϕ: R_p → R_q</math> ，其中 <math>q ≤ p</math>， <math>q </math>是宏观状态的维度，作为超参数给定；一个相应的反粗粒化策略（解码器）<math>ϕ^\dagger: R_q → R_p</math>，以及一个宏观层面的马尔可夫动力学（动力学学习器）<math>f_q</math> ，使得<math>f_q</math>的[[有效信息]]（<math>\mathcal{J}</math>）值在通过<math>ϕ</math>、<math>f_q</math>和<math>ϕ^\dagger</math>预测出的<math>x_{t+1}</math>与<math>x_{t+1}</math>的实际数据的差距最小的约束下最大化。<math>\epsilon</math>是给定的常数。它们的关系用方程表示为：
{{NumBlk|：|2=<nowiki>[math]\displaystyle{ \begin{aligned}&\max_{\phi,f_{q},\phi^{+}}\mathcal{J}(f_{q}),\\&s.t.\begin{cases}\parallel\hat{x}_{t+1}-x_{t+1}\parallel\lt \epsilon,\\\hat{x}_{t+1}=\phi^{\dagger}\left(f_{q}(\phi(x_{t})\bigr)\right).\end{cases}\end{aligned} }[/math]</nowiki>|3={{EquationRef|1}}}}
{{NumBlk|：|2=<nowiki>[math]\displaystyle{ \begin{aligned}&\max_{\phi,f_{q},\phi^{+}}\mathcal{J}(f_{q}),\\&s.t.\begin{cases}\parallel\hat{x}_{t+1}-x_{t+1}\parallel\lt \epsilon,\\\hat{x}_{t+1}=\phi^{\dagger}\left(f_{q}(\phi(x_{t})\bigr)\right).\end{cases}\end{aligned} }[/math]</nowiki>|3={{EquationRef|1}}}}
</math>
</math>
在编码器一步，虽然有丢失信息，但是通过数学证明可以得知，当神经网络训练收敛时，数据中相邻宏观状态之间的互信息倾向于接近两个相邻时间步的微观态互信息，丢失的信息与预测几乎无关，所有[[有效信息]]都汇聚到动力学学习器的信息瓶颈之中。且在此框架下，信息瓶颈的应用更加明显、更具可解释性。
然而由于该目标函数是一个泛函优化问题，往往很难优化。为了解决这个问题，作者将优化过程分为两个阶段。
然而由于该目标函数是一个泛函优化问题，往往很难优化。为了解决这个问题，作者将优化过程分为两个阶段。
第一个阶段：在给定宏观尺度<math>q </math>的情况下，最小化预测误差<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>。可以采用随机梯度下降技术，通过训练神经网络解决。在此步，我们可以得到依赖于q的有效粗粒化策略和宏观动力学。
第一个阶段：在给定宏观尺度<math>q </math>的情况下，最小化预测误差<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>。可以采用随机梯度下降技术，通过训练神经网络解决。在此步，我们可以得到依赖于q的有效粗粒化策略和宏观动力学。
第二个阶段：由于参数 <math>q</math> 是一维的，且 <math>0 < q < p</math>，简单迭代找到有效信息最大的宏观尺度。此步将复杂的泛函问题转化成一维空间中线性搜索问题。
第二个阶段：由于参数 <math>q</math> 是一维的，且 <math>0 < q < p</math>，简单迭代找到[[有效信息]]最大的宏观尺度。此步将复杂的泛函问题转化成一维空间中线性搜索问题。
具体请阅读词条[[NIS]]。
具体请阅读词条[[NIS]]。
== 概述 ==
== 概述 ==
在[[NIS]]中，作者将问题转换成一个两阶段的泛函问题，先在给定的尺度下，最小化预测误差，之后，在通过简单迭代找到[[有效信息]]最大的宏观尺度。但是，两阶段的方法并不能真正地最大化[[有效信息]]，不能得到最好的粗粒化策略和[[因果涌现]]，故作者提出了NIS+。
[[文件:NIS+odd.png|替代=|无框|800x800像素]]
[[文件:NIS+odd.png|替代=|无框|800x800像素]]
为了最大化式{{EquationNote|1}}中定义的EI，作者将NIS的框架扩展为NIS+。在NIS+中，我们首先使用互信息和变分不等式的公式将互信息的最大化问题转化为机器学习问题，其中，使用<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，从而保证[[互信息]]最大化。这里，[math]\phi[/math]是反向动力学学习器神经网络。最后，利用样本重加权技术来解决均匀分布干预的挑战，从而优化EI。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref>Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。在此框架中，输入可观测的数据，输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略。
为了最大化式{{EquationNote|1}}中定义的EI，作者将NIS的框架扩展为NIS+。在NIS+中（如图(b)），我们首先使用互信息和变分不等式的公式将互信息的最大化问题转化为机器学习问题，其中，使用<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，从而保证[[互信息]]最大化。这里，[math]\phi[/math]是反向动力学学习器神经网络。最后，利用样本重加权技术来解决均匀分布干预的挑战，从而优化EI。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref>Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。在此框架中，输入可观测的数据（如图(a)，可以是轨迹、图像序列、时间序列。），输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略（如图(c)）。
== NIS+ 框架有效性的验证（数值实验） ==
在此部分中，作者通过四个实验验证NIS+框架有效性：[[SIR]]模型实验、[[鸟群算法|Boids模型]]实验、[[生命游戏模型]]实验、大脑fMRI实验。实验数据包括人脑的核磁共振成像数据和不同的人工模型(动态系统、多主体系统和元胞自动机)生成的数据。每个实验中，作者评估了NIS+的[[因果涌现]]识别能力和泛化能力。
=== SIR模型实验 ===
在本实验中，[[SIR]]（Susceptible<math>\rightarrow</math>Infected<math>\rightarrow</math>Recovered Model）模型是一个简单的宏观动态系统，而微观变量是通过在宏观变量中引入噪声来产生的。这是一个已知宏观机制的玩具模型，可以验证NIS+是否真的做到了宏观[[有效信息]]最大化。
[[SIR]]宏观动力学可以描述为：
<math>\begin{cases}
\frac{\mathrm{d}S}{\mathrm{d}t}=-\beta SI, \\
\frac{\mathrm{d}I}{\mathrm{d}t}=\beta SI - \gamma I, \\
\frac{\mathrm{d}R}{\mathrm{d}t}= \gamma I,
\end{cases}</math>
其中<math>S,I,R\in[0,1]</math>表示种群中健康，感染和康复或死亡个体的比例，<math>\beta=1</math>是感染率，即健康人感染成感染者的概率，<math>\gamma=0.5</math>是恢复率，即感染者康复或者死亡的概率。图(a)显示了[[SIR]]动力学的相空间(S, I, R)。由于[[SIR]]模型只有两个自由度（<math>S + I + R = 1 </math>），所以所有的宏观状态都分布在三维的三角形平面上，故作者仅用S和I构成宏观状态变量<math>\boldsymbol{y}=(S,I) </math>。
同时，作者通过引入高斯噪声将<math>\boldsymbol{y}=(S,I) </math>展开为一个四维变量，并将其看做微观状态。
<math>\begin{cases}\boldsymbol{S}'=(S,S)+\boldsymbol{\xi}_1, \\\boldsymbol{I}'=(I,I)+\boldsymbol{\xi}_2\end{cases} </math>
其中，<math>\boldsymbol{\xi}_1,\boldsymbol{\xi}_2 \sim \scriptsize{N}(0,\Sigma) </math>为相互独立的二维高斯噪声，<math>\Sigma </math>为相关矩阵。微观状态序列<math>\boldsymbol{x}_t = (\boldsymbol{S}'_t,\boldsymbol{I}'_t) </math>作为实验中的训练样本。作者在图(a)的三角形区域内采样，以此来随机选择初始条件，并使用上述过程生成时间序列数据，用以训练模型。
[[文件:NIS+_sir.jpg|替代=|无框|700x700像素]]
一、NIS+识别[[因果涌现|CE]]的能力。
首先，为了确保[[有效信息|EI]]被NIS+最大化，作者绘制相应图形，观察[[有效信息|EI]](维平均)J在训练时期的演变。
实验结果表明（图(b)），NIS+(红色实线)、[[NIS]](黑色虚线)和VAE+(绿色实线)的曲线呈上升趋势，但NIS+的增长速度更快。这表明NIS+比其他模型更能有效地最大化J。值得注意的是，[[NIS]]也表现出EI的自然增长，因为它逐渐使预测误差最小化。
其次，为了检验NIS+检测和识别CE的能力，作者计算随着噪音的增大，<math>\Delta{J} </math>的变化，并将其与<math>\Psi </math>指标进行比较。比较过程中，作者利用从NIS+中学习到的宏观状态来计算<math>\Psi </math>。结果用图(e)中的黑色和黄色实线表示。
实验结果表明（图(e)），当<math>σ ＜0.01 </math>时，<math>\Delta{J}>0 </math>始终保持不变，但<math>\sigma=10^{-3} </math>后，<math>\Psi>0 </math>。NIS+表明在低噪声水平[[因果涌现]]始终发生，而信息分解的方法则并非如此。NIS+的结果更合理，因为它可以从有噪声的数据中提取出类似于真实宏观机制的宏观动力学，并且这种确定性动力学应该比有噪声的微观动力学具有更大的EI。作者还分别绘制了宏观和微观动力学曲线<math>J(f_M) </math>(红色虚线)和<math>J(f_m) </math>(绿色虚线)。这些曲线随着σ的增大而减小，但<math>J(f_m) </math>的减小速度更快，导致观测到[[因果涌现|CE]]的发生。但是，当<math>\Psi<0 </math>时，因为Ψ只能为[[因果涌现|CE]]提供充分条件，作者不能做出明确的判断。这两个指标在<math>\sigma=10^{-2} </math>处达到峰值，这与作者模拟中使用的时间步长（<math>dt=0.01 </math>）的大小相对应，反映了微观状态的变化水平。另一方面，如果噪声过大，有限的观测数据将使NIS+难以从数据中准确识别正确的宏观动力学。因此，[[因果涌现|CE]]的程度降至零。虽然NIS+判定<math>σ ＞ 10 </math>时不存在[[因果涌现|CE]]，但这一结果并不可靠，因为<math>\sigma=10^{-2} </math>后的归一化预测误差已经超过了所选阈值0.3(垂直虚线和虚线)。
二、NIS+与其他模型比较预测和泛化能力。
比较的模型包括NIS模型、前馈神经网络（NN）、变分自编码器（VAE）。为了进行公平比较，作者确保所有模型具有大致相同数量的参数，且将样本重加权技术和反向动力学技术应用于前馈神经网络（NN）和变分自编码器（VAE），构建出NN+和VAE+。
在单独的测试数据集上预测多个时间步（10步）的未来状态，以比较NIS+与其他模型的预测未来状态的能力。之后，以图(a)中带点区域为训练数据集，即<math>\frac{1}{3} ≤ S ≤ 1 </math>的部分。以图(a)中整个蓝色三角形为测试数据集，即<math>0 ≤ S ≤ 1 </math>的部分。这样训练NIS+的时候不会用到<math>0 ≤ S ≤ \frac{1}{3} </math>的数据，但是测试NIS+的时候会用到<math>0 ≤ S ≤ \frac{1}{3} </math>的数据，可以通过测试<math>0 ≤ S ≤ \frac{1}{3} </math>的数据的误差大小来比较各个模型的泛化能力。
实验结果表明（图(d)），NIS+和[[NIS]]在整体数据集上（绿色条）表现优于其他模型（NN、NN+、VAE、VAE+）。这说明在编码器和解码器中使用[[可逆神经网络]]会更好。
实验结果表明（图(d)），NIS+的分布外泛化能力优于其他模型，在部分数据集上，不同模型之间的差异较大。
三、NIS+能否发现真正的宏观动态。
将真实的[[SIR]]动力学的向量场（<math>d\boldsymbol{y}/dt </math>）（红色）、基于编码器的雅可比矩阵得到的理论向量（蓝色）与通过模型学习到的宏观动态的向量（<math>d(h_1,h_2)/dt </math>）（绿色）进行比较。
实验结果表明（图(c)表示NIS+，图(f)表示[[NIS]]），学习到的向量与真实向量对齐和理论向量对齐。NIS+明显优于[[NIS]]，尤其是在没有训练样本的外围区域。
综上可知，通过最大化[[有效信息|EI]]和学习独立的因果机制，NIS+可以有效地忽略数据中的噪声，准确地学习真实宏观动态，并有良好的泛化能力。此外，NIS+在识别[[因果涌现|CE]]方面表现出优越的性能。
=== Boids 模型实验 ===
[[鸟群算法|Boids模型]]，是一个著名的多主体模型，用于模拟鸟类的集体行为<ref name=":5" />。此实验有四个基本目标：①NIS+识别[[因果涌现|CE]]的能力；②提高NIS+训练粗粒化策略的可解释性；③NIS+的泛化能力；④内在噪音和外部噪音对NIS+识别[[因果涌现|CE]]的影响。
作者根据Reynolds(1987)<ref name=":5" />的方法模拟[[鸟群算法|Boids模型]]，在300 × 300的画布上用N = 16个鸟生成训练数据。为了评估NIS+发现有意义的宏观状态的能力，作者将鸟群分为两组，并为每组引入不同的恒定转向力。这一修改确保了两组分别沿着不同转弯角度的轨迹运动，如图(a)所示。作者通过模拟生成训练和测试数据。在每个时间步长t上，微状态生成为4N维向量：
<math>X_t=(x_1^t,y_1^t,v_{x,1}^t,v_{y,1}^t, \dots, x_N^t,y_N^t,v_{x,N}^t,v_{y,N}^t) </math>
其中<math>(x_i^t,y_i^t) </math>是位置，<math>(v_{x,i}^t,v_{y,i}^t) </math>是时刻t的速度，<math>i=1,2,\dots,16 </math>。
[[文件:Boids1.png|替代=|无框|800x800像素]]
一、NIS+识别[[因果涌现|CE]]的能力。
实验结果表明（图(a)），预测的涌现集体飞行行为（50步）与两组的真实轨迹密切相关，特别是在初始阶段。这些预测轨迹是通过将预测的宏观状态解码为相应的微观状态来生成的，两条实线表示它们的平均值。
对于宏观状态，一群鸟需要两个坐标相关的维度和两个速度相关的维度来描述它们的运动状态。所以两组鸟需要八个维度。作者推测有一只鸟作为这群鸟的代表，观察这只鸟的情况可以预测这群鸟的整体运动趋势。然后作者利用两个位置维度来进行预测。除了表示位置的两个维度外，速度还可以由两个连续时刻之间的位置差导出。然而，一次只能输入来自单个时刻的信息，这就需要额外的自由度来表示速度。因此，作者仍然需要八个自由度来描述两组鸟的宏观状态。
根据观察，[[因果涌现|CE]]在q = 8时达到最大值，如图(c)所示，这与本实验选择超参数q = 8（宏观变量的维度）相符。
二、NIS+粗粒化策略的可解释性。
作者利用积分梯度(IG)<ref name=":6" />来识别每个学到的涌现宏观状态维度中最重要的微观状态，将计算的IG归一化，并在每个宏观状态中提高微观状态的最大梯度，并且忽略每只鸟的速度维度（与宏观状态的相关性较低）。最后，作者将归一化的IG绘制成矩阵图，用以描述每个宏观维度（纵轴）和每只鸟空间坐标（横轴）之间的关系，并用橙色点表示每个宏观状态中最重要的微观状态。
实验结果表明（图(d)），宏观状态的第1、2、5、6维分别对应第一组中的ID（ID<8）（图(d)中group 1 的橙色点在第1行、第2行、第5行、第6行），第3、4、7、8维对应第二组中的ID（ID>=8）（图(d)中group 2 的橙色点在第3行、第4行、第7行、第8行）。因此，学习到的粗粒化策略使用两个位置坐标来表示所有其他信息，形成一个维度的宏观状态。
三、NIS+的泛化能力。
在生成训练数据的仿真过程中，所有鸟的位置被约束在一个半径为r的圆内，如图(a)所示。作者评估当初始位置位于较大的圆上时两种模型的预测能力。
实验结果表明（图(b)），NIS+和[[NIS]]的MAE值随半径r的增加而增加，而预测误差MAE越小，泛化能力越好。结果清楚地表明，与[[NIS]]相比，NIS+在所有测试半径r上具有优越的泛化能力。
四、内在噪音和外部噪音对NIS+识别[[因果涌现|CE]]的影响。
通过在每个时间步长为每只鸟增加随机转角，引入内在噪声。这些角度均匀分布在区间<math>\alpha\cdot [-\pi,\pi] </math>内，其中<math>\alpha\in[0,1] </math>是控制内在噪声大小的参数。另一方面，假定外部噪声会影响观测的微观状态。在这种情况下，作者假设不能直接观察到每个物体的微观状态，而是获得有噪声的数据。将外部或观测噪声<math>\delta\sim \mathcal{N}(0,\delta_{max}) </math>添加到微观状态中，<math>\delta_{max} </math>是决定该噪声水平的参数。
实验结果表明（图(f)和图(g)），在这两种情况下，归一化MAE都增加了，这表明随着内在和外在噪声的增加，预测任务更具挑战性。然而，这两种类型的噪声之间的差异可以通过检查CE(<math>\Delta{J}>0 </math>)的程度来观察。从图(f)可以看出，<math>\Delta{J}>0 </math>随外部噪声(<math>\delta_{max} </math>)的增大而增大，说明粗粒化策略可以在一定范围内减轻噪声，增强[[因果效应]]。<math>\delta_{max}<0.1 </math>时，归一化MAE小于0.3(黑色虚线)，满足式{{EquationNote|1}}的约束。在这种情况下，[[因果涌现|CE]]的程度随着<math>\delta_{max} </math>的增大而增大。然而，当超过0.3的阈值时，即使<math>\Delta{J}>0 </math>减小，作者也无法得出有意义的结论（违反了式{{EquationNote|1}}中的约束），结果的可靠性就会降低。从图(g)可以看出，<math>\Delta{J}>0 </math>随着内部噪声(α)水平的增加而减小。这是由于宏观层面的动态学习器试图在这一阶段捕捉每个群体的群体行为。然而，随着内部噪声的增加，群体行为逐渐减弱，导致[[因果涌现|CE]]降低。因为归一化MAE超过0.3的阈值时违反了式{{EquationNote|1}}中的约束，作者没有计算<math>\alpha>0.6 </math>的情况。图(e)显示了随机偏转角噪声<math>\alpha=0.4 </math>时候的真实轨迹和预测。可以观察到，在早期可以预测直线趋势，但随着噪声引起的偏差逐渐增大，误差也随之增大，[[因果涌现|CE]]降低。
综上可知，NIS+具有识别涌现集体行为和噪声对涌现集体行为的影响程度的能力。
NIS+可以学习最优宏观动态和粗粒度策略，具有良好的泛化能力。学习到的宏观状态有效地识别了平均群体行为，并且可以使用IG方法将其归因于个体位置。此外，[[因果涌现|CE]]的程度随外在噪声的增加而增加，随内在噪声的增大而减少。这一观察结果表明，通过粗粒化可以消除外在噪声，而不能消除内在噪声。
=== 生命游戏模型实验 ===
康威的生命游戏是一个著名的二维元胞自动机模型，在这个模型上出现了滑翔机、正方形、花朵、信号灯、蜂窝、交通灯等各种有趣的动态模式。与[[SIR]]模型和[[鸟群算法|Boids模型]]不同的是，在规则网格上，生命游戏模型在每个时间步长的微观状态是离散的（0或1）。此外，微观动力学不能用微分方程或差分方程来表示，而是用规则表来表示。
[[文件:Gamelife.png|替代=|无框|800x800像素]]
一、NIS+的拓展。
为了进行此实验，作者在空间和时间维度上对元胞自动机的微观状态进行粗粒化处理。为此，作者引入了时空卷积的概念。
本实验中使用的体系结构如图10(e)所示。整个粗粒化过程可分为两个步骤：①在固定大小的窗口（本文为3x3窗口）内聚合信息，获得空间粗粒化结果；②将这些结果在多个连续的时间步长上聚合，形成一个时空粗粒化的宏观状态。所有这些过程都是通过NIS+中的并行编码器实现的。
二、NIS+捕获模式的能力。
作者使用随机初始条件下模拟生成的数据来训练NIS+，并提取从第100步到第120步的状态时间序列。图(a)、(b)和(c)显示了由真实宏观机制模拟(第一行)和NIS+预测(第三行)生成的动态模式，以及可以进行这些预测的涌现宏观状态(第二行)。作者将两个连续时间步长的图像输入到NIS+中，再用两个连续时间步长得到另一个图像对。把上面的图片和下面的图片比较一下，图案是相似的。然而，由于在随机初始条件下具有某些模式的训练样本出现有限，第三列的学习和预测模式有些（特别是“滑翔机”模式）显得模糊。为了提高预测的质量，作者生成一组包含两个“滑翔机”初始条件的新训练样本。结果如图(d)所示，尽管这个测试环境中的滑翔机数量是3个，预测也更加清晰。这意味着，NIS+可以捕获包括移动、静态和振荡结构在内的模式。
三、NIS+的泛化能力。
作者比较了在不同于初始随机模式下，[[NIS]]和NIS+对8种不同模式类型的多步预测性能。
实验结果表明（图(f)），对于所有模式类型，NIS+始终比[[NIS]]具有更高的AUC(曲线下面积)。其中，在x坐标的刻度标签中，作者采用“模式名称(数量)”的格式来表示各种初始条件。例如，“滑翔机(2)”表示包含两个滑翔机的初始配置。实验表明，NIS+在捕获这些模式方面具有优越的泛化能力。
四、NIS+识别CE的能力。
在比较过程中，作者使用相同的模式作为初始条件。
实验结果表明（图(g)），除“随机”情况外，其余8例均发生[[因果涌现|CE]]。由于出现“滑翔机”的训练样本有限，NIS+在此部分训练不充分，故“滑翔机”型预测不良，[[因果涌现|CE]]程度最低（见图(c)）。其余7种模式的<math>\Delta{J} </math>值相似。这些结果表明，<math>\Delta{J} </math>提供了[[因果涌现|CE]]发生的更合理的指示。但是，对于Ψ，所有情况产生的值都小于或等于0，这可能是因为此系统是一个高维的复杂系统，冗余信息更多，而Ψ的近似忽略了许多冗余信息，使得Ψ无法确定[[因果涌现|CE]]是否发生。因此，本文提出的<math>\Delta{J} </math>是一种较好的鉴别[[因果涌现|CE]]的方法。
=== 大脑fMRI 实验 ===
作者在830名受试者(AOMIC ID1000)的大脑fMRI真实时间序列数据上测试了NIS+<ref name=":7" />。fMRI扫描数据是在受试者观看同一段电影时收集的，这对应于具有不同初始条件的相同动力学的时间序列。采样率（重复时间）为：ID1000为2.2s，PIOP2为2s。作者通过Schaefer atlas方法对原始数据进行预处理<ref name=":11" />，将每个受试者的时间序列维数从大约140,000（不同受试者的维数不同）降至100，使NIS+能够运行并获得更清晰的结果。然后，选取前800个时间序列数据进行训练，剩下的30个时间序列进行测试。作者还将结果与另一个fMRI数据集AOMIC PIOP2<ref name=":7" />进行了比较，其中50名受试者处于静息状态。
[[文件:NIS+_brain.jpg|替代=|无框|650x650像素]]
一、对微观状态的预测能力。
实验结果表明（图(a)），当q = 27和q = 1时，NIS+的预测效果更好。具体来说，随着预测步骤的增加，与q = 1的曲线相比，q = 27的曲线显示出较慢的增长率。这表明选择超参数q为27可能比1更合适。
然而，图(b)显示了不同的结果。图(b)中绿色柱子就是NIS+应用于第一组实验数据（非静息数据）所计算出不同维度q下的因果涌现数值。可以看出q=1的时候<math>\Delta{J} </math>数值最高。为了比对，作者也用[[NIS]]框架分析了同样的数据，如图(b)中的红色柱子所示，可以看出它在不同维度上的分布与绿色柱子近似相同，但是[[因果涌现]]度量都比较小。这说明，q=1 维能够展现[[因果涌现]]是一个稳定客观的结果，其次，NIS+由于最大化了[[有效信息|EI]]，因而会让这一结果更加突出。反之，当q = 27时，<math>\Delta{J} </math>值为负。这表明，当q = 27时，预测结果的改善可能是由于过拟合。综合来看，当被试在看同一组视频的时候，它们的fMRI数据用一个维度的宏观动力学就可以很好地概括大脑的活动了。
此外，作者还将NIS+模型和[[NIS]]模型应用于静息数据，观察到[[NIS]]（深蓝色条）和NIS+（黄色条）在q = 3或q = 7处达到峰值，此时，大脑的动态表现无法简化为一个一维的宏观动力学，而至少需要3~7个维度才能对大脑的活动进行概括。
二、尝试研究粗粒化如何将输入数据转化为一维宏观状态。
作者利用归因分析技术，追踪这一个维度的宏观态数据到底和哪些原始数据维度有关，并把归因分析的强度值分配到这100个原始微观态维度所对应的脑区。结果如(d)所示，可以看出，颜色较深的区域大多都是负责视觉信号加工的脑区。
综上，NIS+是可以直接从fMRI时间序列数据揭示出大脑在不同尺度的动力学，并发现[[因果涌现]]主要发生在哪个尺度；当被试集中看视频的时候，大脑活动可以被一个维度的宏观信号所概括，这一维度主要代表的是视觉区域的活动状态，大脑发生了非常明显的[[因果涌现]]现象；而在静息态下，被试大脑虽然也发生了[[因果涌现]]现象，但强度明显低于前者。大脑的主要活动则相对第一组更复杂，因为它不能简单地被一个维度的宏观态所概括，而是集中在一个3~7维的介观尺度上。
== 数学推导 ==
== 数学推导 ==
== 大脑fMRI 实验 ==
== 大脑fMRI 实验 ==
作者在830名受试者(AOMIC ID1000)的大脑fMRI真实时间序列数据上测试了NIS+<ref name=":7">Snoek L, Miesen M and Beemsterboer T et al. The amsterdam open mri collection, a set of multimodal mri datasets for individual difference analyses. Sci Data 2021; 8: 03.</ref>。fMRI扫描数据是在受试者观看同一段电影时收集的，这对应于具有不同初始条件的相同动力学的时间序列。采样率（重复时间）为：ID1000为2.2s，PIOP2为2s。作者通过Schaefer atlas方法对原始数据进行预处理<ref>Schaefer A, Kong R and Gordon E-M et al. Local-Global Parcellation of the Human Cerebral Cortex from Intrinsic Functional Connectivity MRI. Cereb Cortex 2017; 28:3095–3114.</ref>，将每个受试者的时间序列维数从大约140,000（不同受试者的维数不同）降至100，使NIS+能够运行并获得更清晰的结果。然后，选取前800个时间序列数据进行训练，剩下的30个时间序列进行测试。作者还将结果与另一个fMRI数据集AOMIC PIOP2<ref name=":7" />进行了比较，其中50名受试者处于静息状态。
作者在830名受试者(AOMIC ID1000)的大脑fMRI真实时间序列数据上测试了NIS+<ref name=":7">Snoek L, Miesen M and Beemsterboer T et al. The amsterdam open mri collection, a set of multimodal mri datasets for individual difference analyses. Sci Data 2021; 8: 03.</ref>。fMRI扫描数据是在受试者观看同一段电影时收集的，这对应于具有不同初始条件的相同动力学的时间序列。采样率（重复时间）为：ID1000为2.2s，PIOP2为2s。作者通过Schaefer atlas方法对原始数据进行预处理<ref name=":11">Schaefer A, Kong R and Gordon E-M et al. Local-Global Parcellation of the Human Cerebral Cortex from Intrinsic Functional Connectivity MRI. Cereb Cortex 2017; 28:3095–3114.</ref>，将每个受试者的时间序列维数从大约140,000（不同受试者的维数不同）降至100，使NIS+能够运行并获得更清晰的结果。然后，选取前800个时间序列数据进行训练，剩下的30个时间序列进行测试。作者还将结果与另一个fMRI数据集AOMIC PIOP2<ref name=":7" />进行了比较，其中50名受试者处于静息状态。
[[文件:NIS+_brain.jpg|替代=|无框|650x650像素]]
[[文件:NIS+_brain.jpg|替代=|无框|650x650像素]]