更改

[[因果涌现]]的概念不仅将因果推理与[[复杂系统]]的涌现特性相结合，而且为解决一系列哲学问题提供了一个定量化的视角。

[[因果涌现]]的概念不仅将因果推理与[[复杂系统]]的涌现特性相结合，而且为解决一系列哲学问题提供了一个定量化的视角。

目前，关于如何定义[[因果涌现]]，有四个主要代表，分别是：①Hoel等基于粗粒化方法的因果涌现理论<ref name=":8">Hoel E P, Albantakis L, Tononi G. Quantifying causal emergence shows that macro can beat micro[J]. Proceedings of the National Academy of Sciences, 2013, 110(49): 19790-19795.</ref><ref name=":9">Hoel E P. When the map is better than the territory[J]. Entropy, 2017, 19(5): 188.</ref>、②Rosas等基于信息分解的因果涌现理论<ref name=":0">Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.</ref>、③张江等人基于奇异值分解的因果涌现理论<ref>Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.</ref>、④Barnett等的动力学解耦<ref name=":10">Barnett L, Seth AK. Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems. Physical Review E. 2023 Jul;108(1):014304.</ref>。

目前，关于如何定义[[因果涌现]]，有四个主要代表，分别是：①Hoel等基于粗粒化方法的[[因果涌现]]理论<ref name=":8">Hoel E P, Albantakis L, Tononi G. Quantifying causal emergence shows that macro can beat micro[J]. Proceedings of the National Academy of Sciences, 2013, 110(49): 19790-19795.</ref><ref name=":9">Hoel E P. When the map is better than the territory[J]. Entropy, 2017, 19(5): 188.</ref>、②Rosas等基于信息分解的因果涌现理论<ref name=":0">Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.</ref>、③张江等人基于奇异值分解的因果涌现理论<ref>Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.</ref>、④Barnett等的动力学解耦<ref name=":10">Barnett L, Seth AK. Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems. Physical Review E. 2023 Jul;108(1):014304.</ref>。

具体内容可以参考词条[[因果涌现]]。

具体内容可以参考词条[[因果涌现]]。

= NIS+ 框架有效性的验证（数值实验） =

= NIS+ 框架有效性的验证（数值实验） =

在此部分中，作者通过四个实验验证NIS+框架有效性：[[SIR]]模型实验、Boids模型实验、生命游戏模型实验、大脑fMRI实验。实验数据包括人脑的核磁共振成像数据和不同的人工模型(动态系统、多主体系统和元胞自动机)生成的数据。每个实验中，作者评估了NIS+的[[因果涌现]]识别能力和泛化能力。

在此部分中，作者通过四个实验验证NIS+框架有效性：[[SIR]]模型实验、[[鸟群算法|Boids模型]]实验、[[生命游戏模型]]实验、大脑fMRI实验。实验数据包括人脑的核磁共振成像数据和不同的人工模型(动态系统、多主体系统和元胞自动机)生成的数据。每个实验中，作者评估了NIS+的[[因果涌现]]识别能力和泛化能力。

== SIR模型实验 ==

== SIR模型实验 ==

== Boids 模型实验 ==

== Boids 模型实验 ==

Boids模型，是一个著名的多主体模型，用于模拟鸟类的集体行为<ref name=":5">Reynolds C-W. Flocks, herds and schools: A distributed behavioral model. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, Denver,

[[鸟群算法|Boids模型]]，是一个著名的多主体模型，用于模拟鸟类的集体行为<ref name=":5">Reynolds C-W. Flocks, herds and schools: A distributed behavioral model. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, Denver,

27 July - 1 August 1987.</ref>。此实验有四个基本目标：①NIS+识别[[因果涌现|CE]]的能力；②提高NIS+训练粗粒化策略的可解释性；③NIS+的泛化能力；④内在噪音和外部噪音对NIS+识别[[因果涌现|CE]]的影响。

27 July - 1 August 1987.</ref>。此实验有四个基本目标：①NIS+识别[[因果涌现|CE]]的能力；②提高NIS+训练粗粒化策略的可解释性；③NIS+的泛化能力；④内在噪音和外部噪音对NIS+识别[[因果涌现|CE]]的影响。

作者根据Reynolds(1987)<ref name=":5" />的方法模拟Boids模型，在300 × 300的画布上用N = 16个鸟生成训练数据。为了评估NIS+发现有意义的宏观状态的能力，作者将鸟群分为两组，并为每组引入不同的恒定转向力。这一修改确保了两组分别沿着不同转弯角度的轨迹运动，如图(a)所示。作者通过模拟生成训练和测试数据。在每个时间步长t上，微状态生成为4N维向量：

作者根据Reynolds(1987)<ref name=":5" />的方法模拟[[鸟群算法|Boids模型]]，在300 × 300的画布上用N = 16个鸟生成训练数据。为了评估NIS+发现有意义的宏观状态的能力，作者将鸟群分为两组，并为每组引入不同的恒定转向力。这一修改确保了两组分别沿着不同转弯角度的轨迹运动，如图(a)所示。作者通过模拟生成训练和测试数据。在每个时间步长t上，微状态生成为4N维向量：

<math>X_t=(x_1^t,y_1^t,v_{x,1}^t,v_{y,1}^t, \dots, x_N^t,y_N^t,v_{x,N}^t,v_{y,N}^t) </math>

<math>X_t=(x_1^t,y_1^t,v_{x,1}^t,v_{y,1}^t, \dots, x_N^t,y_N^t,v_{x,N}^t,v_{y,N}^t) </math>

实验结果表明（图(b)），NIS+和[[NIS]]的MAE值随半径r的增加而增加，而预测误差MAE越小，泛化能力越好。结果清楚地表明，与[[NIS]]相比，NIS+在所有测试半径r上具有优越的泛化能力。

实验结果表明（图(b)），NIS+和[[NIS]]的MAE值随半径r的增加而增加，而预测误差MAE越小，泛化能力越好。结果清楚地表明，与[[NIS]]相比，NIS+在所有测试半径r上具有优越的泛化能力。

四、内在噪音和外部噪音对NIS+识别CE的影响。

四、内在噪音和外部噪音对NIS+识别[[因果涌现|CE]]的影响。

通过在每个时间步长为每只鸟增加随机转角，引入内在噪声。这些角度均匀分布在区间<math>\alpha\cdot [-\pi,\pi] </math>内，其中<math>\alpha\in[0,1] </math>是控制内在噪声大小的参数。另一方面，假定外部噪声会影响观测的微观状态。在这种情况下，作者假设不能直接观察到每个物体的微观状态，而是获得有噪声的数据。将外部或观测噪声<math>\delta\sim \mathcal{N}(0,\delta_{max}) </math>添加到微观状态中，<math>\delta_{max} </math>是决定该噪声水平的参数。

通过在每个时间步长为每只鸟增加随机转角，引入内在噪声。这些角度均匀分布在区间<math>\alpha\cdot [-\pi,\pi] </math>内，其中<math>\alpha\in[0,1] </math>是控制内在噪声大小的参数。另一方面，假定外部噪声会影响观测的微观状态。在这种情况下，作者假设不能直接观察到每个物体的微观状态，而是获得有噪声的数据。将外部或观测噪声<math>\delta\sim \mathcal{N}(0,\delta_{max}) </math>添加到微观状态中，<math>\delta_{max} </math>是决定该噪声水平的参数。

实验结果表明（图(f)和图(g)），在这两种情况下，归一化MAE都增加了，这表明随着内在和外在噪声的增加，预测任务更具挑战性。然而，这两种类型的噪声之间的差异可以通过检查CE(<math>\Delta{J}>0 </math>)的程度来观察。从图(f)可以看出，<math>\Delta{J}>0 </math>随外部噪声(<math>\delta_{max} </math>)的增大而增大，说明粗粒化可以在一定范围内减轻噪声，增强因果效应。<math>\delta_{max}<0.1 </math>时，归一化MAE小于0.3(黑色虚线)，满足式{{EquationNote|1}}的约束。在这种情况下，[[因果涌现|CE]]的程度随着<math>\delta_{max} </math>的增大而增大。然而，当超过0.3的阈值时，即使<math>\Delta{J}>0 </math>减小，作者也无法得出有意义的结论（违反了式{{EquationNote|1}}中的约束），结果的可靠性就会降低。从图(g)可以看出，<math>\Delta{J}>0 </math>随着内部噪声(α)水平的增加而减小。这是由于宏观层面的动态学习器试图在这一阶段捕捉每个群体的群体行为。然而，随着内部噪声的增加，群体行为逐渐减弱，导致[[因果涌现|CE]]降低。因为归一化MAE超过0.3的阈值时违反了式{{EquationNote|1}}中的约束，作者没有计算<math>\alpha>0.6 </math>的情况。图(e)显示了随机偏转角噪声<math>\alpha=0.4 </math>时候的真实轨迹和预测。可以观察到，在早期可以预测直线趋势，但随着噪声引起的偏差逐渐增大，误差也随之增大，[[因果涌现|CE]]降低。

实验结果表明（图(f)和图(g)），在这两种情况下，归一化MAE都增加了，这表明随着内在和外在噪声的增加，预测任务更具挑战性。然而，这两种类型的噪声之间的差异可以通过检查CE(<math>\Delta{J}>0 </math>)的程度来观察。从图(f)可以看出，<math>\Delta{J}>0 </math>随外部噪声(<math>\delta_{max} </math>)的增大而增大，说明粗粒化策略可以在一定范围内减轻噪声，增强[[因果效应]]。<math>\delta_{max}<0.1 </math>时，归一化MAE小于0.3(黑色虚线)，满足式{{EquationNote|1}}的约束。在这种情况下，[[因果涌现|CE]]的程度随着<math>\delta_{max} </math>的增大而增大。然而，当超过0.3的阈值时，即使<math>\Delta{J}>0 </math>减小，作者也无法得出有意义的结论（违反了式{{EquationNote|1}}中的约束），结果的可靠性就会降低。从图(g)可以看出，<math>\Delta{J}>0 </math>随着内部噪声(α)水平的增加而减小。这是由于宏观层面的动态学习器试图在这一阶段捕捉每个群体的群体行为。然而，随着内部噪声的增加，群体行为逐渐减弱，导致[[因果涌现|CE]]降低。因为归一化MAE超过0.3的阈值时违反了式{{EquationNote|1}}中的约束，作者没有计算<math>\alpha>0.6 </math>的情况。图(e)显示了随机偏转角噪声<math>\alpha=0.4 </math>时候的真实轨迹和预测。可以观察到，在早期可以预测直线趋势，但随着噪声引起的偏差逐渐增大，误差也随之增大，[[因果涌现|CE]]降低。

综上可知，NIS+具有识别涌现集体行为和噪声对涌现集体行为的影响程度的能力。

综上可知，NIS+具有识别涌现集体行为和噪声对涌现集体行为的影响程度的能力。

== 生命游戏模型实验 ==

== 生命游戏模型实验 ==

康威的生命游戏是一个著名的二维元胞自动机模型，在这个模型上出现了滑翔机、正方形、花朵、信号灯、蜂窝、交通灯等各种有趣的动态模式。与[[SIR]]模型和Boids模型不同的是，在规则网格上，生命游戏模型在每个时间步长的微观状态是离散的（0或1）。此外，微观动力学不能用微分方程或差分方程来表示，而是用规则表来表示。

康威的生命游戏是一个著名的二维元胞自动机模型，在这个模型上出现了滑翔机、正方形、花朵、信号灯、蜂窝、交通灯等各种有趣的动态模式。与[[SIR]]模型和[[鸟群算法|Boids模型]]不同的是，在规则网格上，生命游戏模型在每个时间步长的微观状态是离散的（0或1）。此外，微观动力学不能用微分方程或差分方程来表示，而是用规则表来表示。

[[文件:Gamelife.png|替代=|无框|800x800像素]]

[[文件:Gamelife.png|替代=|无框|800x800像素]]

为了进行此实验，作者在空间和时间维度上对元胞自动机的微观状态进行粗粒化处理。为此，作者引入了时空卷积的概念。

为了进行此实验，作者在空间和时间维度上对元胞自动机的微观状态进行粗粒化处理。为此，作者引入了时空卷积的概念。

本实验中使用的体系结构如图10(e)所示。整个粗粒度过程可分为两个步骤：①在固定大小的窗口（本文为3x3窗口）内聚合信息，获得空间粗粒化结果；②将这些结果在多个连续的时间步长上聚合，形成一个时空粗粒化的宏观状态。所有这些过程都是通过NIS+中的并行编码器实现的。

本实验中使用的体系结构如图10(e)所示。整个粗粒化过程可分为两个步骤：①在固定大小的窗口（本文为3x3窗口）内聚合信息，获得空间粗粒化结果；②将这些结果在多个连续的时间步长上聚合，形成一个时空粗粒化的宏观状态。所有这些过程都是通过NIS+中的并行编码器实现的。

二、NIS+捕获模式的能力。

二、NIS+捕获模式的能力。

实验结果表明（图(a)），当q = 27和q = 1时，NIS+的预测效果更好。具体来说，随着预测步骤的增加，与q = 1的曲线相比，q = 27的曲线显示出较慢的增长率。这表明选择超参数q为27可能比1更合适。

实验结果表明（图(a)），当q = 27和q = 1时，NIS+的预测效果更好。具体来说，随着预测步骤的增加，与q = 1的曲线相比，q = 27的曲线显示出较慢的增长率。这表明选择超参数q为27可能比1更合适。

然而，图(b)显示了不同的结果。当比较不同超参数q（绿色条）的[[因果涌现|CE]]（<math>\Delta{J} </math>）程度时，当q = 1时观察到最高的<math>\Delta{J} </math>。反之，当q = 27时，<math>\Delta{J} </math>值为负。这表明，当q = 27时，预测结果的改善可能是由于过拟合。因此，就<math>\Delta{J} </math>而言，q = 1优于q的其他值。尽管观察到q = 1时<math>\Delta{J} </math>的标准差较大，但NIS框架（红色条形图）支持了这一发现。因此，作者得出结论：当被试观看电影时，大脑不同区域的活动可以在每个时间步上用一个实数来表示。此外，作者还将[[因果涌现|CE]]的结果与静息数据进行了比较，观察到NIS（深蓝色条）和NIS+（黄色条）在q = 7处达到峰值，这正好是Schaefer atalas中子系统的数量。

然而，图(b)显示了不同的结果。图(b)中绿色柱子就是NIS+应用于第一组实验数据（非静息数据）所计算出不同维度q下的因果涌现数值。可以看出q=1的时候<math>\Delta{J} </math>数值最高。为了比对，作者也用[[NIS]]框架分析了同样的数据，如图(b)中的红色柱子所示，可以看出它在不同维度上的分布与绿色柱子近似相同，但是[[因果涌现]]度量都比较小。这说明，q=1 维能够展现[[因果涌现]]是一个稳定客观的结果，其次，NIS+由于最大化了[[有效信息|EI]]，因而会让这一结果更加突出。反之，当q = 27时，<math>\Delta{J} </math>值为负。这表明，当q = 27时，预测结果的改善可能是由于过拟合。综合来看，当被试在看同一组视频的时候，它们的fMRI数据用一个维度的宏观动力学就可以很好地概括大脑的活动了。

 

此外，作者还将NIS+模型和[[NIS]]模型应用于静息数据，观察到[[NIS]]（深蓝色条）和NIS+（黄色条）在q = 3或q = 7处达到峰值，此时，大脑的动态表现无法简化为一个一维的宏观动力学，而至少需要3~7个维度才能对大脑的活动进行概括。

二、尝试研究粗粒化如何将输入数据转化为一维宏观状态。

二、尝试研究粗粒化如何将输入数据转化为一维宏观状态。

作者利用归因分析技术，追踪这一个维度的宏观态数据到底和哪些原始数据维度有关，并把归因分析的强度值分配到这100个原始微观态维度所对应的脑区。结果如(d)所示，可以看出，颜色较深的区域大多都是负责视觉信号加工的脑区。

 

实验结果表明（图(c)和图(d)），视觉（VIS）子网络（受试者在观看电影片段时使用的功能系统）表现出最高的归因（图(c)）。此外，作者在大脑地图上绘制了活动区域（图(d)），其中较深的颜色表示更大程度上归因于单一宏观状态。因此，NIS+识别出的颜色相似的最深的区域，对应于大脑的深度视觉处理区域，可能代表了大脑在积极观看电影时的“协同核”<ref>Luppi A, Mediano P and Rosas F et al. A synergistic core for human brain evolution and cognition. Nat Neurosci 2022; 25: 1–12.</ref>。这些区域的神经元可能协同作用。通过将微观状态和宏观状态之间的[[互信息]]分解为协同信息、冗余信息和独特信息，还可以进一步证实和量化这一结论<ref name=":0" />。

综上，NIS+展示了其学习和粗粒化来自大脑的复杂fMRI信号的能力，并允许使用单个宏观状态来模拟复杂的动态。

综上，NIS+是可以直接从fMRI时间序列数据揭示出大脑在不同尺度的动力学，并发现[[因果涌现]]主要发生在哪个尺度；当被试集中看视频的时候，大脑活动可以被一个维度的宏观信号所概括，这一维度主要代表的是视觉区域的活动状态，大脑发生了非常明显的[[因果涌现]]现象；而在静息态下，被试大脑虽然也发生了[[因果涌现]]现象，但强度明显低于前者。大脑的主要活动则相对第一组更复杂，因为它不能简单地被一个维度的宏观态所概括，而是集中在一个3~7维的介观尺度上。

= 总结与展望 =

= 总结与展望 =

== 总结 ==

== 总结 ==

受[[因果涌现]]理论的启发，作者构建了一种新的[[机器学习 Machine Learning|机器学习]]框架Neural Information Squeezer Plus (NIS+)来学习涌现宏观动力学，并直接从数据中找到合适的粗粒化方法、量化各种条件下CE的程度。

受[[因果涌现]]理论的启发，作者构建了一种新的[[机器学习 Machine Learning|机器学习]]框架Neural Information Squeezer Plus (NIS+)来学习涌现宏观动力学，并直接从数据中找到合适的粗粒化策略、量化各种条件下[[因果涌现|CE]]的程度。

与其他机器学习框架相比，NIS+专注于在保持有效性约束的同时最大化宏观动力学的有效信息（EI）。这使得学习到的涌现宏观动力学能够捕获尽可能独立于输入数据分布的不变因果机制。这个特性不仅使NIS+能够识别不同环境中的数据CE，而且还增强了它对不同于训练数据的环境进行泛化的能力。通过将误差约束纳入式{{EquationNote|1}}，我们增强了EI最大化框架的鲁棒性，解决了<ref>Eberhardt F and Lee L-L. Causal emergence: When distortions in a map obscure the territory. Philosophies 2022; 7: 30.</ref>中提出的重整化和时间演化算子的交换性问题。我们的框架确保微观动力学演化与编码的宏观动力学相匹配。由于编码器和解码器所使用的神经网络互为可逆函数且参数共享，这种微观状态和编码成的宏观状态之间的一致性证实了学习动力学和粗粒化方法是可交换的。因此，NIS+扩展了Hoel<ref name=":8" />的CE理论，使其既适用于离散和连续动力系统，也适用于实际数据。

与其他机器学习框架相比，NIS+专注于在保持有效性约束的同时最大化宏观动力学的[[有效信息]]（EI）。这使得学习到的涌现宏观动力学能够捕获尽可能独立于输入数据分布的不变因果机制。这个特性不仅使NIS+能够识别不同环境中的数据[[因果涌现|CE]]，而且还增强了它对不同于训练数据的环境进行泛化的能力。通过将误差约束纳入式{{EquationNote|1}}，我们增强了EI最大化框架的鲁棒性，解决了<ref>Eberhardt F and Lee L-L. Causal emergence: When distortions in a map obscure the territory. Philosophies 2022; 7: 30.</ref>中提出的重整化和时间演化算子的交换性问题。我们的框架确保微观动力学演化与编码的宏观动力学相匹配。由于编码器和解码器所使用的神经网络互为可逆函数且参数共享，这种微观状态和编码成的宏观状态之间的一致性证实了学习宏观的动力学和粗粒化策略是可交换的。因此，NIS+扩展了Hoel<ref name=":8" />的[[因果涌现|CE]]理论，使其既适用于离散和连续动力系统，也适用于实际数据。

实验表明，①通过最大化EI，NIS+的多步预测能力、泛化能力、模式捕获能力优于其他机器学习模型，可以在隐空间中获得更稳健的宏观动力学。②NIS+可以比Ψ指标更合理地量化CE。NIS+可以有效地学习复杂系统的粗粒度化过程，并使用积分梯度(IG)方法可以将宏观状态和微观状态之间的关系可视化，从而可以识别微观状态中最重要的变量。③外在噪声会增加CE，而内在噪声会降低CE。这表明，由观测不确定性引起的外部噪声可以通过学到的粗粒化策略减轻。另一方面，由于动态规则的内在不确定性而产生的固有噪声无法消除。

实验表明，①通过最大化[[有效信息|EI]]，NIS+的多步预测能力、泛化能力、模式捕获能力优于其他[[机器学习 Machine Learning|机器学习]]模型，可以在隐空间中获得更稳健的宏观动力学。②NIS+可以比Ψ指标更合理地识别[[因果涌现|CE]]。NIS+可以有效地学习复杂系统的粗粒度化过程，并使用积分梯度(IG)方法可以将宏观状态和微观状态之间的关系可视化，从而可以识别微观状态中最重要的变量。③外在噪声会增加[[因果涌现|CE]]，而内在噪声会降低[[因果涌现|CE]]。这表明，由观测不确定性引起的外部噪声可以通过学到的粗粒化策略减轻。另一方面，由于动态规则的内在不确定性而产生的固有噪声无法消除。

此外，NIS+还调和了关于涌现是一个客观概念还是一个依赖于观察者的认知概念的争论。通过设计一个最大化EI的机器，我们可以提取出客观的涌现特征和动态。这台机器充当了一个观察者，但却是一个客观的观察者。如果机器观察者在数据中检测到有趣的模式，就会认为出现涌现。

此外，NIS+还调和了关于涌现是一个客观概念还是一个依赖于观察者的认知概念的争论。通过设计一个最大化EI的机器，我们可以提取出客观的涌现特征和动态。这台机器充当了一个观察者，但却是一个客观的观察者。如果机器观察者在数据中检测到有趣的模式，就会认为出现涌现。

NIS+也存在一些局限性。

NIS+也存在一些局限性。

①NIS+需要大量的训练数据来学习宏观动态和粗粒化策略，这在很多现实情况下可能是不可行的。如果训练不充分，可能导致CE的错误识别。因此，有必要结合其他数值方法，如ΦID<ref name=":0" />，以作出准确的判断。NIS+的一个优点是它能够识别粗粒化的宏观状态，然后可以将其用作ΦID<ref name=":0" />的输入。

①NIS+需要大量的训练数据来学习宏观动态和粗粒化策略，这在很多现实情况下可能是不可行的。如果训练不充分，可能导致[[因果涌现|CE]]的错误识别。因此，有必要结合其他数值方法，如ΦID<ref name=":0" />，以作出准确的判断。NIS+的一个优点是它能够识别粗粒化的宏观状态，然后可以将其用作ΦID<ref name=":0" />的输入。

②神经网络的可解释性。增强学习模型的可解释性可以提供对潜在机制的有价值的见解，并提高结果的可信度。

②神经网络的可解释性。增强学习模型的可解释性可以提供对潜在机制的有价值的见解，并提高结果的可信度。