更改

[[因果涌现]]的概念不仅将因果推理与[[复杂系统]]的涌现特性相结合，而且为解决一系列哲学问题提供了一个定量化的视角。

[[因果涌现]]的概念不仅将因果推理与[[复杂系统]]的涌现特性相结合，而且为解决一系列哲学问题提供了一个定量化的视角。

目前，关于如何定义[[因果涌现]]，有四个主要代表，分别是：①Hoel等基于粗粒化方法的因果涌现理论<ref>Hoel E P, Albantakis L, Tononi G. Quantifying causal emergence shows that macro can beat micro[J]. Proceedings of the National Academy of Sciences, 2013, 110(49): 19790-19795.</ref><ref>Hoel E P. When the map is better than the territory[J]. Entropy, 2017, 19(5): 188.</ref>、②Rosas等基于信息分解的因果涌现理论<ref name=":0">Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.</ref>、③张江等人基于奇异值分解的因果涌现理论<ref>Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.</ref>、④Barnett等的动力学解耦<ref>Barnett L, Seth AK. Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems. Physical Review E. 2023 Jul;108(1):014304.</ref>。

目前，关于如何定义[[因果涌现]]，有四个主要代表，分别是：①Hoel等基于粗粒化方法的因果涌现理论<ref name=":8">Hoel E P, Albantakis L, Tononi G. Quantifying causal emergence shows that macro can beat micro[J]. Proceedings of the National Academy of Sciences, 2013, 110(49): 19790-19795.</ref><ref name=":9">Hoel E P. When the map is better than the territory[J]. Entropy, 2017, 19(5): 188.</ref>、②Rosas等基于信息分解的因果涌现理论<ref name=":0">Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.</ref>、③张江等人基于奇异值分解的因果涌现理论<ref>Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.</ref>、④Barnett等的动力学解耦<ref name=":10">Barnett L, Seth AK. Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems. Physical Review E. 2023 Jul;108(1):014304.</ref>。

具体内容可以参考词条[[因果涌现]]。

具体内容可以参考词条[[因果涌现]]。

= NIS+ 框架有效性的验证（数值实验） =

= NIS+ 框架有效性的验证（数值实验） =

在此部分中，我们将介绍验证NIS+框架有效性的四个实验：SIR模型实验、Boids模型实验、生命游戏模型实验、大脑fMRI 时间序列数据模型实验。实验数据包括人脑的核磁共振成像数据和不同的人工模型(动态系统、多智能体系统和元胞自动机)生成的数据。每个实验中，我们将评估模型的预测能力、泛化能力、识别CE的能力，并将识别结果与<math>\Psi </math>指标进行比较。

在此部分中，我们将介绍验证NIS+框架有效性的四个实验：SIR模型实验、Boids模型实验、生命游戏模型实验、大脑fMRI实验。实验数据包括人脑的核磁共振成像数据和不同的人工模型(动态系统、多智能体系统和元胞自动机)生成的数据。每个实验中，我们将评估NIS+的因果涌现识别能力和泛化能力。

== SIR模型实验 ==

== SIR模型实验 ==

设置感染率β = 1、康复率γ = 0.5。由于模型只有两个自由度（<math>S + I + R = 1 </math>），故仅用S和I构成宏观状态变量<math>\boldsymbol{y}=(S,I) </math>。图(a)显示了SIR动力学的相空间(S, I, R)，所有的宏观状态都分布在三维的三角形平面上。同时，学者通过引入高斯噪声将<math>\boldsymbol{y}=(S,I) </math>展开为一个四维变量，并将其看做微观状态。我们在图(a)的三角形区域内采样，以此来随机选择初始条件，并使用上述过程生成时间序列数据，用以训练模型。

在此实验中，学者设置感染率β = 1、康复率γ = 0.5。由于SIR模型只有两个自由度（<math>S + I + R = 1 </math>），故学者仅用S和I构成宏观状态变量<math>\boldsymbol{y}=(S,I) </math>。图(a)显示了SIR动力学的相空间(S, I, R)，所有的宏观状态都分布在三维的三角形平面上。同时，学者通过引入高斯噪声将<math>\boldsymbol{y}=(S,I) </math>展开为一个四维变量，并将其看做微观状态。我们在图(a)的三角形区域内采样，以此来随机选择初始条件，并使用上述过程生成时间序列数据，用以训练模型。

[[文件:NIS+ sir.jpg|替代=|800x800px|右|无框]]

[[文件:NIS+ sir.jpg|替代=|800x800px|右|无框]]

Boids模型，是一个著名的多智能体模型，用于模拟鸟类的集体行为<ref name=":5">Reynolds C-W. Flocks, herds and schools: A distributed behavioral model. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, Denver,

Boids模型，是一个著名的多智能体模型，用于模拟鸟类的集体行为<ref name=":5">Reynolds C-W. Flocks, herds and schools: A distributed behavioral model. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, Denver,

27 July - 1 August 1987.</ref>。此实验有两个基本目标：①评估在具有内在和外在噪声的不同环境下捕获涌现现象和CE量化的能力，②试图给出学习到的宏观状态和微观状态之间的显式对应关系，以此来提高训练粗粒度策略的可解释性，③模型的泛化能力。

27 July - 1 August 1987.</ref>。此实验有两个基本目标：①评估在具有内在和外在噪声的不同环境下捕获涌现现象和CE量化的能力，②试图给出学习到的宏观状态和微观状态之间的显式对应关系，以此来提高训练粗粒度策略的可解释性，③模型的泛化能力。

== 生命游戏模型实验 ==

== 生命游戏模型实验 ==

我们使用随机初始条件下Game of Life模拟生成的数据来训练NIS+，提取从第100步到第120步的状态时间序列。图10(a)、(b)和(c)显示了由ground truth模拟(第一行)和NIS+预测(第三行)生成的动态模式，以及可以进行这些预测的紧急宏观状态(第二行)。我们将两个时间步长连续的图像输入到NIS+中，再用两个时间步长连续得到另一个图像对。把上面的图片和下面的图片比较一下，图案是相似的。然而，第三列的学习和预测模式，特别是“滑翔机”模式，由于在随机初始条件下具有该模式的训练样本的出现有限，因此显得模糊。为了提高预测的质量，我们可以生成一组新的训练样本，其中包含两个“滑翔机”的初始条件。结果，预测变得更加清晰，如图10(d)所示，尽管这个测试环境中的滑翔机数量是3个。这意味着，NIS+可以捕获包括移动、静态和振荡结构在内的模式。

我们比较了在不同于初始随机模式下，NIS和NIS+对8种不同模式类型的多步预测性能。

此外，我们评估了模型在不同于训练环境的测试环境中的泛化能力。我们比较了NIS和NIS+在不同于初始随机模式的8种不同模式类型下的多步预测性能。结果如图10(f)所示，表明对于所有模式类型，NIS+始终比NIS获得更高的AUC(曲线下面积)。其中，在x坐标的勾号标签中，我们采用“模式名称(数量)”的格式来表示各种初始条件。例如，“滑翔机(2)”表示包含两个滑翔机的初始配置。因此，我们提供的证据表明，增强型NIS+方法在捕获这些模式方面具有优越的泛化能力。

实验结果表明（图(f)），对于所有模式类型，NIS+始终比NIS具有更高的AUC(曲线下面积)。其中，在x坐标的刻度标签中，我们采用“模式名称(数量)”的格式来表示各种初始条件。例如，“滑翔机(2)”表示包含两个滑翔机的初始配置。实验表明，NIS+在捕获这些模式方面具有优越的泛化能力。

此外，这个示例突出了NIS+的多功能性。为了进行上述实验，我们需要在空间和时间维度上对元胞自动机的微观状态进行粗粒度处理。为了应对这一挑战，我们引入了时空卷积的概念。本实验中使用的体系结构如图10(e)所示。

实验结果表明（图(g)），除“随机”情况外，其余8例均发生CE。“滑翔机”型由于预测不良，CE程度最低（见图(c)）。其余7种模式的<math>\Delta{J} </math>值相似。这些结果表明，<math>\Delta{J} </math>提供了CE发生的更合理的指示。但是，对于Ψ，所有情况产生的值都小于或等于0，这可能是因为Ψ的近似忽略了许多冗余信息，使得Ψ无法确定CE是否发生。因此，本文提出的<math>\Delta{J} </math>是一种较好的鉴别CE的方法。

本文以Conway’s Game of Life作为实验对象，其中每个细胞有两种状态作为二维状态输入:alive(1)或dead(0)，每个细胞受到八个相邻细胞的影响。生命游戏的进化只受输入状态及其更新规则的影响，其中生命游戏有四条进化规则，分别对应细胞繁殖和死亡等。Game of Life的更新规则如下表所示:Game of Life的训练样本生成过程如下:首先初始化状态xt。当考虑两个步骤的时间粗粒度时，根据更新规则生成状态xt+1、xt+2和xt+3的后续三个步骤，并将其输入到机器学习模型中。两个输入状态分别为xt和xt+1，微动力学输出分别为xt+1和xt+2。由于使用了时空粗粒度，宏观动力学将输出一个宏观状态，并将其解码为微观状态xt+2和xt+3。此过程重复多次(50,000个样本)，并生成图10d中用于训练的数据。而在其他实验中，我们生成了50万个样本。

本实验中使用的体系结构如图10(e)所示。整个粗粒度过程可分为两个步骤：①在固定大小的窗口（本文为3x3窗口）内聚合信息，获得空间粗粒化结果；②将这些结果在多个连续的时间步长上聚合，形成一个时空粗粒化的宏观状态。所有这些过程都是通过NIS+中的并行编码器实现的。

== 大脑fMRI 时间序列数据模型实验 ==

实验结果表明（图(a)），当q = 27和q = 1时，NIS+的预测效果更好。具体来说，随着预测步骤的增加，与q = 1的曲线相比，q = 27的曲线显示出较慢的增长率。这表明选择超参数q为27可能比1更合适。

我们在830名受试者(AOMIC ID1000)的真实大脑fMRI时间序列数据上测试了我们的模型<ref name=":7">Snoek L, Miesen M and Beemsterboer T et al. The amsterdam open mri collection, a set of multimodal mri datasets for individual difference analyses. Sci Data 2021; 8: 03.</ref>。fMRI扫描数据是在受试者观看同一段电影时收集的。因此，在相似的自然刺激下，被试的相似经历是预期的，这对应于具有不同初始条件的相同动力学的时间序列。采样率(重复时间)为:ID1000为2.2s, PIOP2为2s。我们通过Schaefer atlas方法对原始数据进行预处理<ref>Schaefer A, Kong R and Gordon E-M et al. Local-Global Parcellation of the Human Cerebral Cortex from Intrinsic Functional Connectivity MRI. Cereb Cortex 2017; 28:3095–3114.</ref>，将每个受试者的时间序列维数从大约140,000(不同受试者的维数不同)降至100，使NIS+能够运行并获得更清晰的结果。然后，选取前800个时间序列数据进行训练，剩下的30个时间序列进行测试。我们还将我们的结果与另一个fMRI数据集AOMIC PIOP2[48]<ref name=":7" />进行了比较，其中50名受试者处于静息状态。关于数据集的进一步描述可以参考支持信息第8节。

然而，图(b)显示了不同的结果。当比较不同超参数q（绿色条）的CE（<math>\Delta{J} </math>）程度时，当q = 1时观察到最高的<math>\Delta{J} </math>。反之，当q = 27时，<math>\Delta{J} </math>值为负。这表明，当q = 27时，预测结果的改善可能是由于过拟合。因此，就<math>\Delta{J} </math>而言，q = 1优于q的其他值。尽管观察到q = 1时<math>\Delta{J} </math>的标准差较大，但NIS框架（红色条形图）支持了这一发现。此外，学者还将CE的结果与静息数据进行了比较，观察到NIS（深蓝色条）和NIS+（黄色条）在q = 7处达到峰值，这正好是Schaefer atalas中子系统的数量。因此，我们可以得出这样的结论：当被试观看电影时，大脑不同区域的活动可以在每个时间步上用一个实数来表示。

然而，图5(b)显示了不同的结果。当比较不同超参数q(绿色条)的CE(∆J)程度时，当q = 1时观察到最高的∆J。反之，当q = 27时，∆J值为负。这表明，当q = 27时，预测结果的改善可能归因于过拟合。因此，就∆J而言，q = 1优于q的其他值。尽管观察到q = 1时∆J的标准差较大，但NIS框架(红色条形图)支持了这一发现。此外，我们还将CE的结果与静息数据进行了比较，观察到NIS(深蓝色条)和NIS+(黄色条)在q = 7处达到峰值，这正好是Schaefer atalas中子系统的数量。因此，我们可以得出这样的结论:当被试观看电影时，大脑不同区域的活动可以在每个时间步上用一个实数来表示。关于静态数据的更多分析可参考8.1节的支持信息。

学者使用IG方法来识别微观状态的最重要维度<ref name=":6" />。

为了研究NIS+粗粒度如何将输入数据转化为一维宏观状态，我们还利用IG方法来识别微观状态的最重要维度<ref name=":6" />。结果如图5(c)和(d)所示。我们观察到视觉(VIS)子网络表现出最高的归因(图5(c))。这些视觉子网络代表了受试者在观看电影片段时使用的功能系统。此外，我们可以在大脑地图上更详细地看到活动区域(图5(d))，其中较深的颜色表示更大程度上归因于单一宏观状态。因此，NIS+识别出的颜色相似的最深的区域，对应于大脑的深度视觉处理区域，可能代表了大脑在积极观看电影时的“协同核心”<ref>Luppi A, Mediano P and Rosas F et al. A synergistic core for human brain evolution and cognition. Nat Neurosci 2022; 25: 1–12.</ref>。这些区域的数字神经元可能协作并共同起作用。然而，通过将微观状态和宏观状态之间的相互信息分解为协同信息、冗余信息和唯一信息，还可以进一步证实和量化这一结论<ref name=":0" />。

实验结果表明（图(c)和图(d)），视觉（VIS）子网络（受试者在观看电影片段时使用的功能系统）表现出最高的归因（图(c)）。此外，我们可以在大脑地图上更详细地看到活动区域（图(d)），其中较深的颜色表示更大程度上归因于单一宏观状态。因此，NIS+识别出的颜色相似的最深的区域，对应于大脑的深度视觉处理区域，可能代表了大脑在积极观看电影时的“协同核心”<ref>Luppi A, Mediano P and Rosas F et al. A synergistic core for human brain evolution and cognition. Nat Neurosci 2022; 25: 1–12.</ref>。这些区域的数字神经元可能协同作用。然而，通过将微观状态和宏观状态之间的[[互信息]]分解为协同信息、冗余信息和独特信息，还可以进一步证实和量化这一结论<ref name=":0" />。

总之，NIS+展示了其学习和粗粒度化来自大脑的复杂fMRI信号的能力，允许使用单个宏观状态模拟复杂的动态。如支持信息第8节所示，通过数据预处理的替代方法获得的可比结果进一步支持了我们发现的稳健性。

综上，NIS+展示了其学习和粗粒化来自大脑的复杂fMRI信号的能力，并允许使用单个宏观状态来模拟复杂的动态。

 

 

 

 

 

 

 

= 总结与展望 =

= 总结与展望 =

NIS+框架的显著特征是，它专注于在保持有效性约束的同时最大化学习宏观动力学的有效信息(EI)。这使得学习到的涌现宏观动力学能够识别尽可能独立于输入数据分布的不变因果机制。这个特性不仅使NIS+能够识别不同环境中的数据CE，而且还增强了它对不同于训练数据的环境进行泛化的能力。因此，NIS+扩展了Hoel的CE理论，使其既适用于离散和连续动力系统，也适用于实际数据。

受[[因果涌现]]理论的启发，学者构建了一种新的[[机器学习 Machine Learning|机器学习]]框架Neural Information Squeezer Plus (NIS+)来学习涌现宏观动力学，并直接从数据中找到合适的粗粒化方法、量化各种条件下CE的程度。

上述实验表明，通过最大化EI, NIS+在多步预测和模式捕获等任务中优于其他机器学习模型，即使在训练过程中没有遇到的环境中也是如此。因此，NIS+能够在潜在空间中获得更稳健的宏观动力学。NIS+比Rosas的Ψ指标更能合理地量化CE。NIS+可以有效地学习复杂系统的粗粒度化过程，并使用积分梯度(IG)方法可以将宏观状态和微观状态之间的关系可视化，从而可以识别微观状态中最重要的变量。在大脑实验中，发现存储在唯一宏观状态下的最关键信息与视觉子网络的微观变量表现出很强的相关性。这一发现突出了NIS+识别与有意义的生物学解释相一致的适当的粗粒度策略的能力。

与其他机器学习框架相比，NIS+专注于在保持有效性约束的同时最大化宏观动力学的有效信息（EI）。这使得学习到的涌现宏观动力学能够捕获尽可能独立于输入数据分布的不变因果机制。这个特性不仅使NIS+能够识别不同环境中的数据CE，而且还增强了它对不同于训练数据的环境进行泛化的能力。通过将误差约束纳入式{{EquationNote|1}}，我们增强了EI最大化框架的鲁棒性，解决了<ref>Eberhardt F and Lee L-L. Causal emergence: When distortions in a map obscure the territory. Philosophies 2022; 7: 30.</ref>中提出的重整化和时间演化算子的交换性问题。我们的框架确保微观动力学演化与编码的宏观动力学相匹配。由于解码器是编码器的逆，这种不断发展的微观状态和宏观编码之间的一致性证实了学习动力学和粗粒化方法是可交换的。因此，NIS+扩展了Hoel<ref name=":8" />的CE理论，使其既适用于离散和连续动力系统，也适用于实际数据。

NIS+在气候系统、集体行为、流体动力学、大脑活动和交通流等真实复杂系统的数据驱动建模方面具有各种应用潜力。通过学习更稳健的宏观动力学，这些系统的预测能力可以得到增强。除了动态学习之外，EI最大化方法可以在其他问题领域进一步扩展，如图像分类和自然语言理解。这可以促使诸如图像识别、对象检测、语言理解和机器翻译等任务的进步。

实验表明，①通过最大化EI，NIS+的多步预测能力、泛化能力、模式捕获能力优于其他机器学习模型，可以在隐空间中获得更稳健的宏观动力学。②NIS+可以比Ψ指标更合理地量化CE。NIS+可以有效地学习复杂系统的粗粒度化过程，并使用积分梯度(IG)方法可以将宏观状态和微观状态之间的关系可视化，从而可以识别微观状态中最重要的变量。③外在噪声会增加CE，而内在噪声会降低CE。这表明，由观测不确定性引起的外部噪声可以通过学到的粗粒化策略减轻。另一方面，由于动态规则的内在不确定性而产生的固有噪声无法消除。

因果涌现与因果表征学习(causal representation learning, CRL)之间的关系。NIS+框架可以看作是CRL的一种形式，其中宏观动态作为因果机制，粗粒度策略作为表示。因此，可以应用CRL中使用的技术来查找数据中的CE。相反，可以在CRL中利用CE和粗粒度的概念来增强模型的可解释性。

此外，NIS+还调和了关于涌现是一个客观概念还是一个依赖于观察者的认知概念的争论。通过设计一个最大化EI的机器，我们可以提取出客观的涌现特征和动态。这台机器充当了一个观察者，但却是一个客观的观察者。如果机器观察者在数据中检测到有趣的模式，就会出现涌现。

NIS+也存在一些局限性，首先，NIS+需要大量的训练数据来学习宏观动态和粗粒度策略，这在很多现实情况下可能是不可行的。如果培训不充分，可能导致CE的错误识别。因此，有必要结合其他数值方法，如Rosas的ΦID，以做出准确的判断。其次，神经网络的可解释性，特别是对于宏观动态学习者来说，仍然是一个难点。最后，当前的框架主要是为马尔可夫动力学设计的，而许多真实的复杂系统表现出长期记忆或涉及不可观察的变量。扩展NIS+框架以适应非马尔可夫动力学是未来研究的一个重要领域，解决这些限制并探索这些改进途径可以让NIS+应用于更广泛的复杂系统的数据分析。

NIS+也存在一些局限性。

== 总结 ==

①NIS+需要大量的训练数据来学习宏观动态和粗粒化策略，这在很多现实情况下可能是不可行的。如果培训不充分，可能导致CE的错误识别。因此，有必要结合其他数值方法，如ΦID<ref name=":0" />，以作出准确的判断。NIS+的一个优点是它能够识别粗粒化的宏观状态，然后可以将其用作ΦID<ref name=":0" />的输入。

= 其他 =

= 其他 =

(f)和(g)表示不同噪声水平下∆J和归一化MAE的变化，(f)表示外部噪声(观测，加入微观状态)(δmax)， (g)表示本征噪声(α，通过修改Boids模型的动力学规则加入)。在(f)和(g)中，水平线表示违反式1中误差约束的阈值。当归一化MAE大于阈值0.3时，违反约束，结果不可靠。

(f)和(g)表示不同噪声水平下∆J和归一化MAE的变化，(f)表示外部噪声(观测，加入微观状态)(δmax)， (g)表示本征噪声(α，通过修改Boids模型的动力学规则加入)。在(f)和(g)中，水平线表示违反式1中误差约束的阈值。当归一化MAE大于阈值0.3时，违反约束，结果不可靠。

= 参考文献 =

= 参考文献 =