更改

=== 基于信息分解的因果涌现识别 ===

=== 基于信息分解的因果涌现识别 ===

Rosas等学者<ref name=":0" /><ref>P. A. Mediano, F. Rosas, R. L. Carhart-Harris, A. K. Seth, A. B. Barrett, Beyond integrated information: A taxonomy of information dynamics phenomena, arXiv preprint arXiv:1909.02297 (2019).</ref>通过信息分解框架给出了和Hoel等人不同的对[[因果涌现]]的新定义，并基于此识别量化[[因果涌现]]。但是信息分解框架中定义的信息原子难以计算，所以作者推导出只需要计算[[互信息]]的近似公式，提出了判定[[因果涌现]]发生的充分条件，即<math>\Psi_{t, t+1}(V) </math>，具体公式如下：[[文件:ImageRosas.png|右|无框|600x600像素|替代=|图1]]

Rosas等学者<ref name=":0" /><ref>P. A. Mediano, F. Rosas, R. L. Carhart-Harris, A. K. Seth, A. B. Barrett, Beyond integrated information: A taxonomy of information dynamics phenomena, arXiv preprint arXiv:1909.02297 (2019).</ref>通过信息分解框架给出了和Hoel等人不同的对[[因果涌现]]的新定义，并基于此识别量化[[因果涌现]]。但是信息分解框架中定义的信息原子难以计算，所以作者推导出只需要计算[[互信息]]的近似公式，提出了判定[[因果涌现]]发生的充分条件，即<math>\Psi_{t, t+1}(V) </math>，具体公式如下：[[文件:ImageRosas.png|无框|600x600像素|替代=|图1|左]]

<math>\Psi_{t, t+1}(V):=I\left(V_t ; V_{t+1}\right)-\sum_j I\left(X_t^j ; V_{t+1}\right) </math>

<math>\Psi_{t, t+1}(V):=I\left(V_t ; V_{t+1}\right)-\sum_j I\left(X_t^j ; V_{t+1}\right) </math>

=== NIS系列 ===

=== NIS系列 ===

[[张江]]等<ref name=":1">Zhang J, Liu K. Neural information squeezer for causal emergence[J]. Entropy, 2022, 25(1): 26.</ref>学者尝试基于神经网络和数据驱动提出了一种方法，能从时间序列数据中识别系统中的因果涌现，并且自动提取有效的粗粒化策略和宏观动力学，即[[NIS|神经信息压缩器]]（Neural Information Squeezer，简称[[NIS]]）。

[[张江]]等<ref name=":1">Zhang J, Liu K. Neural information squeezer for causal emergence[J]. Entropy, 2022, 25(1): 26.</ref>学者尝试基于神经网络和数据驱动提出了一种方法，能从时间序列数据中识别系统中的因果涌现，并且自动提取有效的粗粒化策略和宏观动力学，即[[NIS|神经信息压缩器]]（Neural Information Squeezer，简称[[NIS]]）。

模型由编码器（encoder）、动力学学习器（<math>f </math>）以及解码器（decoder）三个部分构成，编码器和解码器主要由[[可逆神经网络]]（Invertible Neural Network，简称INN）<ref>Dinh, L.; Sohl-Dickstein, J.; Bengio, S. Density estimation using real nvp. arXiv 2016, arXiv:1605.08803.</ref>构建，动力学学习器由多层感知机（Multilayer Perceptron，简称MLP）构建。此模型框架可以看成是一个[[NIS|神经信息压缩器]]，将包含噪音的微观态压缩成宏观态，丢弃无用的信息，从而使得宏观动力学的因果性更强。[[NIS]]方法的模型框架如右图所示。

模型由编码器（encoder）、动力学学习器（<math>f </math>）以及解码器（decoder）三个部分构成，编码器和解码器主要由[[可逆神经网络]]（Invertible Neural Network，简称INN）<ref>Dinh, L.; Sohl-Dickstein, J.; Bengio, S. Density estimation using real nvp. arXiv 2016, arXiv:1605.08803.</ref>构建，动力学学习器由多层感知机（Multilayer Perceptron，简称MLP）构建。此模型框架可以看成是一个[[NIS|神经信息压缩器]]，将包含噪音的微观态压缩成宏观态，丢弃无用的信息，从而使得宏观动力学的因果性更强。[[NIS]]方法的模型框架如右图所示。

 

图中，模型输入是微观状态<math>X_t\ (X_t^1,X_t^2,…,X_t^p ) </math>，<math>p </math>表示输入数据的维数。<math>ϕ </math>是粗粒化函数（编码器），将输入的<math>p </math>维数据映射到<math>q </math>维数据上，得到宏观变量<math>Y_t </math>，此步丢失<math>p-q </math>维信息。<math>f </math>是动力学学习器，在宏观层面上学习有效的马尔可夫动力学。<math>\hat{y}_{t+1} </math>是预测的t+1时刻的宏观状态。由于此时数据是<math>q </math>维的，为了使用反粗粒化函数<math>ϕ^† </math>（解码器），需要用<math>p-q </math>维高斯随机向量填充数据。宏观变量经过反粗粒化函数之后可以得到预测的微观变量<math>\hat{x}_{t+1} </math>。而<math>x_t+1 </math>和<math>\hat{x}_{t+1} </math>之间的差值即为损失。

图中，模型输入是微观状态<math>X_t\ (X_t^1,X_t^2,…,X_t^p ) </math>，<math>p </math>表示输入数据的维数。<math>ϕ </math>是粗粒化函数（编码器），将输入的<math>p </math>维数据映射到<math>q </math>维数据上，得到宏观变量<math>Y_t </math>，此步丢失<math>p-q </math>维信息。<math>f </math>是动力学学习器，在宏观层面上学习有效的马尔可夫动力学。<math>\hat{y}_{t+1} </math>是预测的t+1时刻的宏观状态。由于此时数据是<math>q </math>维的，为了使用反粗粒化函数<math>ϕ^† </math>（解码器），需要用<math>p-q </math>维高斯随机向量填充数据。宏观变量经过反粗粒化函数之后可以得到预测的微观变量<math>\hat{x}_{t+1} </math>。而<math>x_t+1 </math>和<math>\hat{x}_{t+1} </math>之间的差值即为损失。

== 概述 ==

== 概述 ==

[[文件:NIS+odd.png|替代=|右|无框|660x660像素|1]]

[[文件:NIS+odd.png|替代=|无框|800x800像素]]

为了最大化式{{EquationNote|1}}中定义的EI，我们将NIS的框架扩展为NIS+。在NIS+中，我们首先使用互信息和变分不等式的公式将互信息的最大化问题转化为机器学习问题，其次，使用<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，从而保证[[互信息]]最大化。最后，利用样本重加权技术来解决均匀分布干预的挑战，从而优化EI。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref>Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。在此框架中，输入可观测的数据，输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略。

为了最大化式{{EquationNote|1}}中定义的EI，我们将NIS的框架扩展为NIS+。在NIS+中，我们首先使用互信息和变分不等式的公式将互信息的最大化问题转化为机器学习问题，其次，使用<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，从而保证[[互信息]]最大化。最后，利用样本重加权技术来解决均匀分布干预的挑战，从而优化EI。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref>Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。在此框架中，输入可观测的数据，输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略。

=== 反向动力学 ===

=== 反向动力学 ===

[[文件:NISandNIS+.png|右|无框|500x500像素|1]]

[[文件:NISandNIS+.png|无框|500x500像素|1|替代=|左]]

正向动力学<math> f </math>训练是最小化预测误差<math>L_1</math>，即<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>，保证动力学预测未来的准确性，但是EI作为一种特殊的互信息，不仅与确定性有关，还与简并性有关。我们需要在提高动力学学习器的确定性的同时，提高它的非简并性。因此，作者在NIS的框架基础之上，加入了反向动力学<math> g </math>，用以反向预测。即输入<math>y_{t+1}</math>，通过动力学学习器<math>g</math>之后，得到宏观量的反向预测值<math>\hat{y}_{t}</math>，使<math>y_{t+1}</math>和<math>\hat{y}_{t}</math>之间的误差值<math>L_2</math>最小化。通过训练反向动力学学习器<math>g</math>，我们可以影响编码器，进而影响隐空间中的数据分布，从而使得动力学学习器<math>f</math>可以学到一个简并性低的动力学。

正向动力学<math> f </math>训练是最小化预测误差<math>L_1</math>，即<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>，保证动力学预测未来的准确性，但是EI作为一种特殊的互信息，不仅与确定性有关，还与简并性有关。我们需要在提高动力学学习器的确定性的同时，提高它的非简并性。因此，作者在NIS的框架基础之上，加入了反向动力学<math> g </math>，用以反向预测。即输入<math>y_{t+1}</math>，通过动力学学习器<math>g</math>之后，得到宏观量的反向预测值<math>\hat{y}_{t}</math>，使<math>y_{t+1}</math>和<math>\hat{y}_{t}</math>之间的误差值<math>L_2</math>最小化。通过训练反向动力学学习器<math>g</math>，我们可以影响编码器，进而影响隐空间中的数据分布，从而使得动力学学习器<math>f</math>可以学到一个简并性低的动力学。

=== 面对大规模复杂系统的拓展 ===

=== 面对大规模复杂系统的拓展 ===

在实际应用中，如果系统不是小规模系统，而是类似[[元胞自动机 Cellular Automata|元胞自动机]]的大规模的复杂系统，我们需要对此框架进行拓展，将编码器（解码器）进行组合，从而减轻模型训练的压力和难度。

在实际应用中，如果系统不是小规模系统，而是类似[[元胞自动机 Cellular Automata|元胞自动机]]的大规模的复杂系统，我们需要对此框架进行拓展，将编码器（解码器）进行组合，从而减轻模型训练的压力和难度。

 

首先，在处理高维复杂系统时，一次丢弃多个维度会给训练神经网络带来很大的挑战。我们可以将一系列基本编码器堆叠（串联）在一起并逐渐丢弃维度，降低训练难度。如右图a所示。

首先，在处理高维复杂系统时，一次丢弃多个维度会给训练神经网络带来很大的挑战。我们可以将一系列基本编码器堆叠（串联）在一起并逐渐丢弃维度，降低训练难度。如右图a所示。