558
个编辑
更改
跳到导航
跳到搜索
第444行：
第444行： + 第451行：
第452行： − ==方法==+ 第504行：
第505行： − − =测试量化因果涌现的效果= − ==布尔网络== − 下面基于Hoel等人的论文<ref name="Hoel2013">Hoel, E.P., Albantakis, L., Tononi, G.: Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences of the United States of America 110(49), 19790–19795 (2013) https://doi.org/10.1073/ pnas.1314922110</ref><ref name="Hoel2017">Hoel, E.P.: When the map is better than the territory. Entropy 19(5) (2017) https://doi.org/10.3390/e19050188</ref>中提出的几种布尔网络马尔可夫动力学来测试清晰和模糊因果涌现的定义。 − − 下图(a)-(i)分别显示了从具有相同节点机制的相同布尔网络模型生成的用于清晰因果涌现和模糊因果涌现的TPM的两个示例。图(c) 表示通过粗粒化(a)得到的新布尔网络，粗粒化策略是从 (f) 和 (i) 的 TPM 中提取的。图(d)中的TPM直接源自图(a)和(b)中的布尔网络及其节点机制。它们的奇异值谱分别如图(e)和(h)所示。(d)中的例子只有4个非零奇异值，奇异频谱如图(e)所示，因此，出现明显的因果涌现，且因果涌现的程度为<math> − \Delta\Gamma=0.75 − </math>。 因果涌现的判断与参考文献<ref name="Hoel2013" />相同。(f) 和 (i) 分别是对 (d) 和 (g) 中的原始 TPM 应用粗粒化方法后缩减的TPM和投影矩阵。 − − 图(g)中的TPM可以显示出模糊的因果涌现，这是在(d)中的TPM上添加强度为（std = 0.03）的随机高斯噪声后得到的。因此，奇异频谱如图(h)所示。我们选择<math> − \epsilon=0.2 − </math>作为阈值，这样就只剩下4个大的奇异值。因果涌现程度为<math> − \Delta\Gamma(0.2)=0.69 − </math>。<math> − \epsilon − </math>值是根据图(h)中的奇异值频谱选择的，在图(h)中可以观察到指数为3和<math> − \epsilon=0.2 − </math>时有一个明显的分界点。 − − [[文件:截屏2024-08-27_14.58.17.png|替代=|740x740像素]] − − 下图显示了另一个更复杂的布尔网络模型的明显因果涌现例子，该模型来自参考文献<ref name="Hoel2013" />，其中具有相同节点机制的6个节点可归类为3个超级节点，以显示因果涌现。(a)为6节点12边的布尔网络模型。 (b)是根据(e)中的TPM得出的粗粒化后的布尔网络模型。原始布尔网络模型的相应TPM如图(c)所示。奇异值频谱如图(d）所示，其中有8个非零值。这个清晰因果涌现的程度为<math> − \Delta\Gamma=2.23 − </math>。对因果涌现的判断与<ref name="Hoel2013" />相同。(e) 是对(c)的粗粒化。(f) 是根据基于 SVD 的粗粒化方法得到的从微观状态到宏观状态的投影矩阵。 − − [[文件:截屏2024-08-31_20.54.36.png|替代=|702x702像素]] − − ==复杂网络== − 对因果涌现的量化可应用于复杂网络，如下图所示。图（a)-(c）显示了由随机块模型（SBM）生成的具有三组参数（内部连接概率）的复杂网络的模糊因果涌现例子。TPM是通过对网络的邻接矩阵按每个节点的度进行归一化得到的。图(a)显示了一个有 100 个节点和 5 个区块（社区）的示例网络，图(b)显示了其奇异值频谱，同图中还显示了另外两个由SBM生成的网络光谱，它们的大小和块数相同，但参数不同。图(c) 是利用基于SVD的粗粒化方法进行缩减后的 (a) 网络。图(b)中，在与区块数相同的横坐标上可以观察到一个明显的分界点<math> − (\epsilon=0.3,r_{\epsilon}=5) − </math>。可以确定，在这个网络模型中出现了模糊的因果涌现，程度为<math> − \Delta\Gamma(0.3)=0.56 − </math>。 − − [[文件:截屏2024-08-31_21.01.3211.png|替代=|931x931像素]] − − ==元胞自动机== − 如下图所示，关于清晰因果涌现的定义可应用于元胞自动机，以发现其局部涌现结构。在这个例子里刻画了元胞自动机（编号40的基本一维元胞自动机）局部TPM的清晰因果涌现。(a)是第40号元胞自动机的演化（规则是：000 → 0, 001 → 0, 010 → 1, 011 → 0, 100 → 1, 101 → 0, 110 → 0, 111 → 0）。局部TPM 由包括每个单元及其两个相邻单元的局部窗口获得。图(b) 显示了这些局部 TPM 的奇异值的可能频谱，在这些频谱中可能出现也可能不出现清晰因果涌现。图(c)用红点标记显示了所有单元和时间步长的清晰因果涌现分布（<math> − \Delta\Gamma</math>）。 − − [[文件:截屏2024-08-30_10.05.1111.png|替代=|935x935像素]] − =拓展：高斯噪声迭代系统基于SVD分解的因果涌现= − TPM矩阵上基于SVD的因果涌现虽然能得到不依赖粗粒化策略的因果涌现，但是也存在一个弊端，就是只能量化离散条件概率空间的因果效应强度和因果涌现。由于离散概率空间和连续概率空间具有本质的不同，对于连续条件概率空间的基于SVD的因果涌现，我们需要单独进行分析，代表性的就是高斯噪声迭代系统的基于SVD的因果涌现<ref name=":15">Kaiwei Liu, Linli Pan, Zhipeng Wang, et al. SVD-based Causal Emergence for Gaussian Iterative Systems. arXiv:2502.08261, 2025.</ref>。 − − 高斯噪声的随机迭代系统可以写成： − <blockquote> − <math>X_{𝑡+1} = a_0 + 𝐴⋅𝑋𝑡 +\xi_𝑡 − </math> − </blockquote> − 其中<math>𝑋_𝑡</math>是t时刻的状态向量, 维数为<math>n</math>，<math>\xi\sim\mathcal{N}(0,\Sigma)</math>，<math>\Sigma\in\mathcal{R}^{n\times n}</math>是协方差矩阵。这是一种最简单的连续状态空间的马尔科夫动力学，因此，我们要将SVD方法扩展到这类系统上。我们的思路是，首先利用泛函分析的思想，找到概率转移矩阵的对应物；其次，利用傅里叶变换求出奇异值的表达式，最终写出近似动力学可逆性<math>\Gamma_\alpha</math>的表达式。 − − ==高斯噪声迭代系统的近似可逆性== − 首先，TPM矩阵本质上是离散条件概率构<math>p(x_{t+1}|x_t)</math>成的矩阵，因此从条件概率的角度类比到连续系统，高斯迭代系统的概率转移矩阵为： − <blockquote> − <math> p(x_{t+1}|x_t)=\mathcal{N}(Ax_{t}+a_0,\Sigma)\equiv \frac{1}{(2\pi)^\frac{n}{2}\det(\Sigma)^\frac{1}{2}}\exp\left\{-\frac{1}{2}(x_{t+1}-Ax_t-a_0)^T\Sigma^{-1}(x_{t+1}-Ax_t-a_0)\right\}, − </math> − </blockquote> − 在离散情况下，由于<math>𝑃</math>的奇异值的平方为矩阵<math>𝑃⋅𝑃^𝑇</math>的特征值，故计算连续情况下的<math>𝑃⋅𝑃^𝑇</math>对应： − <blockquote> − <math> K(\textbf{x},\textbf{y})=\int_{-\infty}^\infty p(\textbf{z}|\textbf{x})p(\textbf{z}|\textbf{y})d\textbf{z}=(2\pi)^{-\frac{n}{2}}\det(2\Sigma)^{-\frac{1}{2}}\exp\left\{-\frac{1}{4}(\textbf{x}-\textbf{y})^T(A^T\Sigma^{-1}A)(\textbf{x}-\textbf{y})\right\}\equiv\mathcal{K}(\textbf{x}-\textbf{y}). − </math> − </blockquote> − 因此，<math>𝑝(𝑦|𝑥)</math>的奇异值平方就是算子<math>\textbf{Κ}</math>的特征值。假设<math>\textbf{Κ}</math>的特征值为<math>\zeta^2</math>，特征函数为：<math>\psi(𝑧)</math>， − 则根据特征值和特征函数的定义有： − <blockquote> − <math> (\textbf{K}\psi)(\textbf{x})=\int_{-\infty}^\infty K(\textbf{x},\textbf{y})\psi(\textbf{y})d\textbf{y}=\zeta^2 \psi(\textbf{x}). − </math> − </blockquote> − 基于其特殊结构，可对其进行傅里叶变换： − <blockquote> − <math> \hat{\mathcal{K}}(\omega)\hat{\psi}(\omega)=\mathcal{F}\left\{\mathcal{K}(\mathbf{y})\right\}\mathcal{F}\left\{\psi(\mathbf{y})\right\}=\zeta^2\hat{\psi}(\omega). − </math> − </blockquote> − 所以最终我们可以在新的频率空间中，找到一种类似于奇异值谱的函数，我们称为高斯分布的奇异函数： − <blockquote> − <math> \zeta^\alpha(\omega)=\{{\rm det}(\Sigma)^{\frac{1}{2}}{\rm pdet}(A^T\Sigma^{-1} A)^{\frac{1}{2}}\}^{-\frac{\alpha}{2}}\exp\left\{-\frac{\alpha}{2}\left(\omega^T(A^T\Sigma^{-1}A)^{\dagger}\omega\right)\right\} − </math> − </blockquote> − 这里，<math>{\rm pdet}</math>代表伪行列式，<math>†</math>代表Moore-Penrose伪逆运算。由此，我们可以计算其近似动 − 力学可逆性指标<math>Γ_𝛼</math>： − <blockquote> − <math> \Gamma_\alpha=\left(\frac{2\pi}{\alpha}\right)^\frac{n}{2}{\rm pdet}(A^T\Sigma^{-1}A)^{\frac{1}{2}-\frac{\alpha}{4}}{\rm det}(\Sigma^{-1})^\frac{\alpha}{4} − </math> − </blockquote> − 可见逆向动力学的协方差矩阵<math>𝐴𝑇Σ^{−1}𝐴</math>和正向动力学的协方差矩阵<math>Σ^{−1}</math>共同影响了近似可逆性的大小，可以理解为，必须两个协方差都很小，非满秩或病态的维度影响较小的时候，系统动力学才有更强的可逆性。 − − ===维度平均=== − 进一步，可以可逆性指标取对数并去掉常数项，得到维度平均的指标 − <blockquote> − <math> \hat\gamma_\alpha=\gamma_\alpha-\frac{1}{2}\ln\left(\frac{2\pi}{\alpha}\right)=\frac{1}{n}\ln\Gamma_\alpha-\frac{1}{2}\ln\left(\frac{2\pi}{\alpha}\right)=\frac{1}{n}(\frac{1}{2}-\frac{\alpha}{4})\sum_{i=1}^{r}\ln s_i+\frac{\alpha}{4n}\sum_{i=1}^{n}\ln\kappa_i − </math> − </blockquote> − 这里，<math>𝑠_𝑖</math>为矩阵<math>𝐴𝑇Σ^{−1}𝐴</math>的第<math>i</math>个奇异值，<math>𝜅_𝑖</math>为矩阵<math>Σ^{−1}</math>的第i个奇异值。因此，我们只需要分析这两个奇异值构成的联合谱，即可定量刻画系统的因果涌现特性了。也就是说，我们把原转移概率矩阵的奇异值分解转变为了对<math>𝐴𝑇Σ^{−1}𝐴</math>和<math>Σ^{−1}</math>这两个矩阵的奇异值分解问题。其中，<math>Σ^{−1}</math>为正向动力学，即<math>p(x_{t+1}|x_t)=\mathcal{N}(0,\Sigma)</math>的协方差矩阵之逆，而<math>𝐴𝑇Σ^{−1}𝐴</math>则是<math>p(x_{t+1}|x_t)</math>的逆向动力学的协方差矩阵。 − − ===确定性和简并性=== − 通过调整参数<math> − \alpha\in(0,2] − </math>，可以使更好地反映P的确定性或者简并性。当<math> − \alpha\to0,\Gamma_{\alpha} − </math>收敛到 − <blockquote> − <math> \Gamma_{\alpha\to 0}\to\left(\frac{2\pi}{\alpha}\right)_{\alpha\to 0}^\frac{n}{2}{\rm pdet}(A^T\Sigma^{-1}A)^{\frac{1}{2}}, − </math> − </blockquote> − 此时<math>\Gamma_{\alpha\to 0}</math>只由逆向动力学的协方差矩阵或信息熵决定，而逆向动力学的熵直接影响系统的简并性。然而，定义不允许<math> − \alpha − </math>精确为零，这样会导致指标趋于无穷。 − − 同样，当<math> − \alpha=2 − </math>时，<math> − \Gamma_{\alpha} − </math>收敛到 − <blockquote> − <math> \Gamma_2=\left(\pi\right)^\frac{n}{2}{\rm det}(\Sigma^{-1})^\frac{1}{2}, − </math> − </blockquote> − 协方差矩阵的逆越大，意味着动力学变得更加可逆。在实践中总是取<math> − \alpha=1 − </math>来平衡<math> − \Gamma − </math>测量确定性和简并性的倾向。 − − ==高斯噪声迭代系统基于SVD的因果涌现== − 同样，在规定<math>\epsilon\geq 0</math>之后，我们可以筛选两个协方差矩阵的奇异值来计算因果涌现，即 − <blockquote> − <math>\Delta\Gamma_\alpha(\epsilon)\equiv\hat{\gamma}_\alpha(\epsilon)-\hat\gamma_\alpha=\frac{1}{r_\epsilon}(\frac{1}{2}-\frac{\alpha}{4})\sum_{i=1}^{r_\epsilon}\ln s_i+\frac{\alpha}{4r_\epsilon}\sum_{i=1}^{r_\epsilon}\ln\kappa_i-\frac{1}{n}(\frac{1}{2}-\frac{\alpha}{4})\sum_{i=1}^{r}\ln s_i-\frac{\alpha}{4n}\sum_{i=1}^{n}\ln\kappa_i. − </math> − </blockquote> − 其中<math>r_\epsilon\equiv\min\{r_\epsilon(A^T\Sigma^{-1} A),r_\epsilon(\Sigma^{-1})\}</math>取得是两个矩阵有效秩的最小值。<math>\epsilon= 0</math>就是清晰因果涌现，<math>\epsilon> 0</math>就是模糊因果涌现。 − − 根据连续系统基于有效信息的的因果涌现 − <blockquote> − <math>\Delta\mathcal{J}^{*}=\frac{1}{2k}\sum_{i=1}^{k}\ln s_i-\frac{1}{2n}\sum_{i=1}^{n}\ln s_i, − </math> − </blockquote> − 我们可以近似得到线性相关关系 − <blockquote> − <math>\Delta\Gamma_\alpha(\epsilon)\simeq(1-\frac{\alpha}{4})\Delta\mathcal{J}^*. − </math> − </blockquote> − 更精确的证明<math>\Gamma_\alpha</math>与<math>EI</math>可以相互替代。 第712行：
第571行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
无编辑摘要
=基于SVD分解的新粗粒化策略=
=基于SVD分解的新粗粒化策略=
==TPM矩阵的粗粒化方法==
虽然无需粗粒化也能定义和量化清晰或模糊因果涌现，但需要对原始系统进行更简单的粗粒化描述，以便与 EI 得出的结果进行比较。因此，该理论提供了一种基于奇异值分解的粗粒化方法，以获得宏观层面的简化TPM。其基本思想是将 P 中的行向量 <math>
虽然无需粗粒化也能定义和量化清晰或模糊因果涌现，但需要对原始系统进行更简单的粗粒化描述，以便与 EI 得出的结果进行比较。因此，该理论提供了一种基于奇异值分解的粗粒化方法，以获得宏观层面的简化TPM。其基本思想是将 P 中的行向量 <math>
P_{i},\forall i \in [1,N]
P_{i},\forall i \in [1,N]
\Gamma
\Gamma
</math>不变。
</math>不变。
该方法的基本思路是将P中的所有行向量<math>P_{i}</math>视为维数为N的数据向量，然后首先对这些行向量进行PCA降维，其次将其聚类为r个簇，其中r是根据奇异值频谱的阈值<math>\epsilon</math>选取的。有了聚类，我们就可以根据所有平稳流都是保守的原则，对原始TPM进行粗粒化。
该方法的基本思路是将P中的所有行向量<math>P_{i}</math>视为维数为N的数据向量，然后首先对这些行向量进行PCA降维，其次将其聚类为r个簇，其中r是根据奇异值频谱的阈值<math>\epsilon</math>选取的。有了聚类，我们就可以根据所有平稳流都是保守的原则，对原始TPM进行粗粒化。
</math>
</math>
</blockquote>
</blockquote>
==高斯噪声迭代系统基于SVD的粗粒化策略==
==高斯噪声迭代系统基于SVD的粗粒化策略==
</blockquote>
</blockquote>
该策略可以让我们得到的宏观态的近似可逆性，比只使用<math>W=U_1</math>或<math>W=V_1</math>更接近真实的基于有效秩删减奇异值后得到的近似可逆性。
该策略可以让我们得到的宏观态的近似可逆性，比只使用<math>W=U_1</math>或<math>W=V_1</math>更接近真实的基于有效秩删减奇异值后得到的近似可逆性。
=测试量化因果涌现的效果=
==布尔网络==
下面基于Hoel等人的论文<ref name="Hoel2013">Hoel, E.P., Albantakis, L., Tononi, G.: Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences of the United States of America 110(49), 19790–19795 (2013) https://doi.org/10.1073/ pnas.1314922110</ref><ref name="Hoel2017">Hoel, E.P.: When the map is better than the territory. Entropy 19(5) (2017) https://doi.org/10.3390/e19050188</ref>中提出的几种布尔网络马尔可夫动力学来测试清晰和模糊因果涌现的定义。
下图(a)-(i)分别显示了从具有相同节点机制的相同布尔网络模型生成的用于清晰因果涌现和模糊因果涌现的TPM的两个示例。图(c) 表示通过粗粒化(a)得到的新布尔网络，粗粒化策略是从 (f) 和 (i) 的 TPM 中提取的。图(d)中的TPM直接源自图(a)和(b)中的布尔网络及其节点机制。它们的奇异值谱分别如图(e)和(h)所示。(d)中的例子只有4个非零奇异值，奇异频谱如图(e)所示，因此，出现明显的因果涌现，且因果涌现的程度为<math>
\Delta\Gamma=0.75
</math>。 因果涌现的判断与参考文献<ref name="Hoel2013" />相同。(f) 和 (i) 分别是对 (d) 和 (g) 中的原始 TPM 应用粗粒化方法后缩减的TPM和投影矩阵。
图(g)中的TPM可以显示出模糊的因果涌现，这是在(d)中的TPM上添加强度为（std = 0.03）的随机高斯噪声后得到的。因此，奇异频谱如图(h)所示。我们选择<math>
\epsilon=0.2
</math>作为阈值，这样就只剩下4个大的奇异值。因果涌现程度为<math>
\Delta\Gamma(0.2)=0.69
</math>。<math>
\epsilon
</math>值是根据图(h)中的奇异值频谱选择的，在图(h)中可以观察到指数为3和<math>
\epsilon=0.2
</math>时有一个明显的分界点。
[[文件:截屏2024-08-27_14.58.17.png|替代=|740x740像素]]
下图显示了另一个更复杂的布尔网络模型的明显因果涌现例子，该模型来自参考文献<ref name="Hoel2013" />，其中具有相同节点机制的6个节点可归类为3个超级节点，以显示因果涌现。(a)为6节点12边的布尔网络模型。 (b)是根据(e)中的TPM得出的粗粒化后的布尔网络模型。原始布尔网络模型的相应TPM如图(c)所示。奇异值频谱如图(d）所示，其中有8个非零值。这个清晰因果涌现的程度为<math>
\Delta\Gamma=2.23
</math>。对因果涌现的判断与<ref name="Hoel2013" />相同。(e) 是对(c)的粗粒化。(f) 是根据基于 SVD 的粗粒化方法得到的从微观状态到宏观状态的投影矩阵。
[[文件:截屏2024-08-31_20.54.36.png|替代=|702x702像素]]
==复杂网络==
对因果涌现的量化可应用于复杂网络，如下图所示。图（a)-(c）显示了由随机块模型（SBM）生成的具有三组参数（内部连接概率）的复杂网络的模糊因果涌现例子。TPM是通过对网络的邻接矩阵按每个节点的度进行归一化得到的。图(a)显示了一个有 100 个节点和 5 个区块（社区）的示例网络，图(b)显示了其奇异值频谱，同图中还显示了另外两个由SBM生成的网络光谱，它们的大小和块数相同，但参数不同。图(c) 是利用基于SVD的粗粒化方法进行缩减后的 (a) 网络。图(b)中，在与区块数相同的横坐标上可以观察到一个明显的分界点<math>
(\epsilon=0.3,r_{\epsilon}=5)
</math>。可以确定，在这个网络模型中出现了模糊的因果涌现，程度为<math>
\Delta\Gamma(0.3)=0.56
</math>。
[[文件:截屏2024-08-31_21.01.3211.png|替代=|931x931像素]]
==元胞自动机==
如下图所示，关于清晰因果涌现的定义可应用于元胞自动机，以发现其局部涌现结构。在这个例子里刻画了元胞自动机（编号40的基本一维元胞自动机）局部TPM的清晰因果涌现。(a)是第40号元胞自动机的演化（规则是：000 → 0, 001 → 0, 010 → 1, 011 → 0, 100 → 1, 101 → 0, 110 → 0, 111 → 0）。局部TPM 由包括每个单元及其两个相邻单元的局部窗口获得。图(b) 显示了这些局部 TPM 的奇异值的可能频谱，在这些频谱中可能出现也可能不出现清晰因果涌现。图(c)用红点标记显示了所有单元和时间步长的清晰因果涌现分布（<math>
\Delta\Gamma</math>）。
[[文件:截屏2024-08-30_10.05.1111.png|替代=|935x935像素]]
=参考文献=
=参考文献=