812
个编辑
更改
→因果涌现：最大化有效信息
<br/>
<br/>
===最大化动力学可逆性 Dynamical Reversibility===
===最大化动力学可逆性 Dynamical Reversibility===
[[基于可逆性的因果涌现理论]]是一种量化[[因果涌现 Causal Emergence|因果涌现]]的新框架，提出了近似动力学可逆性（<math>\Gamma_{\alpha}</math>）的概念，用于量化[[马尔科夫动力学]]接近可逆动力学的程度<ref name="reversibility">Zhang, J., Tao, R., Leong, K.H. et al. Dynamical reversibility and a new theory of causal emergence based on SVD. npj Complex 2, 3 (2025).</ref>。
[[基于可逆性的因果涌现理论]]是一种量化[[因果涌现 Causal Emergence|因果涌现]]的新框架，提出了近似动力学可逆性（<math>\Gamma_{\alpha}</math>）的概念，用于量化[[马尔科夫动力学]]接近可逆动力学的程度<ref name="reversibility">Zhang, J., Tao, R., Leong, K.H. et al. Dynamical reversibility and a new theory of causal emergence based on SVD. npj Complex 2, 3 (2025).</ref>。
该理论的核心思想是指出所谓的'''因果涌现其实等价于动力学可逆性的涌现'''。
直观地说，如果将一个马尔科夫动力学看作是一个通信信道，那么，每一状态下的概率转移就看作是一个信息通路（information pathway），于是该系统发生因果涌现就等价于系统中存在着冗余的信息通路——存在着一些状态转移与其它状态转移相似或线性相关，而消除这些冗余通路的最好办法就是利用SVD找到等于零或接近于零的奇异值以及对应的奇异向量，这实际上正是最大化有效信息的精髓所在。事实上，我们可以证明，最大化宏观动力学有效信息的粗粒化方案近似等价于将系统的动力学向较大奇异值对应的奇异向量方向做投影的粗粒化方案。而且，系统所能达到的最大信息传输效率的提升（归一化的近似动力学可逆性），就可以定义为因果涌现的强度。
直观地说，如果将一个马尔科夫动力学看作是一个通信信道，那么，每一状态下的概率转移就看作是一个信息通路（information pathway），于是该系统发生因果涌现就等价于系统中存在着冗余的信息通路——存在着一些状态转移与其它状态转移相似或线性相关，而消除这些冗余通路的最好办法就是利用SVD找到等于零或接近于零的奇异值以及对应的奇异向量，这实际上正是最大化有效信息的精髓所在。事实上，我们可以证明，最大化宏观动力学有效信息的粗粒化方案近似等价于将系统的动力学向较大奇异值对应的奇异向量方向做投影的粗粒化方案。而且，系统所能达到的最大信息传输效率的提升（归一化的近似动力学可逆性），就可以定义为因果涌现的强度。
所以，给定一个系统的马尔科夫转移矩阵，通过对它进行[[奇异值分解]]，将奇异值[math]\sigma_i[/math]的<math>\alpha</math>次方之和定义为马尔科夫动力学的近似可逆性度量（<math>\Gamma_{\alpha}\equiv \sum_{i=1}^N\sigma_i^{\alpha}</math>），用以刻画最终指标偏向于衡量确定性或简并性的程度。通常我们取[math]\alpha=1[/math]，表示平权考虑确定性或简并性对最终可逆性度量的影响。
所以，给定一个系统的马尔科夫转移矩阵，通过对它进行[[奇异值分解]]，将奇异值 <math>\sigma_i</math>的 <math>\alpha</math> 次方之和定义为马尔科夫动力学的近似可逆性度量（<math>\Gamma_{\alpha}\equiv \sum_{i=1}^N\sigma_i^{\alpha}</math>），用以刻画最终指标偏向于衡量确定性或简并性的程度。通常我们取 <math>\alpha=1</math>，表示平权考虑确定性或简并性对最终可逆性度量的影响。
该指标与[[有效信息]]具有高度的相关性，因而也可以用于刻画动力学的[[因果效应强度]]。基于可逆性的因果涌现理论与已有的其他因果涌现理论最大的区别就是不需要指定粗粒化策略，仅从马尔科夫转移矩阵的奇异值谱就能判断因果涌现的发生，直接定义所谓'''清晰因果涌现'''（clear causal emergence）和'''模糊因果涌现'''（vague causal emergence）的概念，在一定程度上规避了因果涌现结果依赖于粗粒化策略的问题和最大化有效信息的难以优化求解的问题。其次，这套理论指出一个动力系统的因果涌现特性仅仅是系统线性化算符的奇异值谱决定的，因而是一套更加反映系统动力学特性本身的因果涌现理论。相关详情请参照[[基于可逆性的因果涌现理论]]词条。
'''该指标与[[有效信息]]具有高度的相关性，因而也可以用于刻画动力学的[[因果效应强度]]。'''基于可逆性的因果涌现理论与已有的其他因果涌现理论最大的区别就是不需要指定粗粒化策略，仅从马尔科夫转移矩阵的奇异值谱就能判断因果涌现的发生，直接定义所谓'''清晰因果涌现'''（clear causal emergence）和'''模糊因果涌现'''（vague causal emergence）的概念，在一定程度上规避了因果涌现结果依赖于粗粒化策略的问题和最大化有效信息的难以优化求解的问题。其次，这套理论指出一个动力系统的因果涌现特性仅仅是系统线性化算符的奇异值谱决定的，因而是一套更加反映系统动力学特性本身的因果涌现理论。相关详情请参照[[基于可逆性的因果涌现理论]]词条。
我们可以由矩阵 <math>P</math> 的秩 <math>r</math> 和矩阵的弗罗贝尼乌斯范数（Frobenius norm，F-norm）找到 <math>P</math> 的近似动力学可逆性与矩阵奇异值之间的联系。
首先，'''矩阵的秩'''可以被写作：<math>r=\sum_{i=1}^{N}\sigma_{i}^{0}</math>，其中 <math>\sigma_{i}</math> 是矩阵 <math>P</math> 的第 <math>i</math> 个奇异值，<math>N</math> 是马尔科夫链的状态数。
紧接着，'''矩阵的F-norm'''可以被写作：<math>{||P||}_{F}^{2}=\sum_{i=1}^{N}\sigma_{i}^{2}</math>。这也是所有奇异值的平方和。可以看出矩阵的秩和F-norm都与奇异值相联系。事实上，当且仅当 <math>P</math> 的行向量是独热向量的时候，矩阵P的弗罗贝尼乌斯范数取最大值。
由于绝大部分马尔科夫链的状态转移矩阵都不是置换矩阵，所以我们需要一个指标来刻画其靠近（可逆的）置换矩阵的程度。这就是矩阵 <math>P</math> 的 <math>\alpha</math> 阶近似动力学可逆性。定义为：
<blockquote>
<math>\begin{aligned}
\Gamma_{\alpha}=\sum_{i=1}^{N}\sigma_{i}^{\alpha}\end{aligned}
</math>
</blockquote>
其中<math>\alpha\in(0,2)</math>是参数。当 <math>\alpha\ge1</math> 时，<math>\Gamma_{\alpha}</math> 是 <math>P</math> 的[[沙滕范数]]（Schatten norm）；当 <math>0<\alpha<1</math> 时，<math>\Gamma_{\alpha}</math> 是 <math>P</math> 的准范数（quasinorm）<ref>Schatten norm from Wikipedia. https://en.wikipedia.org/wiki/Schatten norm</ref><ref>Recht, B., Fazel, M., Parrilo, P.A.: Guaranteed minimum-rank solutions of linear matrix equations via nuclear norm minimization. SIAM review 52(3), 471–501 (2010)</ref><ref>Chi, Y., Lu, Y.M., Chen, Y.: Nonconvex optimization meets low-rank matrix factorization: An overview. IEEE Transactions on Signal Processing 67(20), 52395269 (2019)</ref><ref name="Cui">Cui, S., Wang, S., Zhuo, J., Li, L., Huang, Q., Tian, Q.: Towards discriminability and diversity: Batch nuclear-norm maximization under label insufficient situations. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3941–3950 (2020)</ref>。使用这个定义来刻画近似动力学可逆性是合理的，因为完全动力学可逆性可以通过最大化 <math>\Gamma_{\alpha}</math> 来得到。我们可以证明如下结论：对于任意 <math>\alpha\in(0,2)</math>，<math>\Gamma_{\alpha}</math> 的最大值是 <math>N</math>，当且仅当 <math>P</math> 是置换矩阵的时候能取到该最大值。
张江等人<ref name="reversibility"/>提供了一种基于奇异值分解的粗粒化方法，以获得宏观层面的简化TPM。其基本思想是将 <math>P</math> 中的行向量 <math>P_{i},\forall i \in [1,N]</math>投影到 <math>P</math> 的几个较大奇异值对应的奇异向量所张成的子空间上，从而保留 <math>P</math> 的主要信息，并保持 <math>\Gamma</math> 不变。
最大化动力学可逆性的合理性来源于这套SVD方案定义的因果涌现与最大化有效信息的因果涌现定义的密切关系。在[[基于有效信息的因果涌现理论|Erik Hoel因果涌现理论]]的框架内，给定马尔可夫动力学系统的因果涌现的大小依赖于粗粒化策略的选择，可以通过宏观动力学的EI最大化寻找最优的粗粒化策略。
我们可以证明，要想获得最大化有效信息的粗粒化策略也近似等价于是向最大奇异值对应的奇异向量方向投影的策略。严格推导可见[[基于有效信息的因果涌现理论]]。由于对于离散的马尔可夫链来说，粗粒化策略往往都是比较严格的0或1构成的向量，因此并不能简单地根据奇异向量来直接投影。但是，如果粗粒化策略尽可能地与最大的几个奇异向量平行，那么就可以让粗粒化后动力学的EI尽可能更大，因此最大化EI的必要条件近似可以认为就是往最大奇异值对应的奇异向量空间做投影。在实际应用中，粗粒化策略 <math>\phi</math> 的约束（例如，宏观动力学TPM的分组和归一化）会阻止 <math>\phi_j</math> 与奇异向量完美对齐。因此，基于SVD的粗粒化策略只是最大化EI的近似必要条件。
===动力学一致性<ref name=":2" />===
好的粗粒化方案是能够尽可能保证原始的网络（或转移矩阵）和粗粒化后的网络（或转移矩阵）尽可能地相似。动力学一致性衡量了在原始网络和粗粒化后网络上演化的状态的轨迹的一致性。详情请见[[复杂网络中的因果涌现]]词条。
以下关于[[动力学的一致性检验]]的描述节选自[[复杂网络中的因果涌现]]：
定义微观网络 <math>G</math> 与宏观网络 <math>G_M</math>，分别在两个网络上进行[[随机游走]]。在某个时间 <math>t</math>，<math>G</math> 上的预期分布为 <math>P_m(t)</math>，而 <math>G_M</math> 上的预期分布为 <math>P_M(t)</math>。
将 <math>P_m(t)</math> 分布叠加到宏观宏观 <math>G_M</math> 的相同节点上，得到 <math>P_{M|m}(t)</math> 分布。通过计算 <math>P_M(t)</math> 和 <math>P_{M|m}(t)</math> 之间的KL散度来衡量其不一致性（inconsistency）。如果结果为零，则表示动力学一致。公式如下：
<math>inconsistency=\sum_{t=0}^T D_{KL}[P_M(t)||P_{M|m}(t)]</math>
也就是说，不一致性 表示了 宏观和微观网络节点在不同时刻的概率分布的[[KL散度]]之和。
<br/>
<br/>