| 第117行: |
第117行: |
| | | | |
| | 也就是说,不一致性 表示了 宏观和微观网络节点在不同时刻的概率分布的[[KL散度]]之和。 | | 也就是说,不一致性 表示了 宏观和微观网络节点在不同时刻的概率分布的[[KL散度]]之和。 |
| − |
| |
| − | <br/>
| |
| − |
| |
| − | ===宏观最大预测性===
| |
| − |
| |
| − | 宏观最大预测性是指,在将微观状态粗粒化为宏观状态后,我们只用宏观状态就能预测后续的'''宏观'''状态。
| |
| − |
| |
| − | 具体来说,只需要知道宏观状态 <math>A^{(t)}</math>,就可以最大化 <math>A^{(t+1)}</math> 的预测效果,而微观状态 <math>s^{(t+1)}</math> 虽然能提供一些额外信息,但是对于预测 <math>A^{(t+1)}</math> 并无帮助。
| |
| − |
| |
| − | 这意味着条件互信息 <math>I(A^{(t+1)}; s^{(t+1)} | A^{(t)}) = 0</math>。宏观动力学不需要任何来自微观状态的修正,就能独立且正确地反映系统在宏观层面上的演化。
| |
| − |
| |
| − | <br/>
| |
| − |
| |
| − | ===微观最大预测性===
| |
| − |
| |
| − | 微观最大预测性是指,在将微观状态粗粒化为宏观状态后,我们只用宏观状态就能预测'''后续'''的微观状态。
| |
| − |
| |
| − | 具体来说,只需要知道宏观状态 <math>A^{(t)}</math>,就可以最大化 <math>s^{(t+1)}</math> 的预测效果。
| |
| | | | |
| | <br/> | | <br/> |
| 第226行: |
第208行: |
| | ====宏观最大预测性==== | | ====宏观最大预测性==== |
| | | | |
| − | 宏观最大预测性是指,在将微观状态粗粒化为宏观状态后,我们就不再需要微观状态,只用宏观状态就能预测后续的宏观状态。
| + | 宏观最大预测性是指,在将微观状态粗粒化为宏观状态后,我们只用宏观状态就能预测后续的'''宏观'''状态。 |
| | + | |
| | + | 具体来说,只需要知道宏观状态 <math>A^{(t)}</math>,就可以最大化 <math>A^{(t+1)}</math> 的预测效果,而微观状态 <math>s^{(t+1)}</math> 虽然能提供一些额外信息,但是对于预测 <math>A^{(t+1)}</math> 并无帮助。 |
| | + | |
| | + | 这意味着条件互信息 <math>I(A^{(t+1)}; s^{(t+1)} | A^{(t)}) = 0</math>。宏观动力学不需要任何来自微观状态的修正,就能独立且正确地反映系统在宏观层面上的演化。 |
| | | | |
| | 尽管成块性划分能够准确预测宏观动力学,但它无法确保像[[计算力学]]中的因果态那样的微观最大预测性。因为在聚类过程中会损失微观状态的信息,使得我们无法辨别某个<math>A^{(t)}</math>具体是哪个微观态<math>s^{(t)}</math>。这个信息的损失是不可逆的,所以从微观粗粒化到宏观之后,就无法再还原到微观了。 | | 尽管成块性划分能够准确预测宏观动力学,但它无法确保像[[计算力学]]中的因果态那样的微观最大预测性。因为在聚类过程中会损失微观状态的信息,使得我们无法辨别某个<math>A^{(t)}</math>具体是哪个微观态<math>s^{(t)}</math>。这个信息的损失是不可逆的,所以从微观粗粒化到宏观之后,就无法再还原到微观了。 |
| | + | |
| | + | <br/> |
| | | | |
| | ====成块划分和粗粒化的可交换性==== | | ====成块划分和粗粒化的可交换性==== |
| 第274行: |
第262行: |
| | 如上图所示<ref name="crutchfield_1994">{{cite journal |last1=Crutchfield |first1=James P. |title=The Calculi of Emergence: Computation, Dynamics, and Induction |journal=Physica D: Nonlinear Phenomena |volume=75 |year=1994 |pages=11-54 |url=https://dl.acm.org/doi/10.1016/0167-2789%2894%2990273-9}}</ref>,<math>t_9</math> 和 <math>t_{13}</math> 时刻对未来状态的预测分布相同,处于同一因果态;<math>t_{11}</math>时刻预测分布不同,处于不同的因果态。 | | 如上图所示<ref name="crutchfield_1994">{{cite journal |last1=Crutchfield |first1=James P. |title=The Calculi of Emergence: Computation, Dynamics, and Induction |journal=Physica D: Nonlinear Phenomena |volume=75 |year=1994 |pages=11-54 |url=https://dl.acm.org/doi/10.1016/0167-2789%2894%2990273-9}}</ref>,<math>t_9</math> 和 <math>t_{13}</math> 时刻对未来状态的预测分布相同,处于同一因果态;<math>t_{11}</math>时刻预测分布不同,处于不同的因果态。 |
| | | | |
| − | | + | <br/> |
| | | | |
| | ===因果态的主要性质=== | | ===因果态的主要性质=== |
| | 为什么我们要关注因果态这样一种特定的宏观态呢?下面是因果态的两个主要性质,能够体现出因果态是一种最理想的宏观态: | | 为什么我们要关注因果态这样一种特定的宏观态呢?下面是因果态的两个主要性质,能够体现出因果态是一种最理想的宏观态: |
| | | | |
| − | ====最大预测性====
| |
| | | | |
| − | '''性质1(因果态具有最大预测性)''':对于宏观态<math>\mathcal{∀R} </math>和正整数<math>L </math>,都有<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>,<math>\stackrel{\rightarrow}{S}^L </math>为长度为<math>L </math>的未来序列集合,<math>\mathcal{S}</math>为因果态划分,所有可能的历史序列记作<math> \overleftarrow{S}</math>。<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}] </math>和<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>是<math>\stackrel{\rightarrow}{S}^L </math>的[[条件熵]]。可以理解为因果态集合<math>\mathcal{S} </math>是在所有的划分宏观态集合<math>\mathcal{R} </math>中,预测能力最强的一种宏观态,证明过程请参照[[计算力学]]词条。 | + | |
| | + | ===微观最大预测性=== |
| | + | |
| | + | 微观最大预测性是指,在将微观状态粗粒化为宏观状态后,我们只用宏观状态就能预测'''后续'''的微观状态。 |
| | + | |
| | + | 具体来说,只需要知道宏观状态 <math>A^{(t)}</math>,就可以最大化 <math>s^{(t+1)}</math> 的预测效果。 |
| | + | |
| | + | 对于宏观态<math>\mathcal{∀R} </math>和正整数<math>L </math>,都有<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>,<math>\stackrel{\rightarrow}{S}^L </math>为长度为<math>L </math>的未来序列集合,<math>\mathcal{S}</math>为因果态划分,所有可能的历史序列记作<math> \overleftarrow{S}</math>。<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}] </math>和<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>是<math>\stackrel{\rightarrow}{S}^L </math>的[[条件熵]]。可以理解为因果态集合<math>\mathcal{S} </math>是在所有的划分宏观态集合<math>\mathcal{R} </math>中,预测能力最强的一种宏观态,证明过程请参照[[计算力学]]词条。 |
| | + | |
| | + | <br/> |
| | | | |
| | ====最小随机性==== | | ====最小随机性==== |
| | | | |
| − | '''性质2(因果态具有最小随机性)''':设<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>为满足性质1中不等式等号成立的宏观态,则对于所有的<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>,都有<math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}] </math>,其中<math>\hat{\mathcal{R}}^{\prime} </math>和<math>\mathcal{S}^{\prime} </math>分别是该过程的下一时刻状态和下一时刻因果态。
| + | 设<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>为满足性质1中不等式等号成立的宏观态,则对于所有的<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>,都有<math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}] </math>,其中<math>\hat{\mathcal{R}}^{\prime} </math>和<math>\mathcal{S}^{\prime} </math>分别是该过程的下一时刻状态和下一时刻因果态。 |
| | | | |
| | 该性质可以被理解为在相同预测能力的前提下,因果态集合[math]\displaystyle{ \mathcal{S} }[/math]在所有的宏观态[math]\displaystyle{ \mathcal{R} }[/math]的集合中,随机性最小。 | | 该性质可以被理解为在相同预测能力的前提下,因果态集合[math]\displaystyle{ \mathcal{S} }[/math]在所有的宏观态[math]\displaystyle{ \mathcal{R} }[/math]的集合中,随机性最小。 |
| 第467行: |
第463行: |
| | <br/> | | <br/> |
| | | | |
| − | ==因果涌现:有效信息== | + | ==因果涌现:最大化有效信息== |
| | | | |
| | [[因果涌现]](causal emergence)是指动力系统中的一类特殊的[[涌现]]现象,即系统在宏观尺度会展现出更强的因果特性。特别的,对于一类[[马尔科夫动力系统]]来说,在对其状态空间进行适当的[[粗粒化]]以后,所形成的宏观动力学会展现出比微观更强的因果特性——即更大的[[有效信息]],那么我们称该系统发生了因果涌现<ref name="ei">Hoel E P, Albantakis L, Tononi G. Quantifying causal emergence shows that macro can beat micro[J]. Proceedings of the National Academy of Sciences, 2013, 110(49): 19790-19795.</ref><ref name=":25">Hoel E P. When the map is better than the territory[J]. Entropy, 2017, 19(5): 188.</ref>。 | | [[因果涌现]](causal emergence)是指动力系统中的一类特殊的[[涌现]]现象,即系统在宏观尺度会展现出更强的因果特性。特别的,对于一类[[马尔科夫动力系统]]来说,在对其状态空间进行适当的[[粗粒化]]以后,所形成的宏观动力学会展现出比微观更强的因果特性——即更大的[[有效信息]],那么我们称该系统发生了因果涌现<ref name="ei">Hoel E P, Albantakis L, Tononi G. Quantifying causal emergence shows that macro can beat micro[J]. Proceedings of the National Academy of Sciences, 2013, 110(49): 19790-19795.</ref><ref name=":25">Hoel E P. When the map is better than the territory[J]. Entropy, 2017, 19(5): 188.</ref>。 |
| 第597行: |
第593行: |
| | <br/> | | <br/> |
| | | | |
| − | ==因果涌现:动力学可逆性 Dynamical Reversibility== | + | ===最大化动力学可逆性 Dynamical Reversibility=== |
| | | | |
| | [[基于可逆性的因果涌现理论]]是一种量化[[因果涌现 Causal Emergence|因果涌现]]的新框架,提出了近似动力学可逆性(<math>\Gamma_{\alpha}</math>)的概念,用于量化[[马尔科夫动力学]]接近可逆动力学的程度<ref name="reversibility">Zhang, J., Tao, R., Leong, K.H. et al. Dynamical reversibility and a new theory of causal emergence based on SVD. npj Complex 2, 3 (2025).</ref>。 | | [[基于可逆性的因果涌现理论]]是一种量化[[因果涌现 Causal Emergence|因果涌现]]的新框架,提出了近似动力学可逆性(<math>\Gamma_{\alpha}</math>)的概念,用于量化[[马尔科夫动力学]]接近可逆动力学的程度<ref name="reversibility">Zhang, J., Tao, R., Leong, K.H. et al. Dynamical reversibility and a new theory of causal emergence based on SVD. npj Complex 2, 3 (2025).</ref>。 |
| 第610行: |
第606行: |
| | | | |
| | | | |
| − | ===定义=== | + | ====定义==== |
| | | | |
| | 对于给定的马尔可夫链<math>\chi</math>和对应的'''转移概率矩阵(Transitional Probability Matrix,简称TPM)''' <math>P</math> ,如果 <math>P</math> 同时满足: | | 对于给定的马尔可夫链<math>\chi</math>和对应的'''转移概率矩阵(Transitional Probability Matrix,简称TPM)''' <math>P</math> ,如果 <math>P</math> 同时满足: |
| 第648行: |
第644行: |
| | | | |
| | | | |
| − | ===最大化动力学可逆性的划分=== | + | ====最大化动力学可逆性的划分==== |
| | | | |
| | 文章<ref name="reversibility"/>提供了一种基于奇异值分解的粗粒化方法,以获得宏观层面的简化TPM。其基本思想是将 <math>P</math> 中的行向量 <math>P_{i},\forall i \in [1,N]</math>投影到 <math>P</math> 的几个较大奇异值对应的奇异向量所张成的子空间上,从而保留P的主要信息,并保持 <math>\Gamma</math> 不变。 | | 文章<ref name="reversibility"/>提供了一种基于奇异值分解的粗粒化方法,以获得宏观层面的简化TPM。其基本思想是将 <math>P</math> 中的行向量 <math>P_{i},\forall i \in [1,N]</math>投影到 <math>P</math> 的几个较大奇异值对应的奇异向量所张成的子空间上,从而保留P的主要信息,并保持 <math>\Gamma</math> 不变。 |
| 第750行: |
第746行: |
| | | | |
| | 随机动力学的视角告诉我们,无论系统如何随机演化,它总会被拉向一个或多个“吸引子”结构。当系统演化到稳态分布之后,这些吸引子内的状态就会展现出相同的演化特性,因此我们能够根据吸引子来对状态进行分组。详细的数学公式和验证请参考[[马尔科夫链中的随机动力学]]。 | | 随机动力学的视角告诉我们,无论系统如何随机演化,它总会被拉向一个或多个“吸引子”结构。当系统演化到稳态分布之后,这些吸引子内的状态就会展现出相同的演化特性,因此我们能够根据吸引子来对状态进行分组。详细的数学公式和验证请参考[[马尔科夫链中的随机动力学]]。 |
| | + | |
| | + | <br/> |
| | + | |
| | + | ==不同粗粒化方法之间的异同== |
| | + | |
| | + | ===高阶网络聚类 Higher-order Macronodes v.s. 成块性=== |
| | + | |
| | + | 我们通过一个简单的成块划分例子来展示,成块性的粗粒化与HOM是如何对应的。该例子的状态转移图如下图所示: |
| | + | |
| | + | [[文件:Lumpability例子示意图.png|图6:例子示意图|300像素]] |
| | + | |
| | + | 与之相应的状态转移概率矩阵为: |
| | + | <math> |
| | + | \begin{aligned} |
| | + | P = P_{s_i \rightarrow s_j} = \left [ |
| | + | \begin{array}{c:c:cc:c:c} |
| | + | 0 & 0 & 0.3 & 0.1 & 0.6 & 0\\ |
| | + | \hdashline |
| | + | 0 & 0 & 0.2 & 0.3 & 0 & 0.5\\ |
| | + | \hdashline |
| | + | 0 & 0 & 0 & 0.7 & 0.2 & 0.1\\ |
| | + | 0 & 0 & 0.7 & 0 & 0.2 & 0.1\\ |
| | + | \hdashline |
| | + | 1.0 & 0 & 0 & 0 & 0 & 0\\ |
| | + | \hdashline |
| | + | 0 & 1.0 & 0 & 0 & 0 & 0\\ |
| | + | \end{array} |
| | + | \right ] |
| | + | \end{aligned} |
| | + | </math> |
| | + | 。对于这个转移概率矩阵,<math>\{1, 2, \{34\}, 5, 6\}</math>是一个成块的划分。其对应的宏观转移概率: |
| | + | <math> |
| | + | \begin{aligned} |
| | + | \left [ |
| | + | \begin{array}{c:c:c:c:c} |
| | + | 0 & 0 & 0.4 & 0.6 & 0\\ |
| | + | \hdashline |
| | + | 0 & 0 & 0.5 & 0 & 0.5\\ |
| | + | \hdashline |
| | + | 0 & 0 & 0.7 & 0.2 & 0.1\\ |
| | + | \hdashline |
| | + | 1.0 & 0 & 0 & 0 & 0\\ |
| | + | \hdashline |
| | + | 0 & 1.0 & 0 & 0 & 0\\ |
| | + | \end{array} |
| | + | \right ] |
| | + | \end{aligned} |
| | + | </math> |
| | + | |
| | + | |
| | + | |
| | + | 根据上一部分对HOM方法介绍,我们注意到,HOM中各情况的计算方式本质上都是对待合并节点<math>A</math>中各节点的出流<math>W_i^{out}</math>(即图中的红色连边)的加权求和。而成块性的特性决定了,群组里的各节点到其他群组的出流<math>W_i^{out}</math>都是一样的。所以,对相同的<math>W_i^{out}</math>进行任意加权平均的结果仍然是<math>W_i^{out}</math>。这意味着,无论根据哪种情况采用哪种加权方法,对于成块划分来说,最终的结果都是一致的,且与成块性的粗粒化结果相同。 |
| | + | |
| | + | 由此,我们总结,'''成块性的聚合方式和HOM的计算方式,无论入流还是出流都完全一致。''' |
| | + | |
| | + | |
| | + | |
| | + | ===成块性 v.s. 有效信息/动力学可逆性=== |
| | + | |
| | + | 当一个马尔科夫矩阵满足成块性时,同一组的行会受到约束而相似,所以这种成块的矩阵的EI或动力学可逆性也会很高。这就是成块性和因果涌现之间的物理联系。 |
| | + | |
| | + | 但是,这两个概念并不完全等价。成块性的目标是想在保证宏观和微观动力学的一致性的情况下去对状态做分组,而因果涌现的主要目标是想最大化粗粒化之后宏观动力学的因果强度。 |
| | + | |
| | + | 在普通的成块性例子里,它们粗粒化之后能得到一个EI或者可逆性很高的宏观动力学。但是,当我们考虑一些极端的例子,如下图所示,我们强行让每一组里的状态转移概率都尽可能的不一样,但是加起来又是一样的,满足了成块性的划分。按照这种成块的划分来去做粗粒化,它并不一定得到高的EI或可逆性。相反,我们用另一个不成块的分组来做粗粒化,得到的宏观动力学的EI和可逆性反而会更高。这现象说明: |
| | + | |
| | + | # 基于成块性的最优划分不一定等于基于可逆性的最优划分。 |
| | + | |
| | + | # 成块性的分组数量是基于马尔科夫秩的,而可逆性的分组数量是对奇异值谱的截断位置。 |
| | + | |
| | + | [[文件:成块性和因果涌现.png|700x700px|替代=|无]] |
| | | | |
| | <br/> | | <br/> |
| 第859行: |
第925行: |
| | | | |
| | <br/> | | <br/> |
| − |
| |
| − |
| |
| − |
| |
| − | ==复杂网络中的粗粒化方法==
| |
| − |
| |
| − | ===复杂网络与马尔科夫链的相似性===
| |
| − |
| |
| − | 对一个复杂网络的而言,并不具备一定的动力学,所以需要人为定义一套动力学,借助随机游走子的概念,在网络上定义了一套随机游走动力学。
| |
| − |
| |
| − | 假设游走子在每一步都会按照边权来进行转移,这种节点间的转移动力学可以用马尔科夫链表示。马尔科夫链的状态对应着复杂网络上的节点,而转移概率对应着网络节点之间的连边权重。
| |
| − |
| |
| − | 考虑一个连通图<math>G</math>,邻接矩阵为<math>A</math>,假设图上有<math>N</math>个节点,分别为<math>1,2,...,N</math>,我们定义从节点<math>i\in\left\{1,2,...,N\right\}</math>到节点<math>j\in\left\{1,2,...,N\right\}</math>的转移概率为<math>w_{ij}=\frac{a_{ij}}{\sum_{j}a_{ij}}</math>(即对边权进行行归一化),其中<math>a_{ij}</math>表示邻接矩阵的第<math>i</math>行第<math>j</math>列元素,对应从节点<math>i</math>到节点<math>j</math>的边的权重。由于该网络是连通图,所以分母<math>\sum_{j}a_{ij}</math>会大于<math>0</math>,而且满足行归一化,即<math>\sum_{j=1}^N {w_{ij}}=1</math>。这样我们就定义了一个马尔科夫链,状态空间为<math>\left\{1,2,...,N\right\}</math>,从状态<math>i</math>到状态<math>j</math>的转移概率为<math>w_{ij}</math>,转移矩阵为<math>W=\left\{w_{ij}\right\}_{N \times N}</math>。
| |
| − | ,假设图上有$$N$$个节点,分别为$$1,2,...,N$$,我们定义从节点<math>i\in\left\{1,2,...,N\right\}</math>到节点<math>j\in\left\{1,2,...,N\right\}</math>的转移概率为<math>w_{ij}=\frac{a_{ij}}{\sum_{j}a_{ij}}</math>(即对边权进行行归一化),其中<math>a_{ij}</math>表示邻接矩阵的第<math>i</math>行第<math>j</math>列元素,对应从节点<math>i</math>到节点<math>j</math>的边的权重。由于该网络是连通图,所以分母<math>\sum_{j}a_{ij}</math>会大于<math>0</math>,而且满足行归一化,即<math>\sum_{j=1}^N {w_{ij}}=1</math>。这样我们就定义了一个马尔科夫链,状态空间为<math>\left\{1,2,...,N\right\}</math>,从状态<math>i</math>到状态<math>j</math>的转移概率为<math>w_{ij}</math>,转移矩阵为<math>W=\left\{w_{ij}\right\}_{N \times N}</math><ref>复杂网络的因果涌现.https://wiki.swarma.org/index.php/%E5%A4%8D%E6%9D%82%E7%BD%91%E7%BB%9C%E4%B8%AD%E7%9A%84%E5%9B%A0%E6%9E%9C%E6%B6%8C%E7%8E%B0</ref>。
| |
| − |
| |
| − | ===复杂网络的粗粒化方法===
| |
| − |
| |
| − | ====谱粗粒化====
| |
| − |
| |
| − | 复杂网络可以被建模为一个马尔科夫过程,它的动力学由邻接矩阵<math>A</math>构建的随机矩阵$$W$$(或称转移概率矩阵)所描述,定义为<math>W_{ij} = \frac{A_{ij}}{\sum_k A_{kj}}</math>表示从节点<math>j</math>转移到节点<math>i</math>的概率。为实现网络的降维与简化,研究一种基于谱理论的粗粒化方法<ref>Gfeller D, De Los Rios P. Spectral coarse graining of complex networks[J]. Physical review letters, 2007, 99(3): 038701.</ref>。该方法的核心在于选取随机矩阵前<math>S</math>个最大非平凡特征向值<math>\lambda^2, \lambda^3, \ldots, \lambda^{S+1}</math>对应的左特征向量<math>\langle u^2 |, \langle u^3 |, \ldots, \langle u^{S+1} |</math>,将网络节点映射到该特征向量张成的特征空间。在此基础上,将每个特征向量的值域划分为<math>I</math>个区间,在所有<math>S</math>个特征向量均落入相同区间的节点合并为一个超级节点。从概率角度可以对此粗粒化过程可以解释为,将新超级节点的出边概率为原节点的出边概率的加权平均,其流入概率为原节点的流入概率相加,其他没有合并节点的转移概率保持不变。
| |
| − |
| |
| − | ====结合统计物理与机器学习的网络流方法====
| |
| − |
| |
| − | 我们用扩散方程<math>\frac{d\psi}{d\tau}=-L\psi</math>来描述网络的扩散过程,其中拉普拉斯矩阵<math>L=D-A</math>描述网络的拓扑结构,<math>A</math>是邻接矩阵,<math>D</math>是度矩阵。扩散方程的解为<math>\psi_{\tau}=e^{-\tau L}\psi_0</math>,体现了信息随时间的演化,其中<math>e^{-\tau L}</math>为时间演化算子,<math>[e^{-\tau L}]_{ij}</math>表示经过时间<math>\tau</math>后从节点<math>j</math>到节点<math>i</math>的流量。
| |
| − |
| |
| − | 利用配分函数<math>Z_{\tau}=Tr(e^{-\tau L})</math>,我们能量化矩阵的全局信息量。矩阵<math>e^{-\tau L}</math>的每个对角元<math>[e^{-\tau L}]_{ii}</math>是第<math>i</math>个节点的信息保留量,对所有对角元求和则能得到所有节点的信息保留量。
| |
| − |
| |
| − |
| |
| − |
| |
| − | 通过图神经网络(GNN)的消息传递机制,得到每个节点的向量表征,对节点向量应用Softmax函数,得到分组矩阵<math>S_{N\times M}</math>,其中元素<math>s_{ij}</math>表示节点<math>i</math>分到第<math>j</math>个超级节点的概率。
| |
| − |
| |
| − | 通过<math>\hat{A}=\frac{M}{N}S^{T}AS</math>得到宏观邻接矩阵<math>\hat{A}_{M\times M}</math>,其中<math>A_{N\times N}</math>原始网络的邻接矩阵。归一化配分函数<math>\frac{Z}{N}</math>的平均绝对误差(MAE)作为训练图神经网络的损失函数,通过梯度下降优化GNN的参数。
| |
| − |
| |
| − | 网络规模从<math>N</math>压缩到<math>N^{'}</math>后,得到新的拉普拉斯矩阵<math>L^{'}</math>和配分函数<math>Z^{'}</math>,原始网络和压缩后的网络的配分函数的关系是<math>Z=\gamma Z^{'}</math>,并且压缩后的配分函数和原始网络的配分函数要尽可能相似,不随时间变化而且误差最小。当<math>\tau=0</math>时,<math>Z=N,Z^{'}=N^{'}</math>,为了使之成立,<math>\gamma=\frac{N}{N^{'}}</math>,所以乘数的有效值为<math>\frac{N}{N^{'}}</math><ref>Zhang, Zhang, et al. "Coarse-graining network flow through statistical physics and machine learning." Nature Communications 16.1 (2025): 1605.</ref>。
| |
| − |
| |
| − |
| |
| − |
| |
| − | 马尔科夫链是描述状态仅依赖当前状态的随机过程,通过拉普拉斯矩阵与转移概率的关系,将上述方法应用到马尔科夫链中,在离散时间马尔科夫链中,转移概率矩阵为<math>P</math>;在连续时间马尔科夫链中,<math>P(t)=e^{-tL}</math>是经过时间 <math>t</math> 的转移概率矩阵。配分函数<math>Z_t=Tr(e^{-tL})</math>可以理解为马尔科夫链的所有状态的信息保留总和。
| |
| − |
| |
| − | 进行稳态分析的时候,当<math>t\rightarrow \infty</math>时,<math>e^{-tL}</math>的极限与稳态分布有关,配分函数的渐近行为反映链的长期信息保留特性。通过分析<math>e^{-tL}</math>的特征向量来识别马尔科夫链的状态聚类。
| |
| − |
| |
| − | ====具有自非相似性的复杂网络的粗粒化方法====
| |
| − |
| |
| − | 方法<ref>Itzkovitz, Shalev, et al. "Coarse-graining and self-dissimilarity of complex networks." Physical Review E—Statistical, Nonlinear, and Soft Matter Physics 71.1 (2005): 016127.</ref>在电子电路(ISCAS89基准电路)和生物信号网络(哺乳动物蛋白质相互作用网络)成功应用,只要网络存在功能模块的重复级联,这个方法就可以应用。它们抽象出来一个“自非相似性”的特性。自非相似性是指复杂网络的不同粗粒化层面,粗粒化单元和网络模体与整体网络的拓扑结构存在显著差异,而不是保持部分与整体的相似性。不同粗粒化层级的粗粒化单元和网络模体通过功能分化实现整体功能。
| |
| − |
| |
| − |
| |
| − |
| |
| − | 定义粗粒化单元(CGU):是最优地作为网络粗粒化节点的模式,具有明确输入、输出端口和内部计算节点的基本电路组件。CGU的集合构成“元素字典”,粗粒化网络为版本由该字典构建。部分节点被CGU替换,实现网络压缩。
| |
| − |
| |
| − | CGU的评价维度(优化的属性):'''简洁性'''、'''简单性'''和'''覆盖度'''。
| |
| − | #'''简洁性''':字典中CGU的总数尽可能的少。
| |
| − | #'''简单性''':单个CGU的结构尽简单,由黑箱数$$H$$决定,<math>H</math>越少越简单。 <math>H=I+O+2M</math>, <math>I</math>为输入节点,<math>O</math>为输出节点,<math>M</math>为混合节点。
| |
| − | #'''覆盖度''':粗粒化后消除的节点和边数尽可能多,被CGU覆盖的节点数<math>P_{covered}</math>和边数<math>E_{covered}</math>尽可能多。
| |
| − |
| |
| − |
| |
| − |
| |
| − | 针对CGU的评分函数:<math>S=[E_{covered}+\alpha P_{covered}]-[\alpha \sum_{i=1}^{N}n_i H_i+\beta N+\gamma\sum_{i=1}^{N} T_i]</math>
| |
| − | #正向项:对应覆盖度,覆盖度高,得分越高。
| |
| − | #负向项:对应简洁性和简单性,CGU 类型越少,内部节点越少,得分越高。
| |
| − |
| |
| − | 最大化 S 倾向于选择“高频出现、内部节点多且混合节点少” 的 CGU。
| |
| − |
| |
| − | 采用模拟退化法寻找粗粒化最优的CGU集合,仅以网络模体(在原始网络中出现频率显著高于随机网络的子图)作为候选CGU。
| |
| − | 候选CGU的获取方式:先检测 3-6 节点的所有网络模体,再根据每个模体出现的连接特征向量,同一模体不同特征向量的出现视为不同 CGU 候选。
| |
| − |
| |
| − |
| |
| − |
| |
| − | 找到最优的粗粒化CGU集合,通过将每个CGU的每一次出现替换为一个节点,形成粗粒化网络。算法可在粗粒化网络上重复执行,获得更高层级的粗粒化。
| |
| | | | |
| | | | |
| 第1,067行: |
第1,066行: |
| | <br/> | | <br/> |
| | | | |
| − | =不同粗粒化方法之间的异同=
| |
| | | | |
| − | ===高阶网络聚类 Higher-order Macronodes v.s. 成块性===
| |
| | | | |
| − | 我们通过一个简单的成块划分例子来展示,成块性的粗粒化与HOM是如何对应的。该例子的状态转移图如下图所示:
| + | ==复杂网络中的粗粒化方法== |
| | + | |
| | + | ===复杂网络与马尔科夫链的相似性=== |
| | + | |
| | + | 对一个复杂网络的而言,并不具备一定的动力学,所以需要人为定义一套动力学,借助随机游走子的概念,在网络上定义了一套随机游走动力学。 |
| | + | |
| | + | 假设游走子在每一步都会按照边权来进行转移,这种节点间的转移动力学可以用马尔科夫链表示。马尔科夫链的状态对应着复杂网络上的节点,而转移概率对应着网络节点之间的连边权重。 |
| | + | |
| | + | 考虑一个连通图<math>G</math>,邻接矩阵为<math>A</math>,假设图上有<math>N</math>个节点,分别为<math>1,2,...,N</math>,我们定义从节点<math>i\in\left\{1,2,...,N\right\}</math>到节点<math>j\in\left\{1,2,...,N\right\}</math>的转移概率为<math>w_{ij}=\frac{a_{ij}}{\sum_{j}a_{ij}}</math>(即对边权进行行归一化),其中<math>a_{ij}</math>表示邻接矩阵的第<math>i</math>行第<math>j</math>列元素,对应从节点<math>i</math>到节点<math>j</math>的边的权重。由于该网络是连通图,所以分母<math>\sum_{j}a_{ij}</math>会大于<math>0</math>,而且满足行归一化,即<math>\sum_{j=1}^N {w_{ij}}=1</math>。这样我们就定义了一个马尔科夫链,状态空间为<math>\left\{1,2,...,N\right\}</math>,从状态<math>i</math>到状态<math>j</math>的转移概率为<math>w_{ij}</math>,转移矩阵为<math>W=\left\{w_{ij}\right\}_{N \times N}</math>。 |
| | + | ,假设图上有$$N$$个节点,分别为$$1,2,...,N$$,我们定义从节点<math>i\in\left\{1,2,...,N\right\}</math>到节点<math>j\in\left\{1,2,...,N\right\}</math>的转移概率为<math>w_{ij}=\frac{a_{ij}}{\sum_{j}a_{ij}}</math>(即对边权进行行归一化),其中<math>a_{ij}</math>表示邻接矩阵的第<math>i</math>行第<math>j</math>列元素,对应从节点<math>i</math>到节点<math>j</math>的边的权重。由于该网络是连通图,所以分母<math>\sum_{j}a_{ij}</math>会大于<math>0</math>,而且满足行归一化,即<math>\sum_{j=1}^N {w_{ij}}=1</math>。这样我们就定义了一个马尔科夫链,状态空间为<math>\left\{1,2,...,N\right\}</math>,从状态<math>i</math>到状态<math>j</math>的转移概率为<math>w_{ij}</math>,转移矩阵为<math>W=\left\{w_{ij}\right\}_{N \times N}</math><ref>复杂网络的因果涌现.https://wiki.swarma.org/index.php/%E5%A4%8D%E6%9D%82%E7%BD%91%E7%BB%9C%E4%B8%AD%E7%9A%84%E5%9B%A0%E6%9E%9C%E6%B6%8C%E7%8E%B0</ref>。 |
| | + | |
| | + | ===复杂网络的粗粒化方法=== |
| | + | |
| | + | ====谱粗粒化==== |
| | + | |
| | + | 复杂网络可以被建模为一个马尔科夫过程,它的动力学由邻接矩阵<math>A</math>构建的随机矩阵$$W$$(或称转移概率矩阵)所描述,定义为<math>W_{ij} = \frac{A_{ij}}{\sum_k A_{kj}}</math>表示从节点<math>j</math>转移到节点<math>i</math>的概率。为实现网络的降维与简化,研究一种基于谱理论的粗粒化方法<ref>Gfeller D, De Los Rios P. Spectral coarse graining of complex networks[J]. Physical review letters, 2007, 99(3): 038701.</ref>。该方法的核心在于选取随机矩阵前<math>S</math>个最大非平凡特征向值<math>\lambda^2, \lambda^3, \ldots, \lambda^{S+1}</math>对应的左特征向量<math>\langle u^2 |, \langle u^3 |, \ldots, \langle u^{S+1} |</math>,将网络节点映射到该特征向量张成的特征空间。在此基础上,将每个特征向量的值域划分为<math>I</math>个区间,在所有<math>S</math>个特征向量均落入相同区间的节点合并为一个超级节点。从概率角度可以对此粗粒化过程可以解释为,将新超级节点的出边概率为原节点的出边概率的加权平均,其流入概率为原节点的流入概率相加,其他没有合并节点的转移概率保持不变。 |
| | + | |
| | + | ====结合统计物理与机器学习的网络流方法==== |
| | + | |
| | + | 我们用扩散方程<math>\frac{d\psi}{d\tau}=-L\psi</math>来描述网络的扩散过程,其中拉普拉斯矩阵<math>L=D-A</math>描述网络的拓扑结构,<math>A</math>是邻接矩阵,<math>D</math>是度矩阵。扩散方程的解为<math>\psi_{\tau}=e^{-\tau L}\psi_0</math>,体现了信息随时间的演化,其中<math>e^{-\tau L}</math>为时间演化算子,<math>[e^{-\tau L}]_{ij}</math>表示经过时间<math>\tau</math>后从节点<math>j</math>到节点<math>i</math>的流量。 |
| | + | |
| | + | 利用配分函数<math>Z_{\tau}=Tr(e^{-\tau L})</math>,我们能量化矩阵的全局信息量。矩阵<math>e^{-\tau L}</math>的每个对角元<math>[e^{-\tau L}]_{ii}</math>是第<math>i</math>个节点的信息保留量,对所有对角元求和则能得到所有节点的信息保留量。 |
| | + | |
| | + | |
| | + | |
| | + | 通过图神经网络(GNN)的消息传递机制,得到每个节点的向量表征,对节点向量应用Softmax函数,得到分组矩阵<math>S_{N\times M}</math>,其中元素<math>s_{ij}</math>表示节点<math>i</math>分到第<math>j</math>个超级节点的概率。 |
| | + | |
| | + | 通过<math>\hat{A}=\frac{M}{N}S^{T}AS</math>得到宏观邻接矩阵<math>\hat{A}_{M\times M}</math>,其中<math>A_{N\times N}</math>原始网络的邻接矩阵。归一化配分函数<math>\frac{Z}{N}</math>的平均绝对误差(MAE)作为训练图神经网络的损失函数,通过梯度下降优化GNN的参数。 |
| | | | |
| − | [[文件:Lumpability例子示意图.png|图6:例子示意图|300像素]]
| + | 网络规模从<math>N</math>压缩到<math>N^{'}</math>后,得到新的拉普拉斯矩阵<math>L^{'}</math>和配分函数<math>Z^{'}</math>,原始网络和压缩后的网络的配分函数的关系是<math>Z=\gamma Z^{'}</math>,并且压缩后的配分函数和原始网络的配分函数要尽可能相似,不随时间变化而且误差最小。当<math>\tau=0</math>时,<math>Z=N,Z^{'}=N^{'}</math>,为了使之成立,<math>\gamma=\frac{N}{N^{'}}</math>,所以乘数的有效值为<math>\frac{N}{N^{'}}</math><ref>Zhang, Zhang, et al. "Coarse-graining network flow through statistical physics and machine learning." Nature Communications 16.1 (2025): 1605.</ref>。 |
| | | | |
| − | 与之相应的状态转移概率矩阵为:
| |
| − | <math>
| |
| − | \begin{aligned}
| |
| − | P = P_{s_i \rightarrow s_j} = \left [
| |
| − | \begin{array}{c:c:cc:c:c}
| |
| − | 0 & 0 & 0.3 & 0.1 & 0.6 & 0\\
| |
| − | \hdashline
| |
| − | 0 & 0 & 0.2 & 0.3 & 0 & 0.5\\
| |
| − | \hdashline
| |
| − | 0 & 0 & 0 & 0.7 & 0.2 & 0.1\\
| |
| − | 0 & 0 & 0.7 & 0 & 0.2 & 0.1\\
| |
| − | \hdashline
| |
| − | 1.0 & 0 & 0 & 0 & 0 & 0\\
| |
| − | \hdashline
| |
| − | 0 & 1.0 & 0 & 0 & 0 & 0\\
| |
| − | \end{array}
| |
| − | \right ]
| |
| − | \end{aligned}
| |
| − | </math>
| |
| − | 。对于这个转移概率矩阵,<math>\{1, 2, \{34\}, 5, 6\}</math>是一个成块的划分。其对应的宏观转移概率:
| |
| − | <math>
| |
| − | \begin{aligned}
| |
| − | \left [
| |
| − | \begin{array}{c:c:c:c:c}
| |
| − | 0 & 0 & 0.4 & 0.6 & 0\\
| |
| − | \hdashline
| |
| − | 0 & 0 & 0.5 & 0 & 0.5\\
| |
| − | \hdashline
| |
| − | 0 & 0 & 0.7 & 0.2 & 0.1\\
| |
| − | \hdashline
| |
| − | 1.0 & 0 & 0 & 0 & 0\\
| |
| − | \hdashline
| |
| − | 0 & 1.0 & 0 & 0 & 0\\
| |
| − | \end{array}
| |
| − | \right ]
| |
| − | \end{aligned}
| |
| − | </math>
| |
| | | | |
| | | | |
| | + | 马尔科夫链是描述状态仅依赖当前状态的随机过程,通过拉普拉斯矩阵与转移概率的关系,将上述方法应用到马尔科夫链中,在离散时间马尔科夫链中,转移概率矩阵为<math>P</math>;在连续时间马尔科夫链中,<math>P(t)=e^{-tL}</math>是经过时间 <math>t</math> 的转移概率矩阵。配分函数<math>Z_t=Tr(e^{-tL})</math>可以理解为马尔科夫链的所有状态的信息保留总和。 |
| | | | |
| − | 根据上一部分对HOM方法介绍,我们注意到,HOM中各情况的计算方式本质上都是对待合并节点<math>A</math>中各节点的出流<math>W_i^{out}</math>(即图中的红色连边)的加权求和。而成块性的特性决定了,群组里的各节点到其他群组的出流<math>W_i^{out}</math>都是一样的。所以,对相同的<math>W_i^{out}</math>进行任意加权平均的结果仍然是<math>W_i^{out}</math>。这意味着,无论根据哪种情况采用哪种加权方法,对于成块划分来说,最终的结果都是一致的,且与成块性的粗粒化结果相同。
| + | 进行稳态分析的时候,当<math>t\rightarrow \infty</math>时,<math>e^{-tL}</math>的极限与稳态分布有关,配分函数的渐近行为反映链的长期信息保留特性。通过分析<math>e^{-tL}</math>的特征向量来识别马尔科夫链的状态聚类。 |
| | | | |
| − | 由此,我们总结,'''成块性的聚合方式和HOM的计算方式,无论入流还是出流都完全一致。'''
| + | ====具有自非相似性的复杂网络的粗粒化方法==== |
| | | | |
| | + | 方法<ref>Itzkovitz, Shalev, et al. "Coarse-graining and self-dissimilarity of complex networks." Physical Review E—Statistical, Nonlinear, and Soft Matter Physics 71.1 (2005): 016127.</ref>在电子电路(ISCAS89基准电路)和生物信号网络(哺乳动物蛋白质相互作用网络)成功应用,只要网络存在功能模块的重复级联,这个方法就可以应用。它们抽象出来一个“自非相似性”的特性。自非相似性是指复杂网络的不同粗粒化层面,粗粒化单元和网络模体与整体网络的拓扑结构存在显著差异,而不是保持部分与整体的相似性。不同粗粒化层级的粗粒化单元和网络模体通过功能分化实现整体功能。 |
| | | | |
| | | | |
| − | ===成块性 v.s. 有效信息/动力学可逆性===
| |
| | | | |
| − | 当一个马尔科夫矩阵满足成块性时,同一组的行会受到约束而相似,所以这种成块的矩阵的EI或动力学可逆性也会很高。这就是成块性和因果涌现之间的物理联系。
| + | 定义粗粒化单元(CGU):是最优地作为网络粗粒化节点的模式,具有明确输入、输出端口和内部计算节点的基本电路组件。CGU的集合构成“元素字典”,粗粒化网络为版本由该字典构建。部分节点被CGU替换,实现网络压缩。 |
| | | | |
| − | 但是,这两个概念并不完全等价。成块性的目标是想在保证宏观和微观动力学的一致性的情况下去对状态做分组,而因果涌现的主要目标是想最大化粗粒化之后宏观动力学的因果强度。
| + | CGU的评价维度(优化的属性):'''简洁性'''、'''简单性'''和'''覆盖度'''。 |
| | + | #'''简洁性''':字典中CGU的总数尽可能的少。 |
| | + | #'''简单性''':单个CGU的结构尽简单,由黑箱数$$H$$决定,<math>H</math>越少越简单。 <math>H=I+O+2M</math>, <math>I</math>为输入节点,<math>O</math>为输出节点,<math>M</math>为混合节点。 |
| | + | #'''覆盖度''':粗粒化后消除的节点和边数尽可能多,被CGU覆盖的节点数<math>P_{covered}</math>和边数<math>E_{covered}</math>尽可能多。 |
| | | | |
| − | 在普通的成块性例子里,它们粗粒化之后能得到一个EI或者可逆性很高的宏观动力学。但是,当我们考虑一些极端的例子,如下图所示,我们强行让每一组里的状态转移概率都尽可能的不一样,但是加起来又是一样的,满足了成块性的划分。按照这种成块的划分来去做粗粒化,它并不一定得到高的EI或可逆性。相反,我们用另一个不成块的分组来做粗粒化,得到的宏观动力学的EI和可逆性反而会更高。这现象说明:
| |
| | | | |
| − | # 基于成块性的最优划分不一定等于基于可逆性的最优划分。
| |
| | | | |
| − | # 成块性的分组数量是基于马尔科夫秩的,而可逆性的分组数量是对奇异值谱的截断位置。 | + | 针对CGU的评分函数:<math>S=[E_{covered}+\alpha P_{covered}]-[\alpha \sum_{i=1}^{N}n_i H_i+\beta N+\gamma\sum_{i=1}^{N} T_i]</math> |
| | + | #正向项:对应覆盖度,覆盖度高,得分越高。 |
| | + | #负向项:对应简洁性和简单性,CGU 类型越少,内部节点越少,得分越高。 |
| | | | |
| | + | 最大化 S 倾向于选择“高频出现、内部节点多且混合节点少” 的 CGU。 |
| | | | |
| | + | 采用模拟退化法寻找粗粒化最优的CGU集合,仅以网络模体(在原始网络中出现频率显著高于随机网络的子图)作为候选CGU。 |
| | + | 候选CGU的获取方式:先检测 3-6 节点的所有网络模体,再根据每个模体出现的连接特征向量,同一模体不同特征向量的出现视为不同 CGU 候选。 |
| | | | |
| − | [[文件:成块性和因果涌现.png|700x700px|替代=|无]]
| |
| | | | |
| | | | |
| | + | 找到最优的粗粒化CGU集合,通过将每个CGU的每一次出现替换为一个节点,形成粗粒化网络。算法可在粗粒化网络上重复执行,获得更高层级的粗粒化。 |
| | | | |
| | | | |