| 第1行: |
第1行: |
| − | [[马尔科夫链]]是一类特殊的随机过程:在给定当前状态后,对未来状态的预测不再依赖更早的过去状态。一般的[[马尔科夫链]]包括 <math>N</math> 个状态,所有状态之间的概率转移构成一个转移概率矩阵 <math>P</math>。该矩阵有 <math>N</math> 行 <math>N</math> 列,且满足概率归一化条件(所有元素位于 0 到 1 之间,所有行的和为 1)。本词条限定在 '''平稳马尔科夫链''' 上讨论,也就是[math]P[/math]不随时间和状态而变。 | + | [[马尔科夫链]]是一类特殊的随机过程:在给定当前状态后,对未来状态的预测不再依赖更早的过去状态。一般的[[马尔科夫链]]包括 <math>N</math> 个状态,所有状态之间的概率转移构成一个转移概率矩阵 <math>P</math>。该矩阵有 <math>N</math> 行 <math>N</math> 列,且满足概率归一化条件(所有元素位于 0 到 1 之间,所有行的和为 1)。本词条限定在 '''平稳马尔科夫链''' 上讨论,也就是 [math]P[/math] 不随时间和状态而变。 |
| | | | |
| | 所谓马尔科夫链的粗粒化,是指找到一个新的马尔科夫链,它具有 <math>1<M<N</math> 个状态,其对应的 <math>M</math> 行 <math>M</math> 列概率转移矩阵为<math>P'</math>。它同样满足概率归一化条件,可以看作对 <math>P</math> 所描述动力学过程的一种抽象近似约简。 | | 所谓马尔科夫链的粗粒化,是指找到一个新的马尔科夫链,它具有 <math>1<M<N</math> 个状态,其对应的 <math>M</math> 行 <math>M</math> 列概率转移矩阵为<math>P'</math>。它同样满足概率归一化条件,可以看作对 <math>P</math> 所描述动力学过程的一种抽象近似约简。 |
| 第74行: |
第74行: |
| | 其中 <math>W \in \mathbb{R}^{r \times n}</math>。Buchholz<ref name=":12">Buchholz, Peter. "Exact and ordinary lumpability in finite Markov chains." ''Journal of applied probability'' 31.1 (1994): 59-75.</ref>的文章中把 <math>W</math> 称作distributor matrix,而 <math>\Phi \in \mathbb{R}^{n \times r}</math> 称作collector matrix。 | | 其中 <math>W \in \mathbb{R}^{r \times n}</math>。Buchholz<ref name=":12">Buchholz, Peter. "Exact and ordinary lumpability in finite Markov chains." ''Journal of applied probability'' 31.1 (1994): 59-75.</ref>的文章中把 <math>W</math> 称作distributor matrix,而 <math>\Phi \in \mathbb{R}^{n \times r}</math> 称作collector matrix。 |
| | | | |
| − | 我们假设<math>W, \Phi, P, P'</math>都是线性的,所以可以这样理解这个公式:从图1左上角的 t 时刻宏观状态出发,先经过一个“逆向粗粒化”操作<math>W</math>得到 t 时刻微观状态,再经微观动力学 <math>P</math> 得到 t+1 时刻的微观状态,最后经粗粒化 <math>\Phi</math> 得到 t+1 时刻的宏观状态。 | + | 我们假设<math>W, \Phi, P, P'</math>都是线性的,可以这样理解这个公式:宏观状态从 t 到 t+1 时刻的过程<math>P'</math>,可以表达为从图1左上角的 t 时刻宏观状态出发,先经过一个“逆向粗粒化”操作 <math>W</math> 得到 t 时刻微观状态,再经微观动力学 <math>P</math> 得到 t+1 时刻的微观状态,最后经粗粒化 <math>\Phi</math> 得到 t+1 时刻的宏观状态。 |
| | | | |
| | 从式子{{EquationRef|1}}可以看到,<math>\Phi</math> 和 <math>P</math> 都是给定的,所以这一步要做的是决定 <math>W</math>。<math>W</math> 的基本限制是使 <math>P'</math> 符合马尔科夫矩阵定义;在此基础上,<math>W</math> 仍有无限多种选项,我们可以从中挑出更符合目标特征的方案。 | | 从式子{{EquationRef|1}}可以看到,<math>\Phi</math> 和 <math>P</math> 都是给定的,所以这一步要做的是决定 <math>W</math>。<math>W</math> 的基本限制是使 <math>P'</math> 符合马尔科夫矩阵定义;在此基础上,<math>W</math> 仍有无限多种选项,我们可以从中挑出更符合目标特征的方案。 |
| 第110行: |
第110行: |
| | |{{EquationRef|2}}}} | | |{{EquationRef|2}}}} |
| | | | |
| − | 这两条路径的一致性在粗粒化领域中非常重要,也被反复提及。满足一致性的粗粒化方案能够充分保留动力学中的有效信息,并丢弃无用信息。具体来说,宏观状态已经捕捉了与未来演化相关的所有“慢变量”或“相关信息”,而被粗粒化掉的那些微观细节,只影响瞬时噪声或快速弛豫过程,不会长期、系统性地改变宏观演化。
| + | 这两条路径的一致性在粗粒化领域中非常重要,也被反复提及 <ref name=":1" /> <ref name=":7" /> <ref name=":12" /> |
| | + | <ref name=":23">Barreto, André MS, and Marcelo D. Fragoso. "Lumping the states of a finite Markov chain through stochastic factorization." IFAC Proceedings Volumes 44.1 (2011): 4206-4211.</ref> |
| | + | <ref name=":24">Otsuka, Jun, and Hayato Saigo. "Process theory of causality: a category-theoretic perspective." Behaviormetrika 51.1 (2024): 21-36.</ref> |
| | + | <ref name=":25">Zennaro, F. M., Turrini, P., & Damoulas, T. (2023). Quantifying consistency and information loss for causal abstraction learning. arXiv preprint arXiv:2305.04357.</ref> |
| | + | 。满足一致性的粗粒化方案能够充分保留动力学中的有效信息,并丢弃无用信息。具体来说,宏观状态已经捕捉了与未来演化相关的所有“慢变量”或“相关信息”,而被粗粒化掉的那些微观细节,只影响瞬时噪声或快速弛豫过程,不会长期、系统性地改变宏观演化。 |
| | | | |
| | 对于马尔科夫链,粗粒化时我们通常希望得到一个新的马尔科夫过程:宏观态的转移只依赖当前宏观态,而不依赖更久远的历史。式子(2)说明了,如果粗粒化满足可交换性,那么宏观过程可以写成一个真正意义上的马尔科夫链,拥有一个明确的宏观转移矩阵 <math>P'</math>,而且宏观态的演化不需要记忆“刚才具体是哪个微观态导致了这个宏观态”。如果不满足,那宏观态的演化一般会带有记忆效应,未来的转移概率还会依赖这个宏观态是如何形成的,也就是依赖过去的轨迹。 | | 对于马尔科夫链,粗粒化时我们通常希望得到一个新的马尔科夫过程:宏观态的转移只依赖当前宏观态,而不依赖更久远的历史。式子(2)说明了,如果粗粒化满足可交换性,那么宏观过程可以写成一个真正意义上的马尔科夫链,拥有一个明确的宏观转移矩阵 <math>P'</math>,而且宏观态的演化不需要记忆“刚才具体是哪个微观态导致了这个宏观态”。如果不满足,那宏观态的演化一般会带有记忆效应,未来的转移概率还会依赖这个宏观态是如何形成的,也就是依赖过去的轨迹。 |
| 第124行: |
第128行: |
| | ===成块性的充分必要条件=== | | ===成块性的充分必要条件=== |
| | | | |
| − | 设<math>p_{s_k \rightarrow s_m} = p(s^{(t)} = s_m | s^{(t-1)} = s_k)</math>,<math>p_{s_k \rightarrow A_i} = p(s^{(t)} \in A_i | s^{(t-1)} = s_k) = \sum_{s_m \in A_i} p_{s_k \rightarrow s_m}</math>,<math>p_{A_i \rightarrow A_j} = p(A^{(t)} = A_j | A^{(t-1)} = A_i)</math>,作者<ref name=":1" />提出了判断一个马尔科夫链对'''给定划分 <math>A</math>''' 是否成块的充分必要条件为: | + | 设 <math>p_{s_k \rightarrow s_m} = p(s^{(t)} = s_m | s^{(t-1)} = s_k)</math> 为微观状态从 t-1 时刻 <math>s_k</math> 到 t 时刻 <math>s_m</math> 的转移(条件)概率; |
| | + | |
| | + | 设 <math>p_{s_k \rightarrow A_i} = p(s^{(t)} \in A_i | s^{(t-1)} = s_k) = \sum_{s_m \in A_i} p_{s_k \rightarrow s_m}</math> 为 t-1 时刻的微观状态 <math>s_k</math> 到 t 时刻的宏观状态 <math>A_i</math> 的转移(条件)概率(到 <math>A_i</math> 内所有微观状态的条件概率之和); |
| | + | |
| | + | 设 <math>p_{A_i \rightarrow A_j} = p(A^{(t)} = A_j | A^{(t-1)} = A_i)</math> 为宏观状态从 t-1 时刻 <math>A_i</math> 到 t 时刻 <math>A_j</math> 的转移(条件)概率。 |
| | + | |
| | + | 作者<ref name=":1" />提出了判断一个马尔科夫链对'''给定划分 <math>A</math>''' 是否成块的充分必要条件为: |
| | | | |
| | '''对于任意一对<math>A_i, A_j</math>,每一个属于<math>A_i</math>的状态<math>s_k</math>的<math>p_{s_k \rightarrow A_j}</math>都相同。也就是说,<math>A_i</math>里的每一个状态<math>s_k</math>转移到<math>A_j</math>中所有状态的转移概率之和是相同的。''' | | '''对于任意一对<math>A_i, A_j</math>,每一个属于<math>A_i</math>的状态<math>s_k</math>的<math>p_{s_k \rightarrow A_j}</math>都相同。也就是说,<math>A_i</math>里的每一个状态<math>s_k</math>转移到<math>A_j</math>中所有状态的转移概率之和是相同的。''' |
| 第217行: |
第227行: |
| | | | |
| | | | |
| − | [[计算力学]]认为,包括人类在内的智能体,每时每刻都在对周围环境观察,得到大量的观测数据,并在自己的内部(大脑中)构建简洁的机制来预测观测数据的变化(一种隐马尔科夫模型)。所以,引入了 ϵ-machine(ϵ-机器)的概念来模拟这种机制。 | + | [[计算力学]]认为,包括人类在内的智能体,每时每刻都在对周围环境观察,得到大量的观测数据,并在自己的内部(大脑中)构建简洁的机制来预测观测数据的变化(一种隐马尔科夫模型)。所以,引入了 ϵ-machine(ϵ-机器)的概念来描述这种机制。 |
| | | | |
| | ϵ-机器根据当前时间步的状态和历史记忆,来预测未来状态。其工作机制是:根据 <math>\overleftarrow{s_t}</math> 而判断 <math>t</math> 时刻系统处于哪个因果态 <math>E_t</math> ,并根据该因果态预测未来轨迹 <math>\overrightarrow{s_t}</math>。 | | ϵ-机器根据当前时间步的状态和历史记忆,来预测未来状态。其工作机制是:根据 <math>\overleftarrow{s_t}</math> 而判断 <math>t</math> 时刻系统处于哪个因果态 <math>E_t</math> ,并根据该因果态预测未来轨迹 <math>\overrightarrow{s_t}</math>。 |
| 第233行: |
第243行: |
| | ===因果态的主要性质=== | | ===因果态的主要性质=== |
| | 为什么我们要关注因果态这样一种特定的宏观态?下面是因果态的两个主要性质,它们体现了因果态为何是一种理想的宏观态: | | 为什么我们要关注因果态这样一种特定的宏观态?下面是因果态的两个主要性质,它们体现了因果态为何是一种理想的宏观态: |
| − |
| |
| − |
| |
| | | | |
| | ====微观最大预测性==== | | ====微观最大预测性==== |
| 第242行: |
第250行: |
| | 具体来说,只需要知道宏观状态 <math>A^{(t)}</math>,就可以最大化 <math>s^{(t+1)}</math> 的预测效果。 | | 具体来说,只需要知道宏观状态 <math>A^{(t)}</math>,就可以最大化 <math>s^{(t+1)}</math> 的预测效果。 |
| | | | |
| − | 对于宏观态 <math>\mathcal{\forall R}</math> 和正整数 <math>L</math>,都有 <math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}]</math>,<math>\stackrel{\rightarrow}{S}^L</math> 为长度为 <math>L </math> 的未来序列集合,<math>\mathcal{S}</math> 为因果态划分,所有可能的历史序列记作 <math>\overleftarrow{S}</math>。<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]</math> 和 <math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}]</math> 是 <math>\stackrel{\rightarrow}{S}^L</math> 的[[条件熵]]。可以理解为因果态集合 <math>\mathcal{S}</math> 是在所有的划分宏观态集合 <math>\mathcal{R}</math>中,预测能力最强的一种宏观态,证明过程请参照[[计算力学]]词条。 | + | 对于宏观态 <math>\mathcal{\forall R}</math> 和正整数 <math>L</math>,都有 <math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}]</math>,<math>\stackrel{\rightarrow}{S}^L</math> 为长度为 <math>L</math> 的未来序列集合,<math>\mathcal{S}</math> 为因果态划分,所有可能的历史序列记作 <math>\overleftarrow{S}</math>。<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]</math> 和 <math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}]</math> 是 <math>\stackrel{\rightarrow}{S}^L</math> 的[[条件熵]]。可以理解为因果态集合 <math>\mathcal{S}</math> 是在所有的划分宏观态集合 <math>\mathcal{R}</math>中,预测能力最强的一种宏观态,证明过程请参照[[计算力学]]词条。 |
| − | | |
| − | <br/>
| |
| | | | |
| | ====最小随机性==== | | ====最小随机性==== |
| | | | |
| − | 设<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>为满足性质1中不等式等号成立的宏观态,则对于所有的<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>,都有<math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}] </math>,其中<math>\hat{\mathcal{R}}^{\prime} </math>和<math>\mathcal{S}^{\prime} </math>分别是该过程的下一时刻状态和下一时刻因果态。
| + | 对于所有的宏观态 <math>\hat{\mathcal{R}}</math> 和 <math>\hat{\mathcal{R}}^{\prime}</math>,都有 <math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}]</math>,其中 <math>\hat{\mathcal{R}}^{\prime}</math> 和 <math>\mathcal{S}^{\prime}</math> 分别是该过程的下一时刻状态和下一时刻因果态。 |
| | | | |
| − | 该性质可以被理解为在相同预测能力的前提下,因果态集合[math]\displaystyle{ \mathcal{S} }[/math]在所有的宏观态[math]\displaystyle{ \mathcal{R} }[/math]的集合中,随机性最小。 | + | 该性质可以被理解为在相同预测能力的前提下,因果态集合 [math]\displaystyle{ \mathcal{S} }[/math] 在所有的宏观态 [math]\displaystyle{ \mathcal{R} }[/math] 的集合中,随机性最小。 |
| | | | |
| − | 用[[互信息]]的角度去理解的话,上式等价于<math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}}) </math>,可以理解为因果态为所有的与它自己的下一时刻的互信息中的最大的一个宏观态。 | + | 用[[互信息]]的角度去理解的话,上式等价于 <math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}})</math>,可以理解为因果态为所有的与它自己的下一时刻的互信息中的最大的一个宏观态。 |
| | | | |
| | <br/> | | <br/> |
| 第262行: |
第268行: |
| | ===跨尺度因果态和υ-机器=== | | ===跨尺度因果态和υ-机器=== |
| | | | |
| − | 前文已经介绍过因果态和 ϵ-机器。在跨尺度问题里,我们还需要一个专门处理“微观历史预测宏观未来”的对象。 | + | 前文已经介绍过因果态和 ϵ-机器。在跨尺度问题里,我们还需要一个跨尺度机器,υ-机器,来专门处理“微观历史预测宏观未来”的对象。 |
| | | | |
| | 设微观过程为 <math>X_t</math>,粗粒化后的宏观过程为 <math>Z_t=f(X_t)</math>。宏观的 ϵ-机器是用宏观历史 <math>\overleftarrow{Z_t}</math> 去预测宏观未来 <math>\overrightarrow{Z_t}</math>;而 Rosas 等人提出的 υ-机器,则是用微观历史 <math>\overleftarrow{X_t}</math> 去预测宏观未来 <math>\overrightarrow{Z_t}</math>。它在微观历史上定义的等价关系为: | | 设微观过程为 <math>X_t</math>,粗粒化后的宏观过程为 <math>Z_t=f(X_t)</math>。宏观的 ϵ-机器是用宏观历史 <math>\overleftarrow{Z_t}</math> 去预测宏观未来 <math>\overrightarrow{Z_t}</math>;而 Rosas 等人提出的 υ-机器,则是用微观历史 <math>\overleftarrow{X_t}</math> 去预测宏观未来 <math>\overrightarrow{Z_t}</math>。它在微观历史上定义的等价关系为: |
| 第300行: |
第306行: |
| | | | |
| | 这意味着:若我们已经知道宏观历史 <math>\overleftarrow{Z_t}</math>,再额外补充微观历史 <math>\overleftarrow{X_t}</math>,也不会提升对宏观未来的预测能力。它的物理意义是,宏观尺度在信息上已经“自给自足”,微观细节对宏观预测来说是冗余的。 | | 这意味着:若我们已经知道宏观历史 <math>\overleftarrow{Z_t}</math>,再额外补充微观历史 <math>\overleftarrow{X_t}</math>,也不会提升对宏观未来的预测能力。它的物理意义是,宏观尺度在信息上已经“自给自足”,微观细节对宏观预测来说是冗余的。 |
| | + | |
| | + | Anil Seth等人在其“动力学解耦”(Dynamical independence)文章中<ref name=":26">Barnett, Lionel, and Anil K. Seth. "Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems." Physical Review E 108.1 (2023): 014304.</ref>认为,符合信息闭合的系统中的宏观和微观动力学已经实现了“解耦”。一个人在跑步的时候,其身体内的细胞会进行各种各样的运动和反应。然而,我们不需要知晓所有这些细胞的状态,仅凭他的肢体动作就能判断他下一秒是否会继续跑步。也就是说,细胞的信息对我们来说是冗余的,而细胞这个微观层面和肢体这个宏观层面的动力学则实现了“解耦”。 |
| | | | |
| | 对给定的粗粒化函数 <math>f</math> 而言,因果闭合和信息闭合是等价的<ref name="closure" />。前者从干预与因果的角度表达同一件事,后者从预测与信息的角度表达同一件事。 | | 对给定的粗粒化函数 <math>f</math> 而言,因果闭合和信息闭合是等价的<ref name="closure" />。前者从干预与因果的角度表达同一件事,后者从预测与信息的角度表达同一件事。 |
| 第458行: |
第466行: |
| | 直观地说,如果把一个马尔科夫动力学看作通信信道,那么每一状态下的概率转移就可以看作一条信息通路(information pathway)。于是,系统发生因果涌现就等价于系统中存在冗余的信息通路,也就是某些状态转移彼此相似或线性相关。消除这些冗余通路的最好办法,就是利用 SVD 找到等于零或接近于零的奇异值及其对应的奇异向量,这实际上正是最大化有效信息的精髓所在。事实上,我们可以证明,最大化宏观动力学有效信息的粗粒化方案,近似等价于将系统动力学投影到较大奇异值对应的奇异向量方向上的方案。而系统所能达到的最大信息传输效率提升(归一化的近似动力学可逆性),就可以定义为因果涌现的强度。 | | 直观地说,如果把一个马尔科夫动力学看作通信信道,那么每一状态下的概率转移就可以看作一条信息通路(information pathway)。于是,系统发生因果涌现就等价于系统中存在冗余的信息通路,也就是某些状态转移彼此相似或线性相关。消除这些冗余通路的最好办法,就是利用 SVD 找到等于零或接近于零的奇异值及其对应的奇异向量,这实际上正是最大化有效信息的精髓所在。事实上,我们可以证明,最大化宏观动力学有效信息的粗粒化方案,近似等价于将系统动力学投影到较大奇异值对应的奇异向量方向上的方案。而系统所能达到的最大信息传输效率提升(归一化的近似动力学可逆性),就可以定义为因果涌现的强度。 |
| | | | |
| − | 所以,给定一个系统的马尔科夫转移矩阵,通过对它进行[[奇异值分解]],我们把奇异值 <math>\sigma_i</math> 的 <math>\alpha</math> 次方之和定义为马尔科夫动力学的近似可逆性度量(<math>\Gamma_{\alpha}\equiv \sum_{i=1}^N\sigma_i^{\alpha}</math>),用以刻画最终指标更偏向衡量确定性还是简并性。通常取 <math>\alpha=1</math>,表示平权考虑确定性和简并性对最终可逆性度量的影响。 | + | 所以,给定一个系统的马尔科夫转移矩阵,通过对它进行[[奇异值分解]],我们把矩阵 <math>P</math> 的 <math>\alpha</math> 阶近似动力学可逆性定义为: |
| − | | |
| − | 基于可逆性的因果涌现理论与其他因果涌现理论最大的区别在于:它不需要指定粗粒化策略,仅从马尔科夫转移矩阵的奇异值谱就能判断因果涌现是否发生,并直接定义'''清晰因果涌现'''(clear causal emergence)和'''模糊因果涌现'''(vague causal emergence)的概念。这在一定程度上规避了因果涌现结果依赖粗粒化策略、以及最大化有效信息难以优化求解的问题。其次,这套理论指出,一个动力系统的因果涌现特性仅由系统线性化算符的奇异值谱决定,因而是一套更能反映系统动力学特性本身的因果涌现理论。相关详情请参照[[基于可逆性的因果涌现理论]]词条。
| |
| − | | |
| − | | |
| − | | |
| − | 在实际使用中,我们通常直接把矩阵 <math>P</math> 的 <math>\alpha</math> 阶近似动力学可逆性定义为:
| |
| | <blockquote> | | <blockquote> |
| | <math>\begin{aligned} | | <math>\begin{aligned} |
| 第470行: |
第472行: |
| | </math> | | </math> |
| | </blockquote> | | </blockquote> |
| − | 其中 <math>\sigma_i</math> 是 <math>P</math> 的奇异值。对本文来说,保留这个直观定义就够了:'''<math>\Gamma_{\alpha}</math> 越大,说明动力学越接近可逆、冗余通路越少。''' 更进一步的范数性质和技术证明,请详见[[基于可逆性的因果涌现理论]]。 | + | 其中 <math>\sigma_i</math> 是 <math>P</math> 的奇异值。'''<math>\Gamma_{\alpha}</math> 越大,说明动力学越接近可逆、冗余通路越少。'''。当 <math>\alpha=0</math> 时,<math>\Gamma_0</math> 衡量的是 <math>P</math> 的(非)简并性;而 <math>\alpha=2</math> 时,<math>\Gamma_2</math> 衡量的是 <math>P</math> 的确定性。通过调整 <math>\alpha \in \[0, 2\]</math> 来调整考虑确定性和简并性对最终可逆性度量的影响。更进一步的范数性质和技术证明,请详见[[基于可逆性的因果涌现理论]]。 |
| | | | |
| | + | 基于可逆性的因果涌现理论与其他因果涌现理论最大的区别在于:它不需要指定粗粒化策略,仅从马尔科夫转移矩阵的奇异值谱就能判断因果涌现是否发生,并直接定义'''清晰因果涌现'''(clear causal emergence)和'''模糊因果涌现'''(vague causal emergence)的概念。这在一定程度上规避了因果涌现结果依赖粗粒化策略、以及最大化有效信息难以优化求解的问题。其次,这套理论指出,一个动力系统的因果涌现特性仅由系统线性化算符的奇异值谱决定,因而是一套更能反映系统动力学特性本身的因果涌现理论。相关详情请参照[[基于可逆性的因果涌现理论]]词条。 |
| | | | |
| | | | |
| − | 张江等人<ref name="reversibility"/>提供了一种基于奇异值分解的粗粒化方法,以获得宏观层面的简化 TPM。其基本思想是将 <math>P</math> 中的行向量 <math>P_{i},\forall i \in [1,N]</math> 投影到 <math>P</math> 的几个较大奇异值对应的奇异向量所张成的子空间上,从而保留 <math>P</math> 的主要信息,并尽量保持 <math>\Gamma</math> 不变。
| |
| | | | |
| | 最大化动力学可逆性的合理性,来源于这套 SVD 方案定义的因果涌现与“最大化有效信息”的因果涌现定义之间的密切关系。在[[基于有效信息的因果涌现理论|Erik Hoel 因果涌现理论]]的框架内,给定马尔科夫动力学系统的因果涌现大小依赖于粗粒化策略的选择,而最优粗粒化策略可以通过最大化宏观动力学的 EI 来寻找。 | | 最大化动力学可逆性的合理性,来源于这套 SVD 方案定义的因果涌现与“最大化有效信息”的因果涌现定义之间的密切关系。在[[基于有效信息的因果涌现理论|Erik Hoel 因果涌现理论]]的框架内,给定马尔科夫动力学系统的因果涌现大小依赖于粗粒化策略的选择,而最优粗粒化策略可以通过最大化宏观动力学的 EI 来寻找。 |
| 第678行: |
第680行: |
| | 寻找最优划分本质上是一个组合优化问题,所以我们也能使用其他合适的方法来解决它。 | | 寻找最优划分本质上是一个组合优化问题,所以我们也能使用其他合适的方法来解决它。 |
| | | | |
| − | 首先是遗传算法。它是一种受生物进化启发的全局优化算法,通过模拟自然选择(选择适应度高的个体作为父代)、交叉(通过父代基因重组生成子代)和变异(以一定概率随机改变子代基因)等机制,在解空间中搜索最优解。其核心流程包括:
| + | ===遗传算法=== |
| − | | |
| − | # 种群初始化:随机生成候选解的群体。
| |
| − | # 在每一步迭代过程中:
| |
| − | ## 选择:选择最大化目标(划分标准)的个体作为父代。
| |
| − | ## 交叉:通过父代基因重组生成子代。
| |
| − | ## 变异:以一定概率随机改变子代基因。
| |
| − | | |
| − | 所以,我们可以把上述逐层贪婪算法和谱分解方法的解作为初始解,再借助遗传算法帮助跳出局部最优,从而找到新的全局更优解。
| |
| − | | |
| − | | |
| − | | |
| − | 另外,我们也可以使用梯度下降,搭配图神经网络等深度学习方法来寻找最优划分。比如,在 Klein 和 Hoel 等人的论文<ref name=":19"/>,以及 Griebenow 等人<ref name=":Griebenow">Griebenow R, Klein B, Hoel E. Finding the right scale of a network: efficient identification of causal emergence through spectral clustering[J]. arXiv preprint arXiv:190807565, 2019.</ref>的文献中,作者把粗粒化方案写成一个分组矩阵,并将其参数化,这样就能把最终的粗粒化网络表达为分组矩阵与原始网络邻接矩阵的乘积,并由此计算 EI。之后,再使用自动微分方法执行[[梯度下降算法]]来优化分组矩阵,使 EI 最大化。
| |
| | | | |
| − | '''输入''':包含 <math>N</math> 个节点的原始网络 <math>G</math>,其对应邻接矩阵为:<math>A</math>,粗粒化后的网络所包含的节点数:<math>K</math>;'''输出''':宏观网络 <math>G'</math>,对应的邻接矩阵为:<math>B</math>,以及对应的从 <math>A</math> 到 <math>B</math> 的粗粒化矩阵:<math>M</math>
| + | 遗传算法是一种受生物进化启发的全局优化算法,通过在每一步迭代过程中模拟自然选择(选择适应度高的个体作为父代)、交叉(通过父代基因重组生成子代)和变异(以一定概率随机改变子代基因)等机制,在解空间中搜索最优解。 |
| | | | |
| − | # 针对一个含有<math>N</math>个节点的网络<math>A</math>,随机初始化一个分组矩阵<math>M\in \mathbb{R}^{N×K}</math>,<math>K</math>表示分组的大小,其中矩阵里面的每个元素<math>m_{iμ}=Pr(v_i\in v_{\mu})</math>,表示微观节点<math>v_i</math>属于宏观节点<math>v_{\mu}</math>的概率
| + | ===梯度下降和深度学习=== |
| − | # 根据微观网络和分组矩阵构建宏观网络 <math>B</math> ,具体计算方法分为两个步骤:1)<math>M^T A M</math>;2)归一化前一步骤得到的矩阵。
| |
| − | # 使用带动量的[[梯度下降]]方法优化 <math>M</math> ,优化目标是最大化宏观网络的有效信息EI。
| |
| | | | |
| − | 时间复杂度:<math>O(N^3)</math>
| + | 我们也可以使用梯度下降,搭配图神经网络等深度学习方法来寻找最优划分。比如,在 Klein 和 Hoel 等人的论文<ref name=":19"/>,以及 Griebenow 等人<ref name=":Griebenow">Griebenow R, Klein B, Hoel E. Finding the right scale of a network: efficient identification of causal emergence through spectral clustering[J]. arXiv preprint arXiv:190807565, 2019.</ref>的文章中,输入原始网络和对应的邻接矩阵。把粗粒化方案写成一个分组矩阵,<math>M\in \mathbb{R}^{N×K}</math>,<math>K</math>表示分组的大小,其中矩阵里面的每个元素<math>m_{iμ}=Pr(v_i\in v_{\mu})</math>,并将其参数化,这样就能把最终的粗粒化网络表达为分组矩阵与原始网络邻接矩阵的乘积,<math>M^T A M</math>,并进行归一化,由此计算 EI。在每一步中使用带动量的梯度下降方法优化 <math>M</math> ,优化目标是最大化宏观网络的有效信息EI。 |
| | | | |
| − | '''缺点''':
| + | 在上述逐层贪婪算法和谱分解方法的解并未达到最优的情况下,我们可以把它们作为初始解,再借助遗传算法和梯度下降等方法帮助跳出局部最优,从而找到新的全局更优解。 |
| − | # 初始化分组矩阵的选择,多次重复实验会得到不一样的结果。
| |
| − | # 依赖神经网络的超参,如学习率、迭代次数等。
| |
| | | | |
| | <br/> | | <br/> |
| 第712行: |
第698行: |
| | 比如,在社区检测问题中,具有只允许相邻的节点聚合在一起的约束。这要求状态划分必须遵循状态转移图的拓扑结构,同一聚合状态内的节点必须在状态转移图中直接相连或通过短路径可达(如K-邻域)。这种限制确保聚合状态具有空间连贯性,同时大幅减少可行划分数量。 | | 比如,在社区检测问题中,具有只允许相邻的节点聚合在一起的约束。这要求状态划分必须遵循状态转移图的拓扑结构,同一聚合状态内的节点必须在状态转移图中直接相连或通过短路径可达(如K-邻域)。这种限制确保聚合状态具有空间连贯性,同时大幅减少可行划分数量。 |
| | | | |
| − | 在因果涌现分组问题<ref name=":19"/>中,要求同属一组的状态需同属一个马尔科夫毯(Markov blanket)。在一个概率图中,一个节点的马尔科夫毯包括其父节点、子节点以及子节点的其他父节点(配偶节点)。这些节点共同作用,使得该节点与图中的其他节点条件独立,起到一个“信息防火墙”、确保组内状态动态仅通过固定接口与外部交互的作用。该约束确保:
| + | 在某些因果涌现分组方法<ref name=":19"/>中,划分并不是在所有状态之间任意搜索,而是先用马尔科夫毯(Markov blanket)作为结构约束。在概率图中,一个节点的马尔科夫毯通常包括它的父节点、子节点以及子节点的其他父节点。给定马尔科夫毯后,该节点与图中其余节点条件独立;因此,马尔科夫毯可以理解为一个状态与外部系统发生直接依赖关系的局部接口。 |
| − | # '''因果独立性''':当我们把整个组看作一个宏观状态时,由于组内所有状态的马尔科夫毯相同,意味着这个宏观状态与外部状态的交互(输入和输出)在统计上是一致的;
| |
| − | # '''信息压缩与模式识别''':具有相同马尔科夫毯的状态在系统中扮演相似的角色(即它们与其他状态之间的依赖关系相同)。将这些状态聚合成一个宏观状态,相当于识别出了系统中的一个功能模块或模式;
| |
| − | # '''因果涌现''':在复杂系统中,这种聚合可能导致宏观层面出现新的因果特性(即涌现)。如果聚合后的宏观状态能产生比单个状态更明确、更强大的因果作用,则称为因果涌现。此时,宏观状态的马尔科夫转移模型可以更有效地预测系统行为。
| |
| | | | |
| − | 但也有其他的划分问题不需遵从这类限制。比如在学术网络、网页流网络的场景上的模式识别时,我们可能会判断某些从未合作过的学者具有相似的行为模式,而把他们划分在一组内。
| + | 在粗粒化问题中,如果两个状态具有相同或高度重合的马尔科夫毯,说明它们面对相似的局部依赖环境,可以作为候选聚合对象。这个约束的作用是缩小划分搜索空间,并提高聚合后宏观状态的局部结构一致性。具有相同马尔科夫毯的状态与其他状态之间的依赖关系相同,可以认为它们在系统中扮演相似的角色。将这些状态聚合成一个宏观状态,相当于识别出了系统中的一个功能模块或模式。 |
| | + | |
| | + | 也有许多划分问题不需遵从这两类限制。比如在学术网络、网页流网络的场景上的模式识别时,我们可能会判断某些从未合作过的学者具有相似的行为模式,而把他们划分在一组内。 |
| | | | |
| | <br/> | | <br/> |
| 第751行: |
第736行: |
| | ==出流的聚合方法:加权平均== | | ==出流的聚合方法:加权平均== |
| | | | |
| − | 计算大节点的入流比较简单,而计算大节点的出流则相对复杂,需要考虑待聚合节点之间的随机游走和状态分布,来计算流向每个节点的概率。我们可以把出流聚合看作对若干行做线性加权平均。
| + | 由于入流是多对一关系而出流是一对多,计算大节点的入流比较简单,而计算大节点的出流则相对复杂,需要考虑待聚合节点之间的随机游走和状态分布,来计算流向每个节点的概率。我们可以把出流聚合看作对若干行做线性加权平均。 |
| | | | |
| | | | |
| 第759行: |
第744行: |
| | 在现有方法中,很多都采用最简单的思路:对状态做权重一致的平均。当我们只看矩阵本身,认为所有状态是平等的,就会给它们分配相同权重,即<math>p_{Mi} = \frac{1}{n} \sum_{j \in M} p_{ji}</math>。 | | 在现有方法中,很多都采用最简单的思路:对状态做权重一致的平均。当我们只看矩阵本身,认为所有状态是平等的,就会给它们分配相同权重,即<math>p_{Mi} = \frac{1}{n} \sum_{j \in M} p_{ji}</math>。 |
| | | | |
| − | 但是,这种情况只适用于成块的状态划分:由于成块性要求同属一组的微观状态转移到另一组的概率相同,所以这样的平权平均没有问题。但当我们对不成块的状态划分进行平权平均时,就会导致宏观和微观的马尔科夫动力学不一致。
| + | 但是,这种情况只适用于成块的状态划分:由于成块性要求同属一组的微观状态转移到另一组的概率相同,所以这样的平权平均没有问题(成块划分使用任意非负且和为一的权重都会有相同的结果)。但当我们对不成块的状态划分进行平权平均时,会导致宏观和微观的马尔科夫动力学不一致。 |
| | | | |
| | | | |
| 第811行: |
第796行: |
| | | | |
| | 论文<ref name=":19" />中提到,原始微观动力学与使用该方法聚合后的宏观动力学能够满足其定义的一致性。 | | 论文<ref name=":19" />中提到,原始微观动力学与使用该方法聚合后的宏观动力学能够满足其定义的一致性。 |
| − |
| |
| − | 我们注意到,HOM中各情况的计算方式本质上都是对待合并节点<math>A</math>中各节点的出流<math>W_i^{out}</math>(即图中的红色连边)的加权求和。而成块性的特性决定了,群组里的各节点到其他群组的出流<math>W_i^{out}</math>都是一样的。所以,对相同的<math>W_i^{out}</math>进行任意加权平均的结果仍然是<math>W_i^{out}</math>。这意味着,无论根据哪种情况采用哪种加权方法,对于成块划分来说,最终的结果都是一致的,且与成块性的粗粒化结果相同。
| |
| − |
| |
| − | 由此,我们总结,'''成块性的聚合方式和HOM的计算方式,无论入流还是出流都完全一致。'''
| |
| | | | |
| | <br/> | | <br/> |
| 第830行: |
第811行: |
| | 考虑一个连通图 <math>G</math>,邻接矩阵为 <math>A</math>,假设图上有 <math>N</math> 个节点,分别为 <math>1,2,...,N</math>,我们定义从节点 <math>i\in\left\{1,2,...,N\right\}</math> 到节点 <math>j\in\left\{1,2,...,N\right\}</math> 的转移概率为 <math>w_{ij}=\frac{a_{ij}}{\sum_{j}a_{ij}}</math>(即对边权进行行归一化),其中 <math>a_{ij}</math> 表示邻接矩阵的第 <math>i</math> 行第 <math>j</math> 列元素,对应从节点 <math>i</math> 到节点 <math>j</math> 的边的权重。 | | 考虑一个连通图 <math>G</math>,邻接矩阵为 <math>A</math>,假设图上有 <math>N</math> 个节点,分别为 <math>1,2,...,N</math>,我们定义从节点 <math>i\in\left\{1,2,...,N\right\}</math> 到节点 <math>j\in\left\{1,2,...,N\right\}</math> 的转移概率为 <math>w_{ij}=\frac{a_{ij}}{\sum_{j}a_{ij}}</math>(即对边权进行行归一化),其中 <math>a_{ij}</math> 表示邻接矩阵的第 <math>i</math> 行第 <math>j</math> 列元素,对应从节点 <math>i</math> 到节点 <math>j</math> 的边的权重。 |
| | | | |
| − | 由于该网络是连通图,所以分母 <math>\sum_{j}a_{ij}</math> 会大于<math>0</math>,而且满足行归一化,即 <math>\sum_{j=1}^N {w_{ij}}=1</math>。这样我们就定义了一个马尔科夫链,状态空间为 <math>\left\{1,2,...,N\right\}</math>,从状态 <math>i</math> 到状态 <math>j</math> 的转移概率为 <math>w_{ij}</math>,转移矩阵为 <math>W=\left\{w_{ij}\right\}_{N \times N}</math>。<ref>复杂网络的因果涌现.https://wiki.swarma.org/index.php/%E5%A4%8D%E6%9D%82%E7%BD%91%E7%BB%9C%E4%B8%AD%E7%9A%84%E5%9B%A0%E6%9E%9C%E6%B6%8C%E7%8E%B0</ref>。 | + | 由于该网络是连通图,所以分母 <math>\sum_{j}a_{ij}</math> 会大于<math>0</math>,而且满足行归一化,即 <math>\sum_{j=1}^N {w_{ij}}=1</math>。这样我们就定义了一个马尔科夫链,状态空间为 <math>\left\{1,2,...,N\right\}</math>,从状态 <math>i</math> 到状态 <math>j</math> 的转移概率为 <math>w_{ij}</math>,转移矩阵为 <math>W=\left\{w_{ij}\right\}_{N \times N}</math>(详情请见[[复杂网络中的因果涌现]]词条)。 |
| | | | |
| | <br/> | | <br/> |
| 第891行: |
第872行: |
| | | | |
| | 找到最优的粗粒化CGU集合,通过将每个CGU的每一次出现替换为一个节点,形成粗粒化网络。算法可在粗粒化网络上重复执行,获得更高层级的粗粒化。 | | 找到最优的粗粒化CGU集合,通过将每个CGU的每一次出现替换为一个节点,形成粗粒化网络。算法可在粗粒化网络上重复执行,获得更高层级的粗粒化。 |
| | + | |
| | + | <br/> |
| | | | |
| | <references /> | | <references /> |