基于有效信息的因果涌现理论 - 版本历史

相信未来：/* 路径推荐 */

2025-03-23T01:40:57Z

路径推荐

相信未来：/* 路径推荐 */

2025-03-23T01:40:26Z

路径推荐

相信未来：/* 附录：由布尔网络动力学转换为马尔科夫链的TPM的代码 */

2025-03-16T02:23:09Z

附录：由布尔网络动力学转换为马尔科夫链的TPM的代码

相信未来：/* 附录：由布尔网络动力学转换为马尔科夫链的TPM的代码 */

2025-03-16T02:22:32Z

附录：由布尔网络动力学转换为马尔科夫链的TPM的代码

相信未来：/* 因果涌现与因果容量 */

2025-03-16T02:02:31Z

因果涌现与因果容量

相信未来：/* 因果涌现与因果容量 */

2025-03-16T02:02:04Z

因果涌现与因果容量

相信未来：/* 因果涌现与因果容量 */

2025-03-16T01:53:53Z

因果涌现与因果容量

相信未来：/* 因果涌现与因果容量 */

2025-03-16T01:53:18Z

因果涌现与因果容量

Jake：/* 缺陷与争议 */

2025-03-15T02:57:38Z

缺陷与争议

Jake：/* 应用 */

2025-03-15T02:55:37Z

应用

@@ 第502行： / 第502行： @@
 *张江老师根据因果涌现前五季读书会整理的因果涌现入门路径：https://pattern.swarma.org/article/296
-此词条由彭晨编写，王志鹏整理，张江审校。
+此词条由彭晨编写，王志鹏、张江整理审校。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第502行： / 第502行： @@
 *张江老师根据因果涌现前五季读书会整理的因果涌现入门路径：https://pattern.swarma.org/article/296
-此词条由彭晨编写，xx整理和审校。
+此词条由彭晨编写，王志鹏整理，张江审校。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第424行： / 第424行： @@
 ## 各节点到下一时刻状态转移概率是相互独立的，因此全局状态i转移至j的概率是所有节点<math>p(n)</math>的乘积，即<math>P_{ij} = \prod_{n=1}^{N} p(n)</math>
 ## 重复上述过程，计算所有<math>P_{ij}</math>，<math>i,j \in \{1, 2, 3, \ldots, 2^N\}</math>。
-# 行归一化<math>P</math>，完成由局部节点机制得到全局概率转移矩阵
+# 行归一化<math>P</math>，完成由局部节点机制到全局概率转移矩阵的转换

@@ 第416行： / 第416行： @@
 在Hoel的原始论文<ref name="hoel_2013"/>中，所有的微观动力学都是针对布尔网络中的每个变量（即节点）定义其微观动力学机制完成的。而为了计算布尔网络的有效信息和因果涌现度量，我们必须要将这种微观动力学机制转变为系统整体的概率转移矩阵（即TPM）。因此，这里的一个关键问题是，如何将一个定义在局部变量上的动力学机制，转变为一个全局的TPM。这里给出一种一般性的算法：
-'''输入'''：有向图形式的布尔网络G（包括N个节点、连边），微观动力学机制（即，节点对父节点输入的响应机制）；'''输出'''：微观态全局的概率转移矩阵P
+'''输入'''：有向图形式的布尔网络G（包括N个节点、连边），节点动力学机制（即，单个节点对父节点输入的响应机制）；'''输出'''：布尔网络G全局概率转移矩阵P
-# 生成布尔网络的状态空间，共有微观态<math>2^N</math>个，N为节点数
+# 生成布尔网络的状态空间，共有状态数<math>2^N</math>个，N为网络中的节点数
-# 初始化概率转移矩阵<math>P</math>，大小为<math>2^N * 2^N</math>，<math>P_{ij}</math>为第i个状态转移到第j个状态的转移概率
+# 初始化全局概率转移矩阵<math>P</math>，大小为<math>2^N * 2^N</math>，<math>P_{ij}</math>为第i个全局状态转移到第j个全局状态的转移概率
-# 遍历当前时刻每个微观态i，遍历下一时刻每个微观态j，计算i->j的转移概率<math>P_{ij}</math>
+# 遍历当前时刻每个全局状态i，遍历下一时刻每个全局状态j，计算i->j的转移概率<math>P_{ij}</math>
-## 遍历每个节点n，获取它的父节点及其状态。
+## 遍历每个节点n，获取它的父节点及其状态
-## 获取微观态j中节点n的状态next_state，根据父节点状态，应用微观动力学机制，计算下一时刻节点n状态为next_state的概率<math>p(n)</math>
+## 获取j中节点n下一时刻状态next_state，根据上一步获取的父节点状态，应用该节点的动力学机制，计算n转移至next_state的概率<math>p(n)</math>
-## 各节点的转移概率相互独立，因此<math>P_{ij} = \prod_{n=1}^{N} p(n)</math>
+## 各节点到下一时刻状态转移概率是相互独立的，因此全局状态i转移至j的概率是所有节点<math>p(n)</math>的乘积，即<math>P_{ij} = \prod_{n=1}^{N} p(n)</math>
-# 行归一化<math>P</math>并输出
+## 重复上述过程，计算所有<math>P_{ij}</math>，<math>i,j \in \{1, 2, 3, \ldots, 2^N\}</math>。

@@ 第213行： / 第213行： @@
 [/math]
-同上有效信息计算中，[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是经过粗粒化干预后的因果变量，CC对应的就是经过最有效的干预后，因果变量之间互信息的最大值。
+同上有效信息计算中，[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是经过粗粒化干预后的因果变量，CC对应的是最有效的干预下，因果变量之间互信息的最大值。
 ==因果涌现实例==

@@ 第212行： / 第212行： @@
 CC = \max_{\tilde{X_t}} I(\tilde{X_t}; \tilde{X}_{t+1}).
 [/math]
 ==因果涌现实例==

@@ 第409行： / 第409行： @@
 根据前面的讨论我们不难发现，不同的粗粒化方案会导致不同的宏观动力学，从而导致它的有效信息不同，因此，最终的因果涌现量化结果会依赖于给定的粗粒化策略。Hoel等人虽然试图通过最优粗粒化（即让宏观动力学的有效信息最大）以消除这种粗粒化对因果涌现最终结果的影响，并针对每个具体的情景，给出了具体的最优粗粒化的方案，但是他们并没有深入探讨马尔科夫链的粗粒化；特别是针对于基于状态的因果涌现讨论中，给出的粗粒化只是针对状态空间进行归并，归并后具体应该如何对概率转移矩阵进行操作则并未提及。状态归并本身也有一定的前提条件需要满足，比如状态分类是否满足[[马尔科夫链的成块性]]？粗粒化操作和动力学演化操作是否满足可交换性？文章都没有涉及这些问题的探讨，只停留用比较直觉方法进行概率归并，因此该理论难以指导人们在其他系统中的使用。详细严谨的粗粒化介绍详见[[马尔科夫链的粗粒化]]。
-此外，在状态、变量较少，且转移概率矩阵有明显的规律可循时，我们可以相对容易地定义粗粒化策略并识别因果涌现。但面对情况复杂的实际系统时，例如生物系统，从可观测数据中辨别系统是否发生因果涌现是一个更为重要的问题。为此，Rosas等人提出[[基于信息分解的因果涌现理论]]，张江等人提出的[[基于奇异值分解的因果涌现理论]]以及张江等人还提出了一些自动识别涌现的神经网络计算方法，例如神经信息压缩方法[[NIS]]和基于此的改进方法[[NIS+]]，有兴趣的读者可以进一步查阅相关词条。
+此外，在状态、变量较少，且转移概率矩阵有明显的规律可循时，我们可以相对容易地定义粗粒化策略并识别因果涌现。但面对情况复杂的实际系统时，例如生物系统，从可观测数据中辨别系统是否发生因果涌现是一个更为重要的问题。为此，Rosas等人提出[[基于信息分解的因果涌现理论]]，[[张江]]等人提出的[[基于奇异值分解的因果涌现理论]]以及[[张江]]等人还提出了一些自动识别涌现的神经网络计算方法，例如神经信息压缩方法[[NIS]]和基于此的改进方法[[NIS+]]，有兴趣的读者可以进一步查阅相关词条。
 == 附录：由布尔网络动力学转换为马尔科夫链的TPM的代码 ==

@@ 第382行： / 第382行： @@
 == 应用 ==
 ===复杂网络===
-年，Klein和Hoel改进马尔科夫链上定量化因果涌现的方法以应用到[[复杂网络]]中<ref name="Klein" />，作者借助[[随机游走子]]来定义网络中的[[马尔科夫链]]，将随机游走子放在节点上等价于对节点变量做干预为均匀分布，然后基于随机游走的转移概率定义节点间的转移概率矩阵。同时作者将[[有效信息]]与复杂网络的临界矩阵建立了联系，即通过节点的出边和入边的权重的不确定性（以[[香农熵]]为刻画）来表征，基于此定义复杂网络中的有效信息。详细方法可以参考[[复杂网络中的因果涌现]]。
+年，Klein和Hoel改进马尔科夫链上定量化因果涌现的方法以应用到[[复杂网络]]中<ref name="Klein" />，作者借助[[随机游走子]]来定义网络中的[[马尔科夫链]]，将随机游走子放在节点上等价于对节点变量做干预为均匀分布，然后基于随机游走的转移概率定义节点间的转移概率矩阵。同时作者将[[有效信息]]与复杂网络的邻接矩阵建立了联系，即通过节点的出边和入边的权重的不确定性（以[[香农熵]]为刻画）来表征，基于此定义复杂网络中的有效信息。详细方法可以参考[[复杂网络中的因果涌现]]。
-作者在[[随机网络模型|随机网络]]（ER）、[[偏好依附网络模型]]（PA）等人工网络以及四类真实复杂网络中进行了计算，他们发现：对于ER网络来说，有效信息的大小只依赖于节点间的随机连接概率<math>p </math>，并且随着网络规模的增大会收敛到数值<math>-\log_2p </math>。同时一个关键发现表明，EI数值存在一个相变点，该相变点近似在网络的[[平均度]]（<math>\langle k\rangle </math>）等于<math>\log_2N </math>的位置出现。这个相变点的位置与ER网络出现[[巨连通集团]]的[[相变点]]位置相同。这一发现表明，超过该相变点以后，随着随机网络规模的增加它的结构中不会包含更多的信息。对于偏好依附模型网络来说，当网络[[度分布]]的幂律指数<math>\alpha<1.0 </math>时，有效信息的大小会随着网络规模的增加而增大；当<math>\alpha>1.0 </math>时，则结论相反；当<math>\alpha=1.0 </math>时，对应的[[无标度网络]]则是有效信息随规模增长与否的临界边界。对于真实网络来说，作者们发现，生物网络因为具有很大的噪音，所以有效信息相对较低。然而，我们可以通过有效的粗粒化去除这些噪音，这就使得生物网络相比于其他类型网络能够展现出更显著的因果涌现现象；而因为技术类型网络是更稀疏、非退化的网络，因此，平均的信息效率更高，节点关系也更加具体，所以有效信息也最高，但是难以通过粗粒化来增加因果涌现度量。
+作者在[[随机网络模型|随机网络]]（ER）、[[偏好依附网络模型]]（PA）等人工网络以及四类真实复杂网络中进行了计算，他们发现：对于ER网络来说，有效信息的大小只依赖于节点间的随机连接概率<math>p </math>，并且随着网络规模的增大会收敛到数值<math>-\log_2p </math>。同时一个关键发现表明，EI数值存在一个相变点，该相变点近似在网络的[[平均度]]（<math>\langle k\rangle </math>）等于<math>\log_2N </math>的位置出现。这个相变点的位置与ER网络出现[[巨连通集团]]的[[相变点]]位置相同。这一发现表明，超过该相变点以后，随着随机网络规模的增加，它的结构中不会包含更多的信息。对于[[偏好依附模型]]网络来说，当网络[[度分布]]的幂律指数<math>\alpha<1.0 </math>时，有效信息的大小会随着网络规模的增加而增大；当<math>\alpha>1.0 </math>时，则结论相反；当<math>\alpha=1.0 </math>时，对应的[[无标度网络]]则是有效信息随规模增长与否的临界边界。对于真实网络来说，作者们发现，生物网络因为具有很大的噪音，所以有效信息相对较低。然而，我们可以通过有效的粗粒化去除这些噪音，这就使得生物网络相比于其他类型网络能够展现出更显著的因果涌现现象；而因为技术类型网络是更稀疏、非退化的网络，因此，平均的信息效率更高，节点关系也更加具体，所以有效信息也最高，但是难以通过粗粒化来增加因果涌现度量。
 在该文章中，作者使用[[贪婪算法]]来粗粒化网络，然而对于大规模网络来说，这种算法效率很低。随后，Griebenow等<ref name="Griebenow" />提出了一种基于[[谱聚类]]的粗粒化方法，从而更好地识别[[偏好依附网络]]中的因果涌现。相比[[贪婪算法]]以及[[梯度下降算法]]，[[谱聚类算法]]的计算时间更少，同时找到的宏观网络的因果涌现度量也更加显著。
@@ 第394行： / 第397行： @@
 进一步，Klein等人将[[复杂网络中的因果涌现]]方法扩展到了更多的生物网络中。前文已经指出，[[生物网络]]具有更大的噪音，这使得我们很难理解其内部的运作原理，这种噪音一方面来自系统的固有噪音，另一方面是由于测量或观察引入的。Klein等<ref>Klein B, Swain A, Byrum T, et al. Exploring noise, degeneracy and determinism in biological networks with the einet package[J]. Methods in Ecology and Evolution, 2022, 13(4): 799-804.</ref>进一步探索了生物网络中的噪声、[[简并性]]和[[确定性]]三者之间的关系以及具体含义，得出了一些有趣的结论。
-例如，基因表达网络中的高[[确定性]]可以理解为一个基因几乎肯定会导致另一个基因的表达。同时生物系统在进化过程中也普遍存在高[[简并性]]现象。这两个因素使得人们目前尚不清楚应该在何种尺度上分析生物系统才能更好理解它们的功能。Klein等在文献<ref>Klein B, Hoel E, Swain A, et al. Evolution and emergence: higher order information structure in protein interactomes across the tree of life[J]. Integrative Biology, 2021, 13(12): 283-294.</ref>中分析了超过1800个物种的[[蛋白质相互作用网络]]，发现宏观尺度的网络具有更小的噪音和[[简并性]]，同时与不参与宏观尺度的节点相比，组成宏观尺度网络中的节点更具有[[弹性]]。因此，生物网络为了适应进化的要求，需要演化出宏观尺度以提高确定性来增强[[网络弹性]]以及提高信息传输的有效性。
+例如，基因表达网络中的高[[确定性]]可以理解为一个基因几乎肯定会导致另一个基因的表达。同时生物系统在进化过程中也普遍存在高[[简并性]]现象。这两个因素使得人们目前尚不清楚应该在何种尺度上分析生物系统才能更好理解它们的功能。
 Hoel等在文章<ref>Hoel E, Levin M. Emergence of informative higher scales in biological systems: a computational toolkit for optimal prediction and control[J]. Communicative & Integrative Biology, 2020, 13(1): 108-118.</ref>中借助[[有效信息]]概念进一步研究了生物系统中的因果涌现。作者将有效信息应用到[[基因调控网络]]上，以识别最能提供有效信息的心脏发育模型从而控制哺乳动物的心脏发育。通过量化酿酒酵母基因网络的[[最大连通集团]]中的因果涌现，文章揭示了富有信息的宏观尺度在生物学网络中是普遍存在的，以及生命机制本身也经常运行在宏观尺度上。该文章也为生物学家提供了一种可计算的工具来识别最具有信息的宏观尺度，并且可以在此基础上建模、预测、控制和理解复杂的生物系统。
-Swain等在文章<ref>Swain A, Williams S D, Di Felice L J, et al. Interactions and information: exploring task allocation in ant colonies using network analysis[J]. Animal Behaviour, 2022, 18969-81.</ref>中探索了蚁群的交互历史对任务分配和任务切换的影响，使用[[有效信息]]研究噪声如何在蚂蚁之间传播。结果发现，蚁群之间历史交互程度影响任务的分配，并且具体交互中蚂蚁群体的类型决定了交互中的噪音。此外，即使当蚂蚁切换功能群时，蚁群涌现出来的凝聚力也能保证群体的稳定，同时不同功能蚁群在维持蚁群凝聚力方面也发挥着不同的作用。
+Swain等在文章<ref>Swain A, Williams S D, Di Felice L J, et al. Interactions and information: exploring task allocation in ant colonies using network analysis[J]. Animal Behaviour, 2022, 18969-81.</ref>中探索了[[蚁群]]的交互历史对任务分配和任务切换的影响，使用[[有效信息]]研究噪声如何在蚂蚁之间传播。结果发现，蚁群之间历史交互程度影响任务的分配，并且具体交互中蚂蚁群体的类型决定了交互中的噪音。此外，即使当蚂蚁切换功能群时，蚁群涌现出来的凝聚力也能保证群体的稳定，同时不同功能蚁群在维持蚁群凝聚力方面也发挥着不同的作用。
 == 缺陷与争议 ==