集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

讨论:基于有效信息的因果涌现理论 (查看源代码)

2025年4月1日 (二) 21:41的版本

删除3,024字节 、 2025年4月1日 (二) 21:41
无编辑摘要
第1行： 第1行： −
有效信息：https://mp.weixin.qq.com/s/ADeEMnDZR05Tj7mNoL2jVA
+
 
    
所谓的[[因果涌现]]是指对于同一个系统，其宏观的因果效应强度大于微观的现象。而基于[[有效信息]]的因果涌现理论是一种最早定量刻画[[因果涌现]]现象的理论，该理论由Erik Hoel等人于<ref name="hoel_2013">Hoel, E.P., Albantakis, L. and Tononi, G. Quantifying causal emergence shows that macro can beat micro[J]. Proceedings of the National Academy of Sciences, 2013, 110(49), 19790-19795.</ref>一文中提出，文章定义了一种因果效应度量指标，即[[有效信息]]，并将之用于量化一个马尔科夫动力学的因果性强弱，并在此基础上定义了因果涌现。在这个框架下，因果涌现被定义为伴随着我们对同一个系统的观察尺度从微观过渡到宏观，它的[[马尔科夫动力学]]的[[有效信息]]度量会提高的现象。其中，宏观动力学可以由对微观动力学的粗粒化操作而得到。通常，针对一个系统的粗粒化方案有很多，而Hoel的因果涌现框架需要找到'''使宏观动力学有效信息最大的最优粗粒化方法'''，即，如果经过最优粗粒化的宏观动力学的有效信息大于微观动力学的有效信息，则表明系统发生了因果涌现现象。
 
所谓的[[因果涌现]]是指对于同一个系统，其宏观的因果效应强度大于微观的现象。而基于[[有效信息]]的因果涌现理论是一种最早定量刻画[[因果涌现]]现象的理论，该理论由Erik Hoel等人于<ref name="hoel_2013">Hoel, E.P., Albantakis, L. and Tononi, G. Quantifying causal emergence shows that macro can beat micro[J]. Proceedings of the National Academy of Sciences, 2013, 110(49), 19790-19795.</ref>一文中提出，文章定义了一种因果效应度量指标，即[[有效信息]]，并将之用于量化一个马尔科夫动力学的因果性强弱，并在此基础上定义了因果涌现。在这个框架下，因果涌现被定义为伴随着我们对同一个系统的观察尺度从微观过渡到宏观，它的[[马尔科夫动力学]]的[[有效信息]]度量会提高的现象。其中，宏观动力学可以由对微观动力学的粗粒化操作而得到。通常，针对一个系统的粗粒化方案有很多，而Hoel的因果涌现框架需要找到'''使宏观动力学有效信息最大的最优粗粒化方法'''，即，如果经过最优粗粒化的宏观动力学的有效信息大于微观动力学的有效信息，则表明系统发生了因果涌现现象。
第21行： 第21行：     
根据Erik Hoel的基于“有效信息”（Effective Information）的理论，如果系统的动力学——即马尔科夫转移矩阵，以及粗粒化策略给定，就可以通过分别计算原马尔科夫矩阵和粗粒化后的马尔科夫矩阵的有效信息（EI），从而判断因果涌现是否发生。
 
根据Erik Hoel的基于“有效信息”（Effective Information）的理论，如果系统的动力学——即马尔科夫转移矩阵，以及粗粒化策略给定，就可以通过分别计算原马尔科夫矩阵和粗粒化后的马尔科夫矩阵的有效信息（EI），从而判断因果涌现是否发生。
−
  −
===因果涌现概念框架===
  −
      
下图是对该理论的一个抽象框架，其中，横坐标表示时间，纵坐标表示尺度（Scale）。该框架可以看成是对同一个动力系统在微观和宏观两种尺度上的描述。
 
下图是对该理论的一个抽象框架，其中，横坐标表示时间，纵坐标表示尺度（Scale）。该框架可以看成是对同一个动力系统在微观和宏观两种尺度上的描述。
第31行： 第28行：  
其中，[math]f_m[/math] 表示微观动力学，[math]f_M[/math] 表示宏观动力学，宏观的状态和微观的状态通过一个粗粒化函数 [math]\phi[/math]相连。在一个离散状态的马尔科夫动力系统中，[math]f_m[/math] 和 [math]f_M[/math] 都是马尔科夫链，对 [math]f_m[/math] 进行[[马尔科夫链的粗粒化]]，就可以得到 [math]f_M[/math]。<math> EI </math> 是[[有效信息]]的度量。由于微观动力学可能具有更大的随机性，这导致微观动力学的[[因果效应强度]]比较弱，所以通过粗粒化，就有可能得到一个因果效应更强的宏观动力学。所谓的因果涌现，就是指粗粒化操作使得动力学的[[有效信息]]会增加这一现象，并且宏观动力学与微观动力学的[[有效信息]]之差被定义为'''因果涌现强度'''。
 
其中，[math]f_m[/math] 表示微观动力学，[math]f_M[/math] 表示宏观动力学，宏观的状态和微观的状态通过一个粗粒化函数 [math]\phi[/math]相连。在一个离散状态的马尔科夫动力系统中，[math]f_m[/math] 和 [math]f_M[/math] 都是马尔科夫链，对 [math]f_m[/math] 进行[[马尔科夫链的粗粒化]]，就可以得到 [math]f_M[/math]。<math> EI </math> 是[[有效信息]]的度量。由于微观动力学可能具有更大的随机性，这导致微观动力学的[[因果效应强度]]比较弱，所以通过粗粒化，就有可能得到一个因果效应更强的宏观动力学。所谓的因果涌现，就是指粗粒化操作使得动力学的[[有效信息]]会增加这一现象，并且宏观动力学与微观动力学的[[有效信息]]之差被定义为'''因果涌现强度'''。
   −
下面将进一步分模块展开介绍基于有效信息的因果涌现理论所涉及到的核心内容。
+
因果涌现详细的框架介绍可以参考本文：https://mp.weixin.qq.com/s/wlPUr0XQK0metYJu4FfGNw
   −
=== 马尔科夫链 ===
  −
  −
最初，基于有效信息的因果涌现理论是建立在离散状态的[[马尔科夫动力学]]，即[[马尔科夫链]]基础上的。
  −
  −
[[马尔科夫链]]是指一种状态离散、时间离散的平稳随机过程，描述的是一组随机变量[math]X_t[/math]在状态空间[math]\mathcal{X}=\{1,2,\cdots,N\}[/math]上的取值随时间变化的过程，其中[math]t[/math]通常表示时间。其动力学一般可以用转移概率矩阵描述(Transitional Probability Matrix)，简称TPM。该矩阵是一个概率矩阵，其中第[math]i[/math]行，第[math]j[/math]列的[math]p_{ij}[/math]，表示任意时刻[math]t[/math]，系统在[math]i[/math]状态的条件下，[math]t+1[/math]时刻转移到[math]j[/math]状态的概率。因此，转移概率矩阵每一行均满足归一化条件：<math>\sum_{j=1}^Np_{ij}=1</math>，
  −
  −
[math]t+1[/math]时刻上的状态概率分布，即[math]Pr(X_{t+1})[/math]，可以被上一时刻的状态概率分布[math]Pr(X_t)[/math]和状态转移矩阵唯一确定，即满足：
  −
  −
<math>
  −
Pr(X_{t+1}=j)=\sum_{i=1}^N p_{ij}\cdot Pr(X_t=i),
  −
</math>
  −
  −
这里的[math]i,j\in \mathcal{X}[/math]，是[math]\mathcal{X}[/math]中的任意状态，且[math]N=\#(\mathcal{X})[/math]，即[math]\mathcal{X}[/math]中的总状态数。
  −
  −
  −
举例来看，状态转移矩阵
  −
  −
{{NumBlk|:|
  −
<math>
  −
P_{ij}=\begin{pmatrix}
  −
&1/3    &1/3          &1/3          &0& \\
  −
&1/3    &1/3          &1/3          &0& \\
  −
&1/3    &1/3          &1/3          &0& \\
  −
&0      &0            &0            &1& \\
  −
\end{pmatrix}
  −
</math>
  −
|{{EquationRef|1}}}}
  −
  −
首先需要满足每一行的和为1，即归一化条件。由矩阵大小可知，系统共有4个状态。以<math>p_{23}=1/3</math>为例，表示第2个状态下一时刻转移到第3个状态的概率为1/3。
      
=== 有效信息 ===
 
=== 有效信息 ===
   −
下面将引入有效信息这一关键指标，介绍如何基于该指标量化马尔科夫动力系统的因果效应。
+
基于有效信息的因果涌现理论是建立在离散状态的[[马尔科夫动力学]]，即[[马尔科夫链]]基础上的，Erik等人提出了有效信息这一关键指标，介绍如何基于该指标量化马尔科夫动力系统的因果效应。
   −
[[有效信息]]（Effective Information，简称EI）是因果涌现理论中的核心概念，它可以用来度量一个[[马尔科夫动力学]]的[[因果效应强度]]，定义如下：
+
[[有效信息]]（Effective Information，简称EI）是因果涌现理论中的核心概念，它可以用来度量一个[[马尔科夫动力学]]的[[因果效应强度]]。
    
<math>
 
<math>
第78行： 第46行：  
</math>
 
</math>
   −
其中<math>\tilde{X}_t,\tilde{X}_{t+1}</math>分别为把t时刻的[math]X_t[/math][[干预]]为[[均匀分布]]后，前后两个时刻的状态，而EI度量的就是在干预操作后，系统前后两个时刻状态之间的互信息。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。从这个式子，不难看出，EI仅仅是概率转移矩阵[math]P[/math]的函数。进一步，如果马尔科夫链TPM按照行向量形式处理，EI可以写成更加简便的形式<math>EI =\frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)</math>，其中，[math]P_i[/math]是矩阵[math]P[/math]的第[math]i[/math]个行向量（推导过程见[[有效信息]]）。
+
其中<math>\tilde{X}_t,\tilde{X}_{t+1}</math>分别为把t时刻的[math]X_t[/math][[干预]]为[[均匀分布]]后，前后两个时刻的状态，而EI度量的就是在干预操作后，系统前后两个时刻状态之间的互信息。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。从这个式子，不难看出，EI仅仅是概率转移矩阵[math]P[/math]的函数。进一步，如果马尔科夫链TPM按照行向量形式处理，EI可以写成更加简便的形式<math>EI =\frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)</math>，其中，[math]P_i[/math]是矩阵[math]P[/math]的第[math]i[/math]个行向量。
   −
针对马尔科夫链中列举的TPM例子，即式{{EquationNote|1}}，代入上述计算公式，它的有效信息如下：
+
有效信息的详细介绍介绍可以参考本文：https://mp.weixin.qq.com/s/ADeEMnDZR05Tj7mNoL2jVA
   −
<math>
  −
\begin{aligned}
  −
EI &= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N  p_{kj}} \\
  −
&= \frac{1}{4}(\log\frac{4}{3} + \log\frac{4}{3} + \log\frac{4}{3} + log(4)) \\
  −
&\approx 0.81
  −
\end{aligned}
  −
</math>
  −
  −
  −
EI实际上可以被分解为两项，在马尔科夫链的情景下的分解如下：
  −
  −
<math>
  −
\begin{aligned}
  −
EI &= \frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)\\
  −
&=\underbrace{-\langle H(P_i)\rangle}_{确定性项}+\underbrace{H(\bar{P})}_{非简并性项}
  −
\end{aligned}
  −
</math>
  −
  −
其中，第一项：[math]-\langle H(P_i)\rangle\equiv \frac{1}{N}\sum_{i=1}^N H(P_i)[/math]为每个行向量[math]P_i[/math]的负熵的平均值，它刻画了整个马尔科夫转移矩阵的'''确定性'''（determinism）程度；
  −
  −
第二项：[math]H(\bar{P})[/math]为平均行向量的熵，其中[math]\bar{P}\equiv \frac{1}{N}\sum_{i=1}^N P_i [/math]为所有N个行向量的平均行向量，它刻画了整个马尔科夫转移矩阵的'''非简并性'''或'''非退化性'''(non-degeneracy)程度。关于有效信息的更多详细讨论，请参考[[有效信息]]词条。
      
=== 粗粒化映射 ===
 
=== 粗粒化映射 ===
第185行： 第132行：  
由于粗粒化的过程带来状态空间减小，所以<math>\Delta{I_{Size}}</math>总是为负；若要CE>0，即因果涌现发生，那么<math>\Delta{I_{Eff}}</math>必须为正值，且粗粒化带来的有效性提升幅度要超过状态空间缩减所导致的EI减小的幅度。
 
由于粗粒化的过程带来状态空间减小，所以<math>\Delta{I_{Size}}</math>总是为负；若要CE>0，即因果涌现发生，那么<math>\Delta{I_{Eff}}</math>必须为正值，且粗粒化带来的有效性提升幅度要超过状态空间缩减所导致的EI减小的幅度。
   −
=== 因果涌现与因果容量 ===
  −
  −
[[Erik Hoel]]还提出因果涌现理论与[[Claude Shannon]]的[[信息论]]之间的联系<ref name="hoel_2017" />。信息论中信息传输需要经过信道，信道由两个变量X和Y组成，分别为信道的输入和输出。对于任意的[math]X[/math]和[math]Y[/math]的取值[math]x,y[/math]，我们可以定义一个转移概率[math]p(y|x)[/math]，且满足：[math]p(y|x) \geq 0[/math]，以及对于每个x，[math]\sum_y p(y|x) = 1[/math]。因此，由所有X和Y的取值，我们可以定义一个信道矩阵（即TPM）。信道的性质显然由该TPM决定。
  −
  −
同样，对于一个马尔科夫动力学的前后两个状态是受限于动力学的，这种因果关系关系也是固定不变的。信道和动力学都可以用转移概率矩阵所描述。因此，一个动力学也可以被看作是一个通信信道。
  −
  −
而以上提到的因果涌现都建立在将初始分布do干预成均匀分布的情况下，即干预分布的熵最大。回顾有效信息的计算公式：
  −
  −
<math>
  −
EI = I(\tilde{X}_t;\tilde{X}_{t+1}) = H(\tilde{X}_t) - H(\tilde{X}_t|\tilde{X}_{t+1}) = H(\tilde{X}_t) - ((1-Eff) * H(\tilde{X}_t)) = Eff * H(\tilde{X}_t)
  −
</math>
  −
  −
其中[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是干预后的因果变量，[math]Eff[/math]为动力学的有效性。由公式可以看出EI的大小与干预的概率分布的熵有关。
  −
  −
  −
[[Claude Shannon]]在信息论中提出信道具有一定的容量。信道容量是指信道以最具信息性和可靠性的方式将输入转化为输出的能力，信道中信息传输的速率对输入概率分布 [math]p(X)[/math] 的变化非常敏感。信道容量 (C) 定义为使互信息达到最大值的输入变量分布，这也是信道能够可靠传输信息的最大速率：
     −
[math]
  −
C \equiv \max_{p(X)} I(X; Y),
  −
[/math]
  −
  −
其中[math]I(X; Y)[/math]是输入和输出之间的[[互信息]]。
  −
  −
  −
相应的，因果涌现理论揭示了系统存在一种类似的因果容量（Causal Capacity, CC），因为粗粒化操作本质上可以看作是对输入干预分布的改变，因果容量就是指系统以最具信息性和最有效的方式将干预转化为效果的能力，定义为：
  −
  −
[math]
  −
CC = \max_{\tilde{X_t}} I(\tilde{X_t}; \tilde{X}_{t+1}).
  −
[/math]
  −
  −
同上有效信息计算中，[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是经过粗粒化干预后的因果变量，CC对应的是最有效的干预下，因果变量之间互信息的最大值。
      
==因果涌现实例==
 
==因果涌现实例==
第463行： 第380行：     
后续可以使用[[有效信息]]词条中的源代码，计算TPM的有效信息。
 
后续可以使用[[有效信息]]词条中的源代码，计算TPM的有效信息。
 +
 +
 +
=== 因果涌现与因果容量 ===
 +
 +
[[Erik Hoel]]还提出因果涌现理论与[[Claude Shannon]]的[[信息论]]之间的联系<ref name="hoel_2017" />。信息论中信息传输需要经过信道，信道由两个变量X和Y组成，分别为信道的输入和输出。对于任意的[math]X[/math]和[math]Y[/math]的取值[math]x,y[/math]，我们可以定义一个转移概率[math]p(y|x)[/math]，且满足：[math]p(y|x) \geq 0[/math]，以及对于每个x，[math]\sum_y p(y|x) = 1[/math]。因此，由所有X和Y的取值，我们可以定义一个信道矩阵（即TPM）。信道的性质显然由该TPM决定。
 +
 +
同样，对于一个马尔科夫动力学的前后两个状态是受限于动力学的，这种因果关系关系也是固定不变的。信道和动力学都可以用转移概率矩阵所描述。因此，一个动力学也可以被看作是一个通信信道。
 +
 +
而以上提到的因果涌现都建立在将初始分布do干预成均匀分布的情况下，即干预分布的熵最大。回顾有效信息的计算公式：
 +
 +
<math>
 +
EI = I(\tilde{X}_t;\tilde{X}_{t+1}) = H(\tilde{X}_t) - H(\tilde{X}_t|\tilde{X}_{t+1}) = H(\tilde{X}_t) - ((1-Eff) * H(\tilde{X}_t)) = Eff * H(\tilde{X}_t)
 +
</math>
 +
 +
其中[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是干预后的因果变量，[math]Eff[/math]为动力学的有效性。由公式可以看出EI的大小与干预的概率分布的熵有关。
 +
 +
 +
[[Claude Shannon]]在信息论中提出信道具有一定的容量。信道容量是指信道以最具信息性和可靠性的方式将输入转化为输出的能力，信道中信息传输的速率对输入概率分布 [math]p(X)[/math] 的变化非常敏感。信道容量 (C) 定义为使互信息达到最大值的输入变量分布，这也是信道能够可靠传输信息的最大速率：
 +
 +
[math]
 +
C \equiv \max_{p(X)} I(X; Y),
 +
[/math]
 +
 +
其中[math]I(X; Y)[/math]是输入和输出之间的[[互信息]]。
 +
 +
 +
相应的，因果涌现理论揭示了系统存在一种类似的因果容量（Causal Capacity, CC），因为粗粒化操作本质上可以看作是对输入干预分布的改变，因果容量就是指系统以最具信息性和最有效的方式将干预转化为效果的能力，定义为：
 +
 +
[math]
 +
CC = \max_{\tilde{X_t}} I(\tilde{X_t}; \tilde{X}_{t+1}).
 +
[/math]
 +
 +
同上有效信息计算中，[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是经过粗粒化干预后的因果变量，CC对应的是最有效的干预下，因果变量之间互信息的最大值。
 +
    
=参考文献=
 
=参考文献=
 
<references/>
 
<references/>
相信未来
5,443

个编辑

取自“https://wiki.swarma.org/index.php/特殊:移动版差异/43156”