更改

跳到导航 跳到搜索
第503行: 第503行:  
\begin{aligned}
 
\begin{aligned}
 
EI &= I(X_t,X_{t+1}|do(X_t\sim U(\mathcal{X})))=I(\tilde{X}_t,\tilde{X}_{t+1}) \\  
 
EI &= I(X_t,X_{t+1}|do(X_t\sim U(\mathcal{X})))=I(\tilde{X}_t,\tilde{X}_{t+1}) \\  
−
&= \sum^N_{i=1}\sum^N_{j=1}Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)\log \frac{Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)}{Pr(\tilde{X}_t=i)Pr(\tilde{X}_{t+1}=j)}\\
+
&= \sum^N_{i=1}\sum^N_{j=1}Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)\log \frac{Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)}{Pr(\tilde{X}_t=i)Pr(\tilde{X}_{t+1}=j)} = \sum^N_{i=1}Pr(\tilde{X}_t=i)\sum^N_{j=1}Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)\log \frac{Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)}{Pr(\tilde{X}_{t+1}=j)}\\
−
&= \sum^N_{i=1}Pr(\tilde{X}_t=i)\sum^N_{j=1}Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)\log \frac{Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)}{Pr(\tilde{X}_{t+1}=j)}\\
+
&= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N  p_{kj}}=\frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)\\
−
&= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N  p_{kj}}\\
  −
&=\frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)\\
   
&=\frac{1}{N}\sum_{i=1}^N D_{KL}(P_i||\bar{P})
 
&=\frac{1}{N}\sum_{i=1}^N D_{KL}(P_i||\bar{P})
 
\end{aligned}
 
\end{aligned}
 
</math>
 
</math>
   −
其中<math>\tilde{X}_t,\tilde{X}_{t+1}</math>分别为把t时刻的[math]X_t[/math][[干预]]为[[均匀分布]]后,前后两个时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。从这个式子,不难看出,EI仅仅是概率转移矩阵[math]P[/math]的函数。将[[转移概率矩阵]][math]P[/math]写成[math]N[/math]个行向量拼接而成的形式,即:<math>P=(P_1^T,P_2^T,\cdots,P_N^T)^T</math>。将矩阵每列求均值,可得到平均转移向量<math>\overline{P}=\sum_{k=1}^N P_k/N</math>。因此,EI是转移矩阵每个行转移向量[math]P_i[/math]与平均转移向量[math]\bar{P}[/math]的[[KL散度]]的均值。
+
其中 <math>\tilde{X}_t,\tilde{X}_{t+1}</math> 分别为把 <math>t</math> 时刻的 [math]X_t[/math][[干预]]为[[均匀分布]]后,前后两个时刻的状态。从上面式子不难看出,EI仅仅是概率转移矩阵 [math]P[/math] 的函数。将[[转移概率矩阵]] [math]P[/math] 写成 [math]N[/math] 个行向量拼接而成的形式,即:<math>P=(P_1^T,P_2^T,\cdots,P_N^T)^T</math>。将矩阵每列求均值,可得到平均转移向量 <math>\overline{P}=\sum_{k=1}^N P_k/N</math>。因此,EI是转移矩阵每个行转移向量 [math]P_i[/math] 与平均转移向量 [math]\bar{P}[/math] 的[[KL散度]]的均值。
 +
 
 +
 
    
有效信息通常可以分解为两个部分:确定性(Determinism)和简并性(Degeneracy):
 
有效信息通常可以分解为两个部分:确定性(Determinism)和简并性(Degeneracy):
第527行: 第527行:     
如果确定性越大,或简并性越小,则系统的有效信息就会越大。其他相关详情请参照[[有效信息]]词条。
 
如果确定性越大,或简并性越小,则系统的有效信息就会越大。其他相关详情请参照[[有效信息]]词条。
−
        第582行: 第581行:  
进一步定义归一化指标也称为'''有效性'''(effectiveness)。
 
进一步定义归一化指标也称为'''有效性'''(effectiveness)。
   −
有了有效信息这一度量指标后,我们便可以讨论马尔科夫链上的因果涌现了。对于一个马尔科夫链,观察者可以建立多尺度视角去观测,区分出微观和宏观。首先,原始的马尔科夫概率转移矩阵<math>P_N</math>即定义了微观动力学;其次,经过对微观态的粗粒化映射(coarse-graining)后(通常反映为对微观状态的分组),观察者可以得到对应的宏观状态(即分组),这些宏观状态彼此之间的概率转移可以用宏观的马尔科夫概率转移矩阵<math>P_M</math>来刻画。对两个动力学分别可以计算EI,如果宏观的EI大于微观EI,我们说该系统发生了因果涌现。
+
有了有效信息这一度量指标后,我们便可以讨论马尔科夫链上的因果涌现了。对于一个马尔科夫链,观察者可以建立多尺度视角去观测,区分出微观和宏观。首先,原始的马尔科夫概率转移矩阵 <math>P_N</math> 即定义了微观动力学;其次,经过对微观态的粗粒化映射(coarse-graining)后(通常反映为对微观状态的分组),观察者可以得到对应的宏观状态(即分组),这些宏观状态彼此之间的概率转移可以用宏观的马尔科夫概率转移矩阵 <math>P_M</math> 来刻画。对两个动力学分别可以计算EI,如果宏观的EI大于微观EI,我们说该系统发生了因果涌现。
   −
[[文件:CE.png|替代=因果涌现示意图|500x500像素]]
+
[[文件:CE.png|缩略图|因果涌现示意图|500x500像素]]
    
可以定义一个新的指标直接度量因果涌现的程度:
 
可以定义一个新的指标直接度量因果涌现的程度:
812

个编辑

导航菜单