812
个编辑
更改
→因果涌现：有效信息
在[[马尔科夫链]]中，任意时刻的状态变量[math]X_t[/math]都可以看作是原因，而下一时刻的状态变量[math]X_{t+1}[/math]就可以看作是结果，这样[[马尔科夫链]]的[[状态转移矩阵]]就是它的[[因果机制]]。
在[[马尔科夫链]]中，任意时刻的状态变量[math]X_t[/math]都可以看作是原因，而下一时刻的状态变量[math]X_{t+1}[/math]就可以看作是结果，这样[[马尔科夫链]]的[[状态转移矩阵]]就是它的[[因果机制]]。
有效信息（Effective Information，简称EI）是[[因果涌现 Causal Emergence]]理论中的一个核心概念，它可以用来衡量一个[[马尔科夫动力学]]的[[因果效应]]的强度。这里，因果效应是指把动力学看做一个黑箱，那么不同的输入分布就会导致不同的输出分布，二者之间联系的紧密程度就是因果效应。有效信息通常可以分解为两个部分：确定性（Determinism）和简并性（Degeneracy）。确定性是指，在动力学的作用下，我们根据系统前一时刻的状态会以多大程度预测它下一时刻状态；简并性是指：我们能够以多大程度从下一时刻的状态预测上一时刻的状态。如果确定性越大，或简并性越小，则系统的有效信息就会越大。其他相关详情请参照[[有效信息]]词条。
有效信息（Effective Information，简称EI）是[[因果涌现 Causal Emergence]]理论中的一个核心概念，它可以用来衡量一个[[马尔科夫动力学]]的[[因果效应]]的强度。这里，因果效应是指把动力学看做一个黑箱，那么不同的输入分布就会导致不同的输出分布，二者之间联系的紧密程度就是因果效应：
<math>
<math>
&= \sum^N_{i=1}\sum^N_{j=1}Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)\log \frac{Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)}{Pr(\tilde{X}_t=i)Pr(\tilde{X}_{t+1}=j)}\\
&= \sum^N_{i=1}\sum^N_{j=1}Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)\log \frac{Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)}{Pr(\tilde{X}_t=i)Pr(\tilde{X}_{t+1}=j)}\\
&= \sum^N_{i=1}Pr(\tilde{X}_t=i)\sum^N_{j=1}Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)\log \frac{Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)}{Pr(\tilde{X}_{t+1}=j)}\\
&= \sum^N_{i=1}Pr(\tilde{X}_t=i)\sum^N_{j=1}Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)\log \frac{Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)}{Pr(\tilde{X}_{t+1}=j)}\\
&= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj}}
&= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj}}\\
&=\frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)\\
&=\frac{1}{N}\sum_{i=1}^N D_{KL}(P_i||\bar{P})
\end{aligned}
\end{aligned}
</math>
</math>
其中<math>\tilde{X}_t,\tilde{X}_{t+1}</math>分别为把t时刻的[math]X_t[/math][[干预]]为[[均匀分布]]后，前后两个时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。从这个式子，不难看出，EI仅仅是概率转移矩阵[math]P[/math]的函数。
其中<math>\tilde{X}_t,\tilde{X}_{t+1}</math>分别为把t时刻的[math]X_t[/math][[干预]]为[[均匀分布]]后，前后两个时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。从这个式子，不难看出，EI仅仅是概率转移矩阵[math]P[/math]的函数。
我们也可以将[[转移概率矩阵]][math]P[/math]写成[math]N[/math]个行向量拼接而成的形式，即：<math>P=(P_1^T,P_2^T,\cdots,P_N^T)^T</math>。其中，[math]P_i[/math]矩阵[math]P[/math]的第[math]i[/math]个行向量，且满足条件概率的归一化条件：[math]||P_i||_1=1[/math]，这里的[math]||\cdot||_1[/math]表示向量的1范数。那么EI可以写成如下的形式：
我们也可以将[[转移概率矩阵]][math]P[/math]写成[math]N[/math]个行向量拼接而成的形式，即：<math>P=(P_1^T,P_2^T,\cdots,P_N^T)^T</math>。
其中，[math]P_i[/math]矩阵[math]P[/math]的第[math]i[/math]个行向量，且满足条件概率的归一化条件：[math]||P_i||_1=1[/math]，这里的[math]||\cdot||_1[/math]表示向量的1范数。
将矩阵每列求均值，可得到平均转移向量<math>\overline{P}=\sum_{k=1}^N P_k/N</math>。[math]D_{KL}[/math]便是两个分布的[[KL散度]]。因此，EI是转移矩阵每个行转移向量[math]P_i[/math]与平均转移向量[math]\bar{P}[/math]的[[KL散度]]的均值。
有效信息通常可以分解为两个部分：确定性（Determinism）和简并性（Degeneracy）：
{{NumBlk|:|
{{NumBlk|:|
<math>
<math>
\begin{aligned}
\begin{aligned}
EI &= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj}}\\
EI &= \frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)\\
&=\frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)\\
&=\underbrace{-\langle H(P_i)\rangle}_{确定性项}+\underbrace{H(\bar{P})}_{非简并性项}
&=\frac{1}{N}\sum_{i=1}^N D_{KL}(P_i||\bar{P})
\end{aligned}
\end{aligned}
</math>
</math>
|{{EquationRef|1}}}}
|{{EquationRef|2}}}}
确定性是指，在动力学的作用下，我们根据系统前一时刻的状态会以多大程度预测它下一时刻状态；简并性是指：果知道了系统的当前状态，能不能反推系统在上一时刻的状态的能力，如果可以推断，则这个马尔科夫矩阵的简并性就会比较低，也就是非简并的；而如果很难推断，则马尔科夫矩阵就是简并的，也即退化的。
如果确定性越大，或简并性越小，则系统的有效信息就会越大。其他相关详情请参照[[有效信息]]词条。
下表展示的是三个不同的转移概率矩阵，以及它们的EI数值：
下表展示的是三个不同的转移概率矩阵，以及它们的EI数值：
上面所列的三个[[状态转移矩阵]]的EI为：2比特、1比特和0比特。由此可见，如果[[转移概率矩阵]]中出现更多的0或1，也就是行向量多是[[独热向量]]（也叫做[[one-hot向量]]，即某一个位置为1，其它位置为0的向量），则EI值就会更大。也就是说，如果在状态转移的过程中，从某一时刻到下一时刻的跳转越确定，则EI值就会倾向于越高。
上面所列的三个[[状态转移矩阵]]的EI为：2比特、1比特和0比特。由此可见，如果[[转移概率矩阵]]中出现更多的0或1，也就是行向量多是[[独热向量]]（也叫做[[one-hot向量]]，即某一个位置为1，其它位置为0的向量），则EI值就会更大。也就是说，如果在状态转移的过程中，从某一时刻到下一时刻的跳转越确定，则EI值就会倾向于越高。
<br/>
<br/>