有效信息

有效信息（Effective Information）是一种度量一个动力学的因果效应的指标。假设给定的马尔可夫动力学是一个离散的马尔可夫链，其概率转移矩阵是[math]\displaystyle{ P=(p_{ij})_{N\times N} }[/math]，[math]\displaystyle{ p_{ij} }[/math]为第i个状态到第j个状态的转移概率，N为系统中总的状态数，则对应的EI计算公式为：

[math]\displaystyle{ EI=\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{N}p_{ij}\log\frac{Np_{ij}}{\sum_{k=1}^Np_{kj}} }[/math]

如果我们定义平均转移概率向量为：

[math]\displaystyle{ \bar{p_j}={\sum_{k=1}^Np_{kj}}/N }[/math]

则：

[math]\displaystyle{ EI=\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{N}p_{ij}\log\frac{p_{ij}}{\bar{p_j}}=\frac{1}{N}\sum_{i=1}^N D_{KL}(P_{i\cdot}||\bar{P}) }[/math]

这里，[math]\displaystyle{ P_{i\cdot} }[/math]为第i个节点到其它节点的转移概率所组成的N维行向量，[math]\displaystyle{ \bar{P} }[/math]为所有[math]\displaystyle{ \bar{p_j} }[/math]所组成的行向量，[math]\displaystyle{ D_{KL} }[/math]为KL散度