有效信息

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
Jake讨论 | 贡献2023年12月10日 (日) 09:02的版本
跳到导航 跳到搜索

有效信息(Effective Information)是一种度量一个动力学的因果效应的指标。假设给定的马尔可夫动力学是一个离散的马尔可夫链,其概率转移矩阵是[math]\displaystyle{ P=(p_{ij}))_{N\times N} }[/math][math]\displaystyle{ p_{ij} }[/math]为第i个状态到第j个状态的转移概率,N为系统中总的状态数,则对应的EI计算公式为:

[math]\displaystyle{ EI=\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{N}p_{ij}\log\frac{Np_{ij}}{\sum_{k=1}^Np_{kj}} }[/math]

如果我们定义平均转移概率向量为:

[math]\displaystyle{ \bar{p_j}={\sum_{k=1}^Np_{kj}}/N }[/math]

则:

[math]\displaystyle{ EI=\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{N}p_{ij}\log\frac{Np_{ij}}{\bar{p_j}}=\frac{1}{N}\sum_{i=1}^N D_{KL}(P_{i\cdot}||\bar{P}) }[/math]

这里,[math]\displaystyle{ P_{i\cdot} }[/math]为第i个节点到其它节点的转移概率所组成的N维行向量,[math]\displaystyle{ \bar{P} }[/math]为所有[math]\displaystyle{ \bar{p_j} }[/math]所组成的行向量,[math]\displaystyle{ D_{KL} }[/math]KL散度