更改

[[文件:TPM EI.png|804x804px|居中|几个概率转移矩阵的案例|替代=]]

[[文件:TPM EI.png|804x804px|居中|几个概率转移矩阵的案例|替代=]]

进一步将EI应用在一个[[随机过程]]的背景下，输入变量为<math>X_t</math>，输出变量为<math>X_{t+1}</math>，在将<math>X_t</math>[[干预]]为[[最大熵分布]]时，计算二者之间的[[互信息]]。在离散情况下，[[最大熵分布]]即为[[均匀分布]]。因为这里的EI计算只关乎两个时刻，在[[干预]]的情况下更早的历史变量不起作用，所以Hoel假定该过程的动力学就是一个满足[[马尔科夫性]]的[[概率转移矩阵]]。下面给出几个马尔科夫概率转移矩阵的示例。

这三个[[马尔科夫链]]的状态空间都是[math]\mathcal{X}=\{1,2,3,4\}[/math]，因此它们的TPM的大小都是[math]4\times 4[/math]。

马尔科夫矩阵中每个元素都是一个条件概率，满足行归一化。将输入变量概率分布和矩阵直接相乘便得到输出变量的概率分布。因为有[[干预]]，所以EI的大小只和转移矩阵本身有关。已知马尔科夫概率转移矩阵，我们可以用下式计算EI。

在[[马尔科夫链]]中，任意时刻的状态变量[math]X_t[/math]都可以看作是原因，而下一时刻的状态变量[math]X_{t+1}[/math]就可以看作是结果，这样[[马尔科夫链]]的[[状态转移矩阵]]就是它的[[因果机制]]。因此，我们可以将有效信息的定义套用到[[马尔科夫链]]上来。

<math>

<math>

EI = I(X_t,X_{t+1}|do(X_t)\sim U) \\  

EI = I(X_t,X_{t+1}|do(X_t)\sim U(\mathcal{X}))=I(\tilde{X}_t,\tilde{X}_{t+1}) \\  

= \sum^N_{\tilde{x}_t}\sum^N_{\tilde{x}_{t+1}}p(\tilde{x}_t,\tilde{x}_{t+1})\log \frac{p(\tilde{x}_t,\tilde{x}_{t+1})}{p(\tilde{x}_t)p(\tilde{x}_{t+1})}\\

= \sum^N_{i=1}\sum^N_{j=1}Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)\log \frac{Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)}{Pr(\tilde{X}_t=i)Pr(\tilde{X}_{t+1}=j)}\\

= \sum^N_{\tilde{x}_t}p(\tilde{x}_t)\sum^N_{\tilde{x}_{t+1}}p(\tilde{x}_{t+1}|\tilde{x}_t)\log \frac{p(\tilde{x}_{t+1}|\tilde{x}_t)}{p(\tilde{x}_{t+1})}\\

= \sum^N_{i=1}Pr(\tilde{X}_t=i)\sum^N_{j=1}Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)\log \frac{Pr(\tilde{X}_{t+1}=j|\tilde{x}_t)}{p(\tilde{x}_{t+1})}\\

= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{p_{ij}}{\overline{p}_j}\\

= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{p_{ij}}{\overline{p}_j}\\

= \frac{1}{N}\sum^N_{i=1}D_{KL}(P_{i.}||\overline{P})

= \frac{1}{N}\sum^N_{i=1}D_{KL}(P_{i.}||\overline{P})