3,094
个编辑
更改
跳到导航
跳到搜索
第120行：
第120行： − + − + − − 其中N为状态数，<math>\tilde{x}_t,\tilde{x}_{t+1}</math>分别为把t时刻的输入[[干预]]为[[最大熵分布]]后前后两个时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。将矩阵每列求均值，可得到平均转移向量<math>\overline{P}</math>，每个分量便是<math>\overline{p}_j</math>。我们也可以用[[KL散度]]的方式来表达：EI是转移矩阵每个行转移向量与平均转移向量的[[KL散度]]的均值。+ + + + + + + + + + + + + + +
→马尔科夫链的有效信息
EI = I(X_t,X_{t+1}|do(X_t)\sim U(\mathcal{X}))=I(\tilde{X}_t,\tilde{X}_{t+1}) \\
EI = I(X_t,X_{t+1}|do(X_t)\sim U(\mathcal{X}))=I(\tilde{X}_t,\tilde{X}_{t+1}) \\
= \sum^N_{i=1}\sum^N_{j=1}Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)\log \frac{Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)}{Pr(\tilde{X}_t=i)Pr(\tilde{X}_{t+1}=j)}\\
= \sum^N_{i=1}\sum^N_{j=1}Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)\log \frac{Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)}{Pr(\tilde{X}_t=i)Pr(\tilde{X}_{t+1}=j)}\\
= \sum^N_{i=1}Pr(\tilde{X}_t=i)\sum^N_{j=1}Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)\log \frac{Pr(\tilde{X}_{t+1}=j|\tilde{x}_t)}{p(\tilde{x}_{t+1})}\\
= \sum^N_{i=1}Pr(\tilde{X}_t=i)\sum^N_{j=1}Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)\log \frac{Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)}{Pr(\tilde{X}_{t+1}=j)}\\
= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{p_{ij}}{\overline{p}_j}\\
= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj})}\\
= \frac{1}{N}\sum^N_{i=1}D_{KL}(P_{i.}||\overline{P})
</math>
</math>
其中<math>\tilde{X}_t,\tilde{X}_{t+1}</math>分别为把t时刻的[math]X_t[/math][[干预]]为[[均匀分布]]后，前后两个时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。
我们也可以将[[转移概率矩阵]][math]P[/math]写成[math]N[/math]个行向量拼接而成的形式，即：
<math>
P=(P_1,P_2,\cdots,P_N)^T
</math>
其中，[math]P_i[/math]矩阵[math]P[/math]的第[math]i[/math]个行向量，且满足条件概率的归一化条件：[math]||P_i||_1=1[/math]，这里的[math]||\cdot||_1[/math]表示向量的1范数。那么EI可以写成如下的形式：
<math>
EI = \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj})}=\frac{1}{N}D_{KL}(P_i||\bar{P})
</math>
将矩阵每列求均值，可得到平均转移向量<math>\overline{P}=\sum_{k=1}^N P_k/N</math>。[math]D_{KL}[/math]便是两个分布的[[KL散度]]。因此，EI是转移矩阵每个行转移向量[math]P_i[/math[与平均转移向量[math]\bar{P}[/math[的[[KL散度]]的均值。
=归一化=
=归一化=