207
个编辑
更改
跳到导航
跳到搜索
第22行：
第22行： − + + + + + − +
→Markovian matrix 形式（TPM）
<math>
<math>
EI = \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{p_{ij}}{\overline{p}_j} = \frac{1}{N}\sum^N_{i=1}D_{KL}(P_{i.}||\overline{P})
EI = I(X_t,X_{t+1}|do(X_t)\sim U) \\
= \sum^N_{\tilde{x}_t}\sum^N_{\tilde{x}_{t+1}}p(\tilde{x}_t,\tilde{x}_{t+1})\log \frac{p(\tilde{x}_t,\tilde{x}_{t+1})}{p(\tilde{x}_t)p(\tilde{x}_{t+1})}\\
= \sum^N_{\tilde{x}_t}p(\tilde{x}_t)\sum^N_{\tilde{x}_{t+1}}p(\tilde{x}_{t+1}|\tilde{x}_t)\log \frac{p(\tilde{x}_{t+1}|\tilde{x}_t)}{p(\tilde{x}_{t+1})}\\
= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{p_{ij}}{\overline{p}_j}\\
= \frac{1}{N}\sum^N_{i=1}D_{KL}(P_{i.}||\overline{P})
</math>
</math>
其中N为状态数，<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。将矩阵每列求均值，可得到平均转移向量<math>\overline{P}</math>，每个分量便是<math>\overline{p}_j</math>。我们也可以用KL散度的方式来表达：EI是转移矩阵每个行转移向量与平均转移向量的KL散度的均值。
其中N为状态数，<math>\tilde{x}_t,\tilde{x}_{t+1}</math>分别为把t时刻的输入干预为最大熵分布后前后两个时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。将矩阵每列求均值，可得到平均转移向量<math>\overline{P}</math>，每个分量便是<math>\overline{p}_j</math>。我们也可以用KL散度的方式来表达：EI是转移矩阵每个行转移向量与平均转移向量的KL散度的均值。
=归一化=
=归一化=