332
个编辑
更改
跳到导航
跳到搜索
第121行：
第121行： − + 第136行：
第136行： − + + +
→马尔科夫链的有效信息
= \sum^N_{i=1}\sum^N_{j=1}Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)\log \frac{Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)}{Pr(\tilde{X}_t=i)Pr(\tilde{X}_{t+1}=j)}\\
= \sum^N_{i=1}\sum^N_{j=1}Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)\log \frac{Pr(\tilde{X}_t=i,\tilde{X}_{t+1}=j)}{Pr(\tilde{X}_t=i)Pr(\tilde{X}_{t+1}=j)}\\
= \sum^N_{i=1}Pr(\tilde{X}_t=i)\sum^N_{j=1}Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)\log \frac{Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)}{Pr(\tilde{X}_{t+1}=j)}\\
= \sum^N_{i=1}Pr(\tilde{X}_t=i)\sum^N_{j=1}Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)\log \frac{Pr(\tilde{X}_{t+1}=j|\tilde{X}_t=i)}{Pr(\tilde{X}_{t+1}=j)}\\
= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj})}\\
= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj}}\\
</math>
</math>
<math>
<math>
EI = \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj})}=\frac{1}{N}D_{KL}(P_i||\bar{P})
EI = \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj}}=\frac{1}{N}\sum_{i=1}^N D_{KL}(P_i||\bar{P})
</math>
</math>
将矩阵每列求均值，可得到平均转移向量<math>\overline{P}=\sum_{k=1}^N P_k/N</math>。[math]D_{KL}[/math]便是两个分布的[[KL散度]]。因此，EI是转移矩阵每个行转移向量[math]P_i[/math]与平均转移向量[math]\bar{P}[/math]的[[KL散度]]的均值。
将矩阵每列求均值，可得到平均转移向量<math>\overline{P}=\sum_{k=1}^N P_k/N</math>。[math]D_{KL}[/math]便是两个分布的[[KL散度]]。因此，EI是转移矩阵每个行转移向量[math]P_i[/math]与平均转移向量[math]\bar{P}[/math]的[[KL散度]]的均值。
针对上面所列的三个[[状态转移矩阵]]，我们可以分别求出它们的EI为：2比特、1比特和0比特。由此可见，如果[[转移概率矩阵]]中出现更多的0或1，也就是行向量多是[[独热向量]]（也叫做[[one-hot向量]]，即某一个位置为1，其它位置为0的向量），则EI值就会更大。也就是说，如果在状态转移的过程中，从某一时刻到下一时刻的跳转越确定，则EI值就会倾向于越高。但是，这个观察并不十分精确，更精确的结论由后面的小节给出。
=归一化=
=归一化=