332
个编辑
更改
跳到导航
跳到搜索
第174行：
第174行： + + + + + + + + + + + + + + + + + + + + + + + +
→确定性和简并性
==确定性和简并性==
==确定性和简并性==
根据公式{{EquationNote|eq2}}，我们发现，EI实际上可以被分解为两项，即：
<math>
\begin{aligned}
EI&=\frac{1}{\#(\mathcal{X})} (-\sum_{x\in\mathcal{X}}H(Pr(Y|X)) + H(Pr(Y))\\
\end{aligned}
</math>
同样，在马尔科夫链的情景下，EI也可以做这样的分解：
<math>
\begin{aligned}
EI &= \frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)\\
&=\underbrace{-\langle H(P_i)\rangle}_{确定性}+\underbrace{H(\bar{P_i})}_{非简并性}
\end{aligned}
</math>
其中，第一项[math]-\langle H(P_i)\rangle\equiv \frac{1}{N}\sum_{i=1}^N H(P_i)[/math]为每个行向量[math]P_i[/math]的负熵的平均值，它刻画了整个马尔科夫转移矩阵的'''确定性'''（determinism）；
第二项[math]H(\bar{P_i})\equiv \frac{1}{N}\sum_{i=1}^N P_i [/math]为所有N个行向量的平均行向量的熵，它刻画了整个马尔科夫转移矩阵的'''非简并性'''(non-degeneracy)。
第一项是一个平均的负熵，所以，它能刻画整个转移矩阵的确定性比较容易理解。但是，为什么第二项能够刻画转移矩阵的非简并性呢？首先，这里的“非简并性”的含义
考察归一化后的eff，我们可以将其拆成两部分，分别对应确定性（determinism）和简并性（degeneracy）。
考察归一化后的eff，我们可以将其拆成两部分，分别对应确定性（determinism）和简并性（degeneracy）。