第440行: |
第440行: |
| | | |
| <math> | | <math> |
− | EI = -\langle H(P_i)\rangle\equiv \frac{1}{N}\sum_{i=1}^N H(P_i) + H(\bar{P}), | + | EI = -\langle H(P_i)\rangle + H(\bar{P}), |
| </math> | | </math> |
| | | |
| + | 其中熵的定义是<math>H(P_i)=-\sum_{j=1}^Np_{ij}\log p_{ij}</math>。分开来看,前一项式子最大值为0,即: |
| | | |
| + | <math> |
| + | - H(P_i)\leq 0, |
| + | </math> |
| + | |
| + | 当<math>P_i</math>为没有不确定性的独热变量时,该式子的等号成立。所以,当对所有的i都有<math>P_i</math>为独热变量时,有<math>-\langle H(P_i)\rangle=0</math>成立。另一边,TPM的平均行向量的熵也有一个不等式成立, |
| + | |
| + | <math> |
| + | H(\bar{P})\leq \log N, |
| + | </math> |
| + | |
| + | 其中等于号在满足<math>\bar{P}=\frac{1}{N}\cdot \mathbbm{1}</math>条件时成立。当这两个式子的等号同时成立时,即<math>P_i</math>为独热变量同时<math>\bar{P}</math>为均匀分布时,EI会达到最大值。此时有<math>EI_{max}=0+\log N= \log N</math>。 |
| | | |
| ==因果涌现== | | ==因果涌现== |