299
个编辑
更改
跳到导航
跳到搜索
第440行：
第440行： − + + + + + + + + + + + + +
→最大值
<math>
<math>
EI = -\langle H(P_i)\rangle\equiv \frac{1}{N}\sum_{i=1}^N H(P_i) + H(\bar{P}),
EI = -\langle H(P_i)\rangle + H(\bar{P}),
</math>
</math>
其中熵的定义是<math>H(P_i)=-\sum_{j=1}^Np_{ij}\log p_{ij}</math>。分开来看，前一项式子最大值为0，即：
<math>
- H(P_i)\leq 0,
</math>
当<math>P_i</math>为没有不确定性的独热变量时，该式子的等号成立。所以，当对所有的i都有<math>P_i</math>为独热变量时，有<math>-\langle H(P_i)\rangle=0</math>成立。另一边，TPM的平均行向量的熵也有一个不等式成立，
<math>
H(\bar{P})\leq \log N,
</math>
其中等于号在满足<math>\bar{P}=\frac{1}{N}\cdot \mathbbm{1}</math>条件时成立。当这两个式子的等号同时成立时，即<math>P_i</math>为独热变量同时<math>\bar{P}</math>为均匀分布时，EI会达到最大值。此时有<math>EI_{max}=0+\log N= \log N</math>。
==因果涌现==
==因果涌现==