463
个编辑
更改
跳到导航
跳到搜索
第233行：
第233行： − +
→条件熵与联合熵的关系 Relation to conditional and joint entropy
注意，在离散情况下，<math>H(X|X) = 0</math>，因此<math>H(X) = \operatorname{I}(X;X)</math>。所以，<math>\operatorname{I}(X; X) \ge \operatorname{I}(X; Y)</math>，据此我们可以得到一个基本原则，那就是一个变量至少包含与任何其他变量所能提供的关于自身的信息量的这么多信息。
注意，在离散情况下，<math>H(X|X) = 0</math>，因此<math>H(X) = \operatorname{I}(X;X)</math>。所以，<math>\operatorname{I}(X; X) \ge \operatorname{I}(X; Y)</math>，据此我们可以得到一个基本结论，那就是一个变量至少包含与任何其他变量所能提供的关于自身的信息量的这么多信息。
=== 与相对熵的关系 Relation to Kullback–Leibler divergence ===
=== 与相对熵的关系 Relation to Kullback–Leibler divergence ===