更改

注意，在离散情况下，<math>H(X|X) = 0</math>，因此<math>H(X) = \operatorname{I}(X;X)</math>。所以，<math>\operatorname{I}(X; X) \ge \operatorname{I}(X; Y)</math>，据此我们可以得到一个基本原则，那就是一个变量至少包含与任何其他变量所能提供的关于自身的信息量的这么多信息。

注意，在离散情况下，<math>H(X|X) = 0</math>，因此<math>H(X) = \operatorname{I}(X;X)</math>。所以，<math>\operatorname{I}(X; X) \ge \operatorname{I}(X; Y)</math>，据此我们可以得到一个基本结论，那就是一个变量至少包含与任何其他变量所能提供的关于自身的信息量的这么多信息。

=== 与相对熵的关系 Relation to Kullback–Leibler divergence ===

=== 与相对熵的关系 Relation to Kullback–Leibler divergence ===