更改

Mutual information can be equivalently expressed as:

Mutual information can be equivalently expressed as:

互信息可以等价地表示为:

互信息也可以等价地表示为:

 

 

 

 

:<math>\begin{align}

:<math>\begin{align}

   \operatorname{I}(X;Y) &{} \equiv \Eta(X) - \Eta(X|Y) \\

   \operatorname{I}(X;Y) &{} \equiv \Eta(X) - \Eta(X|Y) \\

         &{} \equiv \Eta(Y) - \Eta(Y|X) \\

         &{} \equiv \Eta(Y) - \Eta(Y|X) \\

         &{} \equiv \Eta(X) + \Eta(Y) - \Eta(X, Y) \\

         &{} \equiv \Eta(X) + \Eta(Y) - \Eta(X, Y) \\

         &{} \equiv \Eta(X, Y) - \Eta(X|Y) - \Eta(Y|X)

         &{} \equiv \Eta(X, Y) - \Eta(X|Y) - \Eta(Y|X)

\end{align}</math>

\end{align}</math>

注意，在离散情况下 math  Eta (x | x)0 / math，因此 math  Eta (x) operatorname { i }(x; x) / math。因此 math  operatorname { i }(x; x) ge  operatorname { i }(x; y) / math，我们可以公式化这样一个基本原则，即一个变量包含的关于它自身的信息至少与任何其他变量所能提供的信息一样多。

注意，在离散情况下 math  Eta (x | x)0 / math，因此 math  Eta (x) operatorname { i }(x; x) / math。因此 math  operatorname { i }(x; x) ge  operatorname { i }(x; y) / math，我们可以公式化这样一个基本原则，即一个变量包含的关于它自身的信息至少与任何其他变量所能提供的信息一样多。

=== 与Kullback-Leibler散度的关系 Relation to Kullback–Leibler divergence ===

=== 与Kullback-Leibler散度的关系 Relation to Kullback–Leibler divergence ===