更改

互信息是对称的:

互信息是对称的:

: <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,</math>

: <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y)\,</math>

互信息可以表示为在给定''Y''值的情况下''X''的后验分布，以及''X''的先验概率分布之间的平均 Kullback-Leibler 散度(信息增益) :

互信息可以表示为在给定''Y''值的情况下''X''的后验分布，以及''X''的先验概率分布之间的平均 Kullback-Leibler 散度(信息增益) :

: <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )].</math>

: <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )]</math>

换句话说，这个指标度量：当我们给出''Y''的值，得出''X''上的概率分布将会平均变化多少。这通常用于计算边缘分布的乘积与实际联合分布的差异：

换句话说，这个指标度量：当我们给出''Y''的值，得出''X''上的概率分布将会平均变化多少。这通常用于计算边缘分布的乘积与实际联合分布的差异：

: <math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y)).</math>

: <math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y))</math>

互信息与列联表中的似然比检验，多项分布，以及皮尔森卡方检验密切相关: 互信息可以视为评估一对变量之间独立性的统计量，并且具有明确指定的渐近分布。

互信息与列联表中的似然比检验，多项分布，以及皮尔森卡方检验密切相关: 互信息可以视为评估一对变量之间独立性的统计量，并且具有明确指定的渐近分布。