463
个编辑
更改
跳到导航
跳到搜索
第167行：
第167行： − 互信息可以等价地表示为:+ − − − − − − <math>\begin{align} − − 数学 begin { align } − − − \operatorname{I}(X;Y) &{} \equiv \Eta(X) - \Eta(X|Y) \\ − − 运营商名称{ i }(x; y) & { equiv Eta (x)- Eta (x | y) − − − &{} \equiv \Eta(Y) - \Eta(Y|X) \\ − − 埃塔(y)-埃塔(y | x) − − &{} \equiv \Eta(X) + \Eta(Y) - \Eta(X, Y) \\ − − − (x) + Eta (y)-Eta (x，y) − − &{} \equiv \Eta(X, Y) - \Eta(X|Y) - \Eta(Y|X) − − − (x，y)-Eta (x | y)-Eta (y | x) − − − \end{align}</math> − − End { align } / math 第358行：
第325行： − − − −
→条件熵与联合熵的关系 Relation to conditional and joint entropy
Mutual information can be equivalently expressed as:
Mutual information can be equivalently expressed as:
互信息也可以等价地表示为:
:<math>\begin{align}
:<math>\begin{align}
\operatorname{I}(X;Y) &{} \equiv \Eta(X) - \Eta(X|Y) \\
\operatorname{I}(X;Y) &{} \equiv \Eta(X) - \Eta(X|Y) \\
&{} \equiv \Eta(Y) - \Eta(Y|X) \\
&{} \equiv \Eta(Y) - \Eta(Y|X) \\
&{} \equiv \Eta(X) + \Eta(Y) - \Eta(X, Y) \\
&{} \equiv \Eta(X) + \Eta(Y) - \Eta(X, Y) \\
&{} \equiv \Eta(X, Y) - \Eta(X|Y) - \Eta(Y|X)
&{} \equiv \Eta(X, Y) - \Eta(X|Y) - \Eta(Y|X)
\end{align}</math>
\end{align}</math>
注意，在离散情况下 math Eta (x | x)0 / math，因此 math Eta (x) operatorname { i }(x; x) / math。因此 math operatorname { i }(x; x) ge operatorname { i }(x; y) / math，我们可以公式化这样一个基本原则，即一个变量包含的关于它自身的信息至少与任何其他变量所能提供的信息一样多。
注意，在离散情况下 math Eta (x | x)0 / math，因此 math Eta (x) operatorname { i }(x; x) / math。因此 math operatorname { i }(x; x) ge operatorname { i }(x; y) / math，我们可以公式化这样一个基本原则，即一个变量包含的关于它自身的信息至少与任何其他变量所能提供的信息一样多。
=== 与Kullback-Leibler散度的关系 Relation to Kullback–Leibler divergence ===
=== 与Kullback-Leibler散度的关系 Relation to Kullback–Leibler divergence ===