463
个编辑
更改
跳到导航
跳到搜索
第613行：
第613行： − + − − 与 Kullback-莱布勒分歧的关系 第846行：
第844行： − − − −
→Relation to Kullback–Leibler divergence
=== Relation to Kullback–Leibler divergence ===
=== 与Kullback-Leibler散度的关系 Relation to Kullback–Leibler divergence ===
For jointly discrete or jointly continuous pairs <math>(X,Y)</math>,
For jointly discrete or jointly continuous pairs <math>(X,Y)</math>,
注意，这里 Kullback-Leibler 散度只涉及对随机变量 math x / math 的值的积分，而 math d text { KL }(p { x | y } parallel px) / math 表达式仍然表示随机变量，因为 math y / math 是随机的。因此，互信息也可以理解为单变量分布数学公式的 Kullback-Leibler 散度与条件分布数学公式 p { x | y } / 数学公式的数学公式 p { x | y } / 数学公式给定数学公式 y / 数学公式的数学公式的期望值: 平均分布公式 p { x | y } / 数学公式 p x / 数学公式 p x / 数学公式的分布越不相同，信息增益越大。
注意，这里 Kullback-Leibler 散度只涉及对随机变量 math x / math 的值的积分，而 math d text { KL }(p { x | y } parallel px) / math 表达式仍然表示随机变量，因为 math y / math 是随机的。因此，互信息也可以理解为单变量分布数学公式的 Kullback-Leibler 散度与条件分布数学公式 p { x | y } / 数学公式的数学公式 p { x | y } / 数学公式给定数学公式 y / 数学公式的数学公式的期望值: 平均分布公式 p { x | y } / 数学公式 p x / 数学公式 p x / 数学公式的分布越不相同，信息增益越大。
=== 互信息的贝叶斯估计 Bayesian estimation of mutual information ===
=== 互信息的贝叶斯估计 Bayesian estimation of mutual information ===