1,117
个编辑
更改
跳到导航
跳到搜索
第5行：
第5行： − 介绍信息熵是一个衡量变量不确定性多少的测度。互信息源于信息熵用于衡量变量间的相关程度。两者能够实现反映两变量间的信息分布的目的。+ + + + + + + + + + + + + + +
无编辑摘要
==== 信息熵与互信息 ====
==== 信息熵与互信息 ====
在概率论和信息论中，两个随机变量的'''互信息'''（mutual Information，MI）度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是一个随机变量由于已知另一个随机变量而减少的“信息量”（单位通常为比特）。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
离散随机变量 X 和 Y 的互信息可以计算为：
<nowiki>:</nowiki><nowiki><math> I(X;Y) = \sum_{y \in Y} \sum_{x \in X} </nowiki>
p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
\right) }, \,\!
<nowiki></math></nowiki>
其中 <nowiki>''</nowiki>p<nowiki>''</nowiki>(<nowiki>''</nowiki>x<nowiki>''</nowiki>, <nowiki>''</nowiki>y<nowiki>''</nowiki>) 是 <nowiki>''</nowiki>X<nowiki>''</nowiki> 和 <nowiki>''</nowiki>Y<nowiki>''</nowiki> 的联合概率质量函数，而 <nowiki><math>p(x)</math></nowiki> 和 <nowiki><math>p(y)</math></nowiki> 分别是 <nowiki>''</nowiki>X<nowiki>''</nowiki> 和 <nowiki>''</nowiki>Y<nowiki>''</nowiki> 的边缘概率质量函数。
==== 部分信息分解 ====
==== 部分信息分解 ====