2,435
个编辑
更改
跳到导航
跳到搜索
第14行：
第14行： + + +
→信息熵与互信息
与熵紧密相关的是'''互信息'''（mutual Information，MI）。对于两个随机变量，互信息度量了两者间相互依赖的程度（成对关系）。具体来说，互信息测量了一个随机变量由于已知另一个随机变量而减少的“信息量”。离散随机变量<math>X</math>和 <math>Y</math>的互信息可以计算为：
与熵紧密相关的是'''互信息'''（mutual Information，MI）。对于两个随机变量，互信息度量了两者间相互依赖的程度（成对关系）。具体来说，互信息测量了一个随机变量由于已知另一个随机变量而减少的“信息量”。离散随机变量<math>X</math>和 <math>Y</math>的互信息可以计算为：
<math> \operatorname{I}(X; Y) = \sum_{y \in \mathcal Y} \sum_{x \in \mathcal X}
{ P_{(X,Y)}(x, y) \log\left(\frac{P_{(X,Y)}(x, y)}{P_X(x)\,P_Y(y)}\right) }</math>
{{NumBlk|2=<math>
{{NumBlk|2=<math>