更改

[[文件:Mutual_Info.png|替代=|无框]]

[[文件:Mutual_Info.png|替代=|无框]]

给定一个离散随机变量 <math>X</math>，其取值于集合 <math>\mathcal{X}</math>，且服从 <math>p\colon \mathcal{X}\to[0, 1]</math> 分布，则熵为 <math display="block">\Eta(X) := -\sum_{x \in \mathcal{X}} p(x) \log p(x),</math> 其中 <math>\Sigma</math> 表示变量可能值的总和。<math>\log</math>  的底数（即 对数）的选择因应用不同而不同（通常采用2）。

给定一个离散随机变量 <math>X</math>，其取值于集合 <math>\mathcal{X}</math>，且服从 <math>p\colon \mathcal{X}\to[0, 1]</math> 分布，则熵为 <math display="block">\Eta(X) := -\sum_{x \in \mathcal{X}} p(x) \log p(x),</math> 其中 <math>\Sigma</math> 表示变量可能值的总和。<math>\log</math>  的底数通常采用2（比特，bit）。

与熵紧密相关的是'''互信息'''（mutual Information，MI）。对于两个随机变量，互信息度量了两者间相互依赖的程度（成对关系）。具体来说，互信息测量了一个随机变量由于已知另一个随机变量而减少的“信息量”。离散随机变量<math>X</math>和 <math>Y</math>的互信息可以计算为：

与熵紧密相关的是'''互信息'''（mutual Information，MI）。对于两个随机变量，互信息度量了两者间相互依赖的程度（成对关系）。具体来说，互信息测量了一个随机变量由于已知另一个随机变量而减少的“信息量”。离散随机变量<math>X</math>和 <math>Y</math>的互信息可以计算为：

     { P_{(X,Y)}(x, y) \log\left(\frac{P_{(X,Y)}(x, y)}{P_X(x)\,P_Y(y)}\right) }</math>

     { P_{(X,Y)}(x, y) \log\left(\frac{P_{(X,Y)}(x, y)}{P_X(x)\,P_Y(y)}\right) }</math>

其中 <math>P_{(X,Y)}</math> 是 <math>X</math> 和 <math>Y</math> 的 联合概率 ''mass'' 函数，并且<math>P_X</math> 和 <math>P_Y</math> 分别是 <math>X</math> 和 <math>Y</math> 的 边际概率 质量函数。

其中 <math>P_{(X,Y)}</math> 是 <math>X</math> 和 <math>Y</math> 的联合概率函数，并且<math>P_X</math> 和 <math>P_Y</math> 分别是 <math>X</math> 和 <math>Y</math> 的边际概率质量函数。

==== 部分信息分解 ====

==== 部分信息分解 ====