更改

在信息论中，'''熵'''（英语：entropy，又称'''信息熵'''、'''信源熵'''、'''平均自信息量'''）是接收的每条消息中包含的信息的平均量。这里的“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）

在信息论中，'''熵'''（英语：entropy，又称'''信息熵'''、'''信源熵'''、'''平均自信息量'''）是接收的每条消息中包含的信息的平均量。这里的“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）

[math]\Eta(X) = \sum_{i} {\mathrm{P}(x_i)\,\mathrm{I}(x_i)} = -\sum_{i} {\mathrm{P}(x_i) \log_b \mathrm{P}(x_i)},[/math]

在[[信息论]]中，[[随机变量]]的“熵”量化了与变量的潜在状态或可能结果相关的不确定性或信息的平均水平。考虑到所有潜在状态的概率分布，这衡量了描述变量状态所需的预期信息量。给定一个离散随机变量 <math>X</math>，其取值于集合 <math>\mathcal{X></math>，且服从 <math>p\colon \mathcal{X}\to[0, 1]</math> 分布，则熵为 <math display="block">\Eta(X) := -\sum_{x \in \mathcal{X}} p(x) \log p(x),</math> 其中 <math>\Sigma</math> 表示变量可能值的总和。<ref group="Note" name="Note01" /> <math>\log</math> 的底数（即 [[对数]]）的选择因应用不同而不同。

离散随机变量 X 和 Y 的互信息可以计算为：

离散随机变量 X 和 Y 的互信息可以计算为：{{Equation box 1

 

<nowiki>:</nowiki><nowiki><math> I(X;Y) = \sum_{y \in Y} \sum_{x \in X} </nowiki>

 

|equation = {{NumBlk||<math>

                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}

  \operatorname{I}(X; Y) = \sum_{y \in \mathcal Y} \sum_{x \in \mathcal X}

 

    { P_{(X,Y)}(x, y) \log\left(\frac{P_{(X,Y)}(x, y)}{P_X(x)\,P_Y(y)}\right) },

                              \right) }, \,\!

</math>

 

<nowiki></math></nowiki>

 

}}其中 <math>P_{(X,Y)></math> 是 <math>X</math> 和 <math>Y</math> 的 [[联合分布|联合概率 ''mass'' 函数]]，并且<math>P_X</math> 和 <math>P_Y</math> 分别是 <math>X</math> 和 <math>Y</math> 的 [[边际概率]] 质量函数。

其中 <nowiki>''</nowiki>p<nowiki>''</nowiki>(<nowiki>''</nowiki>x<nowiki>''</nowiki>, <nowiki>''</nowiki>y<nowiki>''</nowiki>) 是 <nowiki>''</nowiki>X<nowiki>''</nowiki> 和 <nowiki>''</nowiki>Y<nowiki>''</nowiki> 的联合概率质量函数，而 <nowiki><math>p(x)</math></nowiki> 和 <nowiki><math>p(y)</math></nowiki>  分别是 <nowiki>''</nowiki>X<nowiki>''</nowiki> 和 <nowiki>''</nowiki>Y<nowiki>''</nowiki> 的边缘概率质量函数。

==== 部分信息分解 ====

==== 部分信息分解 ====