463
个编辑
更改
跳到导航
跳到搜索
第211行：
第211行： − + 第227行：
第227行： − 如果熵<math>H(Y)</math>被看作是对一个随机变量的不确定性的度量，那么<math>H(Y|X)</math>是对 <math>X</math>没有对<math>Y</math>进行说明的度量。这是“<math>X</math>已知后<math>Y</math>剩余的不确定性量” ，因此，第二个等式的右边可以被解读为“数学 y / 数学中的不确定性量，减去数学 y / 数学中的不确定性量，在数学 x / 数学已知后仍然存在的不确定性量” ，这相当于“数学 y / 数学中的不确定性量，通过知道数学 x / 数学而去除”。这证实了互信息的直观含义，即知道任何一个变量提供的关于另一个变量的信息量(即不确定性的减少)。+ − 直观地说，如果熵𝐻（𝑌）被视为随机变量不确定性的度量，那么𝐻（𝑌|𝑋）是对𝑋没有说明𝑌的程度的度量。这是“已知𝑋后，关于𝑌剩余的不确定性是多少”，因此这些等式中第二个等式的右侧可以解读为“𝑌中的不确定性量，减去已知𝑋后仍然存在的不确定度量”，相当于“已知后消除的𝑌中的不确定性量𝑋"。这证实了互信息的直观含义，即了解其中一个变量提供的关于另一个变量的信息量（即不确定性的减少）。 − − 第236行：
第233行： − 注意，在离散情况下，𝐻（𝑋|𝑋）=0，因此𝐻（𝑋）=I（𝑋；𝑋）。因此，I（𝑋；𝑋）≥I（𝑋；𝑌），我们可以制定一个基本原则，即一个变量至少包含与任何其他变量所能提供的关于自身的信息一样多。+
→条件熵与联合熵的关系 Relation to conditional and joint entropy
[[文件:MI pic5.png|居中|缩略图]]
[[文件:MI pic5.png|居中]]
Intuitively, if entropy 𝐻(𝑌) is regarded as a measure of uncertainty about a random variable, then 𝐻(𝑌|𝑋) is a measure of what 𝑋 does not say about 𝑌. This is "the amount of uncertainty remaining about 𝑌 after 𝑋 is known", and thus the right side of the second of these equalities can be read as "the amount of uncertainty in 𝑌, minus the amount of uncertainty in 𝑌 which remains after 𝑋 is known", which is equivalent to "the amount of uncertainty in 𝑌 which is removed by knowing 𝑋". This corroborates the intuitive meaning of mutual information as the amount of information (that is, reduction in uncertainty) that knowing either variable provides about the other.
Intuitively, if entropy 𝐻(𝑌) is regarded as a measure of uncertainty about a random variable, then 𝐻(𝑌|𝑋) is a measure of what 𝑋 does not say about 𝑌. This is "the amount of uncertainty remaining about 𝑌 after 𝑋 is known", and thus the right side of the second of these equalities can be read as "the amount of uncertainty in 𝑌, minus the amount of uncertainty in 𝑌 which remains after 𝑋 is known", which is equivalent to "the amount of uncertainty in 𝑌 which is removed by knowing 𝑋". This corroborates the intuitive meaning of mutual information as the amount of information (that is, reduction in uncertainty) that knowing either variable provides about the other.
理论上来说，如果熵<math>H(Y)</math>被视为随机变量不确定性的度量，那么<math>H(Y|X)</math>则是对<math>X</math>没有说明<math>Y</math>的程度的度量。也就是“已知<math>X</math>后，关于<math>Y</math>剩余的不确定性”的度量，因此这些等式中第二个等式的右侧可以解读为“<math>Y</math>中的不确定性量，减去已知<math>X</math>后仍然存在的不确定性的量”，相当于“已知后消除的<math>Y</math>中的不确定性量”<math>X</math>".这证实了相互信息的直观含义就是了解其中一个变量提供的关于另一个变量的信息量（即不确定性的减少程度）。
注意，在离散情况下，<math>H(X|X) = 0</math>，因此<math>H(X) = \operatorname{I}(X;X)</math>。所以，<math>\operatorname{I}(X; X) \ge \operatorname{I}(X; Y)</math>，据此我们可以得到一个基本原则，那就是一个变量至少包含与任何其他变量所能提供的关于自身的信息量的这么多信息。
=== 与Kullback-Leibler散度的关系 Relation to Kullback–Leibler divergence ===
=== 与Kullback-Leibler散度的关系 Relation to Kullback–Leibler divergence ===