463
个编辑
更改
跳到导航
跳到搜索
第224行：
第224行： − 直观地说，如果熵H (Y)被看作是对一个随机变量的不确定性的度量，那么<math>H(Y|X)</math>是对 <math>X</math>没有对<math>Y</math>进行说明的度量。这是“<math>X</math>已知后<math>Y</math>剩余的不确定性量” ，因此，第二个等式的右边可以被解读为“数学 y / 数学中的不确定性量，减去数学 y / 数学中的不确定性量，在数学 x / 数学已知后仍然存在的不确定性量” ，这相当于“数学 y / 数学中的不确定性量，通过知道数学 x / 数学而去除”。这证实了互信息的直观含义，即知道任何一个变量提供的关于另一个变量的信息量(即不确定性的减少)。+ − + 第233行：
第233行： − 注意，在离散情况下 math Eta (x | x)0 / math，因此 math Eta (x) operatorname { i }(x; x) / math。因此 math operatorname { i }(x; x) ge operatorname { i }(x; y) / math，我们可以公式化这样一个基本原则，即一个变量包含的关于它自身的信息至少与任何其他变量所能提供的信息一样多。+
→条件熵与联合熵的关系 Relation to conditional and joint entropy
如果熵H (Y)被看作是对一个随机变量的不确定性的度量，那么<math>H(Y|X)</math>是对 <math>X</math>没有对<math>Y</math>进行说明的度量。这是“<math>X</math>已知后<math>Y</math>剩余的不确定性量” ，因此，第二个等式的右边可以被解读为“数学 y / 数学中的不确定性量，减去数学 y / 数学中的不确定性量，在数学 x / 数学已知后仍然存在的不确定性量” ，这相当于“数学 y / 数学中的不确定性量，通过知道数学 x / 数学而去除”。这证实了互信息的直观含义，即知道任何一个变量提供的关于另一个变量的信息量(即不确定性的减少)。
直观地说，如果熵𝐻（𝑌）被视为随机变量不确定性的度量，那么𝐻（𝑌|𝑋）是对𝑋没有说明𝑌的程度的度量。这是“已知𝑋后，关于𝑌剩余的不确定性是多少”，因此这些等式中第二个等式的右侧可以解读为“𝑌中的不确定性量，减去已知𝑋后仍然存在的不确定度量”，相当于“已知后消除的𝑌中的不确定性量𝑋"。这证实了互信息的直观含义，即了解其中一个变量提供的关于另一个变量的信息量（即不确定性的减少）。
注意，在离散情况下，𝐻（𝑋|𝑋）=0，因此𝐻（𝑋）=I（𝑋；𝑋）。因此，I（𝑋；𝑋）≥I（𝑋；𝑌），我们可以制定一个基本原则，即一个变量至少包含与任何其他变量所能提供的关于自身的信息一样多。
=== 与Kullback-Leibler散度的关系 Relation to Kullback–Leibler divergence ===
=== 与Kullback-Leibler散度的关系 Relation to Kullback–Leibler divergence ===