463
个编辑
更改
跳到导航
跳到搜索
第178行：
第178行： − + 第207行：
第207行： − 因为I（X；Y）是非负的，因此H（X）>=H（X|Y）。这里我们给出了联合离散随机变量情形下结论I（X;Y）=H（Y）-H（Y | X）的详细推导过程：+ 第226行：
第226行： − 如果熵H (Y)被看作是对一个随机变量的不确定性的度量，那么<math>H(Y|X)</math>是对 <math>X</math>没有对<math>Y</math>进行说明的度量。这是“<math>X</math>已知后<math>Y</math>剩余的不确定性量” ，因此，第二个等式的右边可以被解读为“数学 y / 数学中的不确定性量，减去数学 y / 数学中的不确定性量，在数学 x / 数学已知后仍然存在的不确定性量” ，这相当于“数学 y / 数学中的不确定性量，通过知道数学 x / 数学而去除”。这证实了互信息的直观含义，即知道任何一个变量提供的关于另一个变量的信息量(即不确定性的减少)。+
→条件熵与联合熵的关系 Relation to conditional and joint entropy
其中<math>H(X)</math>和<math>H(Y)</math>是'''边际熵 Marginal entropy'''，<math>H(X|Y)</math>和<math>H(Y|X)</math>表示'''条件熵 Conditional entropy'''，<math>H(X,Y)</math>是<math>X</math>和<math>Y</math>的'''联合熵 Joint entropy'''。
其中<math>H(X)</math>和<math>H(Y)</math>是'''<font color="#ff8000">边际熵 Marginal entropy</font>'''，<math>H(X|Y)</math>和<math>H(Y|X)</math>表示'''<font color="#ff8000">条件熵 Conditional entropy</font>'''，<math>H(X,Y)</math>是<math>X</math>和<math>Y</math>的'''<font color="#ff8000">联合熵 Joint entropy</font>'''。
因为<math>\operatorname{I}(X;Y)</math>是非负的，因此<math>H(X) \ge H(X|Y)</math。这里我们给出了联合离散随机变量情形下结论<math>\operatorname{I}(X;Y)=H(Y)-H(Y|X)</math>的详细推导过程：
如果熵<math>H(Y)</math>被看作是对一个随机变量的不确定性的度量，那么<math>H(Y|X)</math>是对 <math>X</math>没有对<math>Y</math>进行说明的度量。这是“<math>X</math>已知后<math>Y</math>剩余的不确定性量” ，因此，第二个等式的右边可以被解读为“数学 y / 数学中的不确定性量，减去数学 y / 数学中的不确定性量，在数学 x / 数学已知后仍然存在的不确定性量” ，这相当于“数学 y / 数学中的不确定性量，通过知道数学 x / 数学而去除”。这证实了互信息的直观含义，即知道任何一个变量提供的关于另一个变量的信息量(即不确定性的减少)。
直观地说，如果熵𝐻（𝑌）被视为随机变量不确定性的度量，那么𝐻（𝑌|𝑋）是对𝑋没有说明𝑌的程度的度量。这是“已知𝑋后，关于𝑌剩余的不确定性是多少”，因此这些等式中第二个等式的右侧可以解读为“𝑌中的不确定性量，减去已知𝑋后仍然存在的不确定度量”，相当于“已知后消除的𝑌中的不确定性量𝑋"。这证实了互信息的直观含义，即了解其中一个变量提供的关于另一个变量的信息量（即不确定性的减少）。
直观地说，如果熵𝐻（𝑌）被视为随机变量不确定性的度量，那么𝐻（𝑌|𝑋）是对𝑋没有说明𝑌的程度的度量。这是“已知𝑋后，关于𝑌剩余的不确定性是多少”，因此这些等式中第二个等式的右侧可以解读为“𝑌中的不确定性量，减去已知𝑋后仍然存在的不确定度量”，相当于“已知后消除的𝑌中的不确定性量𝑋"。这证实了互信息的直观含义，即了解其中一个变量提供的关于另一个变量的信息量（即不确定性的减少）。