[[File:Entropy-mutual-information-relative-entropy-relation-diagram.svg|thumb|256px|right|[[Venn diagram]] showing additive and subtractive relationships various information measures associated with correlated variables <math>X</math> and <math>Y</math>. The area contained by both circles is the [[joint entropy 这里的维恩图显示了各种信息间的交并补运算关系关系,这些信息都可以用来度量变量<math>X</math>和<math>Y</math>的各种相关性。图中所有面积(包括两个圆圈)表示二者的<font color="#ff8000"> '''联合熵 Joint entropy'''</font><math>H(X,Y)</math>。左侧的整个圆圈表示变量<math>X</math>的<font color="#ff8000"> '''独立熵 Individual entropy'''</font><math>H(X)</math>,红色(差集)部分表示X的<font color="#ff8000"> '''条件熵 Conditional entropy'''</font><math>H(X|Y)</math>。右侧的整个圆圈表示变量<math>Y</math>的独立熵<math>H(Y)</math>,蓝色(差集)部分表示X的条件熵<math>H(Y|X)</math>。两个圆中间的交集部分(紫色的部分)表示二者的<font color="#ff8000">'''互信息 Mutual information,MI'''</font><math>\operatorname{I}(X;Y)</math>)。]] | [[File:Entropy-mutual-information-relative-entropy-relation-diagram.svg|thumb|256px|right|[[Venn diagram]] showing additive and subtractive relationships various information measures associated with correlated variables <math>X</math> and <math>Y</math>. The area contained by both circles is the [[joint entropy 这里的维恩图显示了各种信息间的交并补运算关系关系,这些信息都可以用来度量变量<math>X</math>和<math>Y</math>的各种相关性。图中所有面积(包括两个圆圈)表示二者的<font color="#ff8000"> '''联合熵 Joint entropy'''</font><math>H(X,Y)</math>。左侧的整个圆圈表示变量<math>X</math>的<font color="#ff8000"> '''独立熵 Individual entropy'''</font><math>H(X)</math>,红色(差集)部分表示X的<font color="#ff8000"> '''条件熵 Conditional entropy'''</font><math>H(X|Y)</math>。右侧的整个圆圈表示变量<math>Y</math>的独立熵<math>H(Y)</math>,蓝色(差集)部分表示X的条件熵<math>H(Y|X)</math>。两个圆中间的交集部分(紫色的部分)表示二者的<font color="#ff8000">'''互信息 Mutual information,MI'''</font><math>\operatorname{I}(X;Y)</math>)。]] |