更改

==定义 ==

==定义 ==

联合熵Shannon entropy </font>'''的定义是：以比特为单位，对于具有<math>\mathcal X</math>和<math>\mathcal Y</math>的两个离散随机变量函数<math>X</math>和<math>Y</math>'''有<ref name=cover1991>{{cite book |author1=Thomas M. Cover |author2=Joy A. Thomas |title=Elements of Information Theory |publisher=Wiley |location=Hoboken, New Jersey |year= |isbn=0-471-24195-4}}</ref>

'''联合熵Shannon entropy '''的定义是：以比特为单位，对于具有<math>\mathcal X</math>和<math>\mathcal Y</math>的两个离散随机变量函数<math>X</math>和<math>Y</math>'''有<ref name=cover1991>{{cite book |author1=Thomas M. Cover |author2=Joy A. Thomas |title=Elements of Information Theory |publisher=Wiley |location=Hoboken, New Jersey |year= |isbn=0-471-24195-4}}</ref>

{{Equation box 1

{{Equation box 1

== 与其他熵测度的关系 ==

== 与其他熵测度的关系 ==

联合熵被用于定义'''<font color="#ff8000"> 条件熵Conditional entropy </font>'''：

联合熵被用于定义'''条件熵'''：

 

:<math>H(X|Y) = H(X,Y) - H(Y)\,</math>,

:<math>H(X|Y) = H(X,Y) - H(Y)\,</math>,

and <math display="block">H(X_1,\dots,X_n) = \sum_{k=1}^n H(X_k|X_{k-1},\dots, X_1)</math>

and <math display="block">H(X_1,\dots,X_n) = \sum_{k=1}^n H(X_k|X_{k-1},\dots, X_1)</math>

它也被用于定义'''<font color="#ff8000"> 交互信息Mutual information</font>'''：

它也被用于定义'''交互信息'''：

:<math>\operatorname{I}(X;Y) = H(X) + H(Y) - H(X,Y)\,</math>

:<math>\operatorname{I}(X;Y) = H(X) + H(Y) - H(X,Y)\,</math>

In [[quantum information theory]], the joint entropy is generalized into the [[joint quantum entropy]].

In [[quantum information theory]], the joint entropy is generalized into the [[joint quantum entropy]].

在'''<font color="#ff8000"> 量子信息论Quantum information theory</font>'''中，使用的是广义化的联合熵，即'''<font color="#ff8000"> 联合量子熵Joint quantum entropy</font>'''。

在'''量子信息论'''中，使用的是广义化的联合熵，即'''联合量子熵'''。

===定义 ===

===定义 ===

上文中的定义是针对离散随机变量的，而其实对于连续随机变量，联合熵同样成立。离散联合熵的连续形式称为联合微分（或连续）熵。令<math>X</math>和<math>Y</math>分别为具有'''<font color="#ff8000"> 联合概率密度函数Joint probability density function</font>''' <math>f(x,y)</math>的连续随机变量，那么微分联合熵<math>h(X,Y)</math>定义为：

上文中的定义是针对离散随机变量的，而其实对于连续随机变量，联合熵同样成立。离散联合熵的连续形式称为联合微分（或连续）熵。令<math>X</math>和<math>Y</math>分别为具有'''联合概率密度函数''' <math>f(x,y)</math>的连续随机变量，那么微分联合熵<math>h(X,Y)</math>定义为：

{{Equation box 1

{{Equation box 1

:<math>\operatorname{I}(X,Y)=h(X)+h(Y)-h(X,Y)</math>

:<math>\operatorname{I}(X,Y)=h(X)+h(Y)-h(X,Y)</math>

==参考文献 ==

 

 

==参考文献==

{{Reflist}}

{{Reflist}}

[[de:Bedingte Entropie#Blockentropie]]

[[File:熵和信息.jpg|400px|thumb|]]

 

 

 

[[Category:熵和信息]]