216
个编辑
更改
→条件熵
当<math>X</math>是密度函数为<math>p(x)</math>的连续型随机变量时,其信息熵的定义式为
<math>H(X) = - \int p(x)\log p(x)\mathrm{d}x </math>。
=== [[联合熵]] ===
对多元离散随机变量组<math>{X_1，X_2,\dots, X_n}</math>构成的整体，可相应地定义表征多元随机变量整体不确定性的联合熵<math>H(X_1,X_2,\dots,X_n) = -\sum_{(x_1,x_2,\dots ,x_n)}p(x_1,x_2,\dots,x_n)\log p(x_1,x_2,\dots,x_n) \quad {（x_1,x_2,\dots,x_n)\in | \Omega(X_1,X_2,\dots,X_n)\} </math>。
其中<math>\Omega(X_1，X_2,\dots, X_n)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n</math>为样本空间中元素，对应一组特定的随机变量取值。
而<math>p(x_1,x_2,\dot,x_n)</math>为随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n</math>时的联合概率。
当多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>是具有联合密度函数为<math>p(x_1,x_2,\dots,x_n)</math>的连续型随机变量组时，其联合熵的定义由下式给出:
<math>H(X_1,X_2,\dots,X_n) = -\int\int\dots \int p(x_1,x_2,\dots,x_n)\log p(x_1,x_2,\dots,x_n) \mathrm{d}x_1 \mathmr{d}x_2 \dots \mathrm{d}x_n </math>。
=== [[条件熵]] ===
利用条件概率，可对多元离散型随机变量组<math>{X_1，X_2,\dots, X_n,Y}</math>定义条件熵<math>H(X_1,X_2,\dots,X_n | Y) = - \sum_{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y)</math>
其中<math>\Omega(X_1，X_2,\dots, X_n,Y)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n,Y</math>为样本空间中元素，对应一组特定的随机变量取值。
而<math>p(x_1,x_2,\dot,x_n,y)</math>为随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n,Y =y</math>时的联合概率，<math>p(x_1,x_2,\dot,x_n)</math>为随机变量<math>Y=y</math>条件下,随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n</math>的条件概率。
当多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>是具有联合密度函数为<math>p(x_1,x_2,\dots,x_n)</math>、条件密度函数<math>p(x_1,x_2\dots,x_n|y)</math>为的连续型随机变量组时，其条件的定义由下式给出:
<math>H(X_1,X_2,\dots,X_n | Y) = - \int\int\dots \int _{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y) \mathrm{d}x_1 \mathrm{d}x_2 \dots \mathrm{d}x_n \mathrm{d}y</math>
从定义容易推出，条件熵、联合熵与信息熵之间具有如下关系
<math>H(X_1,X_2,\dots,X_n | Y) = H(X_1,X_2,\dots,X_n,Y)-H(Y)</math>
<math>H(X_1,X_2,\dots,X_n | Y) = H(X_1,X_2,\dots,X_n,Y)-H(Y)</math>
条件熵表征了当随机变量<math>Y</math>中事件发生后,余下随机变量构成整体的不确定度。下面，集智百科会利用条件熵定义互信息。
条件熵表征了当随机变量<math>Y</math>中事件发生后，余下随机变量构成整体的不确定度。下面，我们会利用条件熵定义互信息。
=== [[互信息]] ===
=== [[互信息]] ===
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的[[互信息]]<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的[[互信息]]<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
<math>I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
<math>I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
<math>= H_X+H_Y - H_{XY}</math>
<math>= H_X+H_Y - H_{XY}</math>
其中<math>p_(XY)(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_(X)(x_i),p_(Y)(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>单独发生的概率
当<math>X,Y</math>为两个概率密度函数分别为<math>p_X(x),p_Y(y)</math>且联合分布为<math>p_XY(x,y)</math>的连续型随机变量时，此时相应的互信息定义式为
<math>I(X;Y)
=\int\int p_{XY}(x,y)\log_2\left(\frac{p_{XY}(x,y)}{p_X(x)p_{Y}(y)}\right) \mathrm{d}x\mathrm{d}y</math>
同样有:
<math>I(X:Y)= H_X+H_Y - H_{XY}</math>
利用[[Kullback-Leibler散度|Kullback-Leibler散度<math>(D_{\mathrm{KL}}</math>]]，两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>。
我们发现，[[Kullback-Leibler散度|在Kullback-Leibler散度]]的视角下，两个变量间的[[互信息]]度量的是它们二元联合分布偏离它们完全独立时构成的联合分布的程度，无法精细地区分多源情形中的[[冗余信息原子|冗余]]、[[特有信息原子|特有]]和[[协同信息原子|协同]]贡献。
=== 条件互信息 ===
=== [[条件互信息]] ===
对照[[互信息]]的意义，可类似地定义[[条件互信息]]，[[条件互信息]]刻画了有第三方变量的约束情况时，两个变量的关联情况，其定义如下：
对照[[互信息]]的意义，可类似地定义[[条件互信息]]，[[条件互信息]]刻画了有第三方变量的约束情况时，两个变量的关联情况，其定义如下：