235
个编辑
更改
→定义
离散随机变量的互信息 定义为：
<math>MI(X:Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}
<math>MI(X:Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}
</math>
</math>
离散随机变量的条件互信息 定义为：
<math>MI(X:Y|Z) = \sum_{x,y,z} p(x,y|z)p(z) \log \frac{p(x,y|z)}{p(x|z)p(y|z)}
<math>MI(X:Y|Z) = \sum_{x,y,z} p(x,y|z)p(z) \log \frac{p(x,y|z)}{p(x|z)p(y|z)}
</math>
</math>
离散随机变量的熵 定义为：
<math>H(X) = -\sum_x p(x) \log p(x)
<math>H(X) = -\sum_x p(x) \log p(x)
</math>
</math>
连续随机变量的微分熵 定义为：
<math>H(X) = -\int_x p(x) \log p(x) \mathrm{d}x
<math>H(X) = -\int_x p(x) \log p(x) \mathrm{d}x
</math>
</math>
其中 p 现在表示 X 相对于 <math>\mathrm{d}x </math>的概率密度。
其中 p 现在表示 X 相对于 <math>\mathrm{d}x </math>的概率密度。
取勒贝格测度，具有协方差矩阵 <math>\Sigma_X</math> 的 m 维高斯随机向量的熵由下式给出：
取勒贝格测度，具有协方差矩阵 <math>\Sigma_X</math> 的 m 维高斯随机向量的熵 定义为：
<math>H(X) = \frac{1}{2} \log \Sigma_X
<math>H(X) = \frac{1}{2} \log ｜\Sigma_X｜
+ \frac{1}{2} m \log(2\pi e)
+ \frac{1}{2} m \log(2\pi e)
</math>
</math>
其中 <math>$\Sigma_X </math>
表示 <math>\Sigma_X</math> 的行列式。这种熵在坐标变换下不是不变的。事实上，如果 <math>A \in \mathbb{R}^{m \times m}</math>，那么 AX 的协方差矩阵由 <math>A\Sigma_X A^t </math>给出，因此 AX$ 的熵为：
其中 <math>｜\Sigma_X｜ </math>表示 <math>\Sigma_X</math> 的行列式。
<math>H(AX) = H(X) + \log A
这种熵在坐标变换下不是不变的。
事实上，如果 <math>A \in \mathbb{R}^{m \times m}</math>，那么 AX 的协方差矩阵由 <math>A\Sigma_X A^t </math>给出，因此 AX 的熵为：
<math>H(AX)= H(X) + ｜\log A｜
</math>
</math>
相比之下，连续随机变量的互信息不依赖于参考测度的选择。
相比之下，连续随机变量的互信息不依赖于参考测度的选择。
关系 MI(X:Y) = H(X) + H(Y) - H(X,Y) 表明，对于具有协方差矩阵 <math>\Sigma_X、\Sigma_Y</math> 且联合多元高斯分布的联合协方差矩阵为 <math>\Sigma_{X,Y}</math> 的高斯随机向量，
关系 MI(X:Y) = H(X) + H(Y) - H(X,Y) 表明，对于具有协方差矩阵 <math>\Sigma_X、\Sigma_Y</math> 且联合多元高斯分布的联合协方差矩阵为 <math>\Sigma_{X,Y}</math> 的高斯随机向量，
<math>
<math>
MI(X:Y) = \frac{1}{2} \log \frac{\Sigma_X \cdot \Sigma_Y }{ \Sigma_{X,Y}
MI(X:Y) = \frac{1}{2} \log \frac{｜\Sigma_X｜\cdot｜\Sigma_Y｜ }{ ｜\Sigma_{X,Y}｜
}
}
</math>
</math>
并且很容易直接验证，这与 X 和 Y 的线性变换无关（当然，在这里，不应该对混合了 X 和 Y 分量的总向量 (X,Y) 应用线性变换）。
并且很容易直接验证，这与 X 和 Y 的线性变换无关（当然，在这里，不应该对混合了 X 和 Y 分量的总向量 (X,Y) 应用线性变换）。