更改

取勒贝格测度，具有协方差矩阵 <math>\Sigma_X</math> 的 m 维高斯随机向量的熵 定义为：

取勒贝格测度，具有协方差矩阵 <math>\Sigma_X</math> 的 m 维高斯随机向量的熵 定义为：

<math>H(X) = \frac{1}{2} \log ｜\Sigma_X｜

<math>H(X) = \frac{1}{2} \log |\Sigma_X|

  + \frac{1}{2} m \log(2\pi e)

  + \frac{1}{2} m \log(2\pi e)

</math>

</math>

其中 <math>｜\Sigma_X｜ </math>表示 <math>\Sigma_X</math> 的行列式。

其中 <math>|\Sigma_X| </math>表示 <math>\Sigma_X</math> 的行列式。

这种熵在坐标变换下不是不变的。

这种熵在坐标变换下不是不变的。

事实上，如果 <math>A \in \mathbb{R}^{m \times m}</math>，那么 AX 的协方差矩阵由 <math>A\Sigma_X A^t </math>给出，因此 AX 的熵为：

事实上，如果 <math>A \in \mathbb{R}^{m \times m}</math>，那么 AX 的协方差矩阵由 <math>A\Sigma_X A^t </math>给出，因此 AX 的熵为：

<math>H(AX)= H(X) + ｜\log A｜

<math>H(AX)= H(X) + \log|A|

</math>

</math>

关系 MI(X:Y) = H(X) + H(Y) - H(X,Y) 表明，对于具有协方差矩阵 <math>\Sigma_X、\Sigma_Y</math> 且联合多元高斯分布的联合协方差矩阵为 <math>\Sigma_{X,Y}</math> 的高斯随机向量，

关系 MI(X:Y) = H(X) + H(Y) - H(X,Y) 表明，对于具有协方差矩阵 <math>\Sigma_X、\Sigma_Y</math> 且联合多元高斯分布的联合协方差矩阵为 <math>\Sigma_{X,Y}</math> 的高斯随机向量，

<math>

<math>

MI(X:Y) = \frac{1}{2} \log \frac{｜\Sigma_X｜\cdot｜\Sigma_Y｜ }{ ｜\Sigma_{X,Y}｜

MI(X:Y) = \frac{1}{2} \log \frac{|\Sigma_X|\cdot |\Sigma_Y| }{ |\Sigma_{X,Y}|

}

}

</math>

</math>