235
个编辑
更改
跳到导航
跳到搜索
第18行：
第18行： + − + 第34行：
第35行： − − <math>H = - \sum_{i} p_i \log_2 (p_i)</math> 第53行：
第52行： − + − + + + − + − + − 表示 \Sigma_X 的行列式。这种熵在坐标变换下不是不变的。事实上，如果 A \in \mathbb{R}^{m \times m}，那么 AX 的协方差矩阵由 A\Sigma_X A^t 给出，因此 AX$ 的熵为：+ − + − + − 相比之下，连续随机变量的互信息不依赖于参考测度的选择。关系 MI(X:Y) = H(X) + H(Y) - H(X,Y) 表明，对于具有协方差矩阵 \Sigma_X、\Sigma_Y 且联合多元高斯分布的联合协方差矩阵为 \Sigma_{X,Y} 的高斯随机向量，+ + + − +
→定义
定义1：(互信息差值定义）
定义1：(互信息差值定义）
<math>
<math>
S_{WMS}(S:X;Y) = MI(S:X,Y) - MI(S:X) - MI(S:Y)
S_{WMS}(S:X;Y) = MI(S:X,Y) - MI(S:X) - MI(S:Y)
</math>
</math>
<math = MI(S: Y|X) - MI(S:Y)
<math> = MI(S: Y|X) - MI(S:Y)
= -H(S,Y,X) + H(X,Y) + H(S,X) + H(S,Y)- H(S) - H(X) - H(Y)
= -H(S,Y,X) + H(X,Y) + H(S,X) + H(S,Y)- H(S) - H(X) - H(Y)
MI(S:Y)：Y单独对S的互信息
MI(S:Y)：Y单独对S的互信息
<math>H(X) = -\int_x p(x) \log p(x) \mathrm{d}x
<math>H(X) = -\int_x p(x) \log p(x) \mathrm{d}x
</math>
</math>
其中 p 现在表示 X 相对于 \mathrm{d}x 的概率密度。取勒贝格测度，具有协方差矩阵 \Sigma_X 的 m 维高斯随机向量的熵由下式给出：
其中 p 现在表示 X 相对于 <math>\mathrm{d}x </math>的概率密度。
H(X) = \frac{1}{2} \log \Sigma_X
取勒贝格测度，具有协方差矩阵 <math>\Sigma_X</math> 的 m 维高斯随机向量的熵由下式给出：
<math>H(X) = \frac{1}{2} \log \Sigma_X
+ \frac{1}{2} m \log(2\pi e)
+ \frac{1}{2} m \log(2\pi e)
</math>
其中 $\Sigma_X
其中 <math>$\Sigma_X </math>
表示 <math>\Sigma_X</math> 的行列式。这种熵在坐标变换下不是不变的。事实上，如果 <math>A \in \mathbb{R}^{m \times m}</math>，那么 AX 的协方差矩阵由 <math>A\Sigma_X A^t </math>给出，因此 AX$ 的熵为：
H(AX) = H(X) + \log A
<math>H(AX) = H(X) + \log A
</math>
相比之下，连续随机变量的互信息不依赖于参考测度的选择。
关系 MI(X:Y) = H(X) + H(Y) - H(X,Y) 表明，对于具有协方差矩阵 <math>\Sigma_X、\Sigma_Y</math> 且联合多元高斯分布的联合协方差矩阵为 <math>\Sigma_{X,Y}</math> 的高斯随机向量，
<math>
MI(X:Y) = \frac{1}{2} \log \frac{\Sigma_X \cdot \Sigma_Y }{ \Sigma_{X,Y}
MI(X:Y) = \frac{1}{2} \log \frac{\Sigma_X \cdot \Sigma_Y }{ \Sigma_{X,Y}
}
}
</math>
并且很容易直接验证，这与 X 和 Y 的线性变换无关（当然，在这里，不应该对混合了 X 和 Y 分量的总向量 (X,Y) 应用线性变换）。
并且很容易直接验证，这与 X 和 Y 的线性变换无关（当然，在这里，不应该对混合了 X 和 Y 分量的总向量 (X,Y) 应用线性变换）。