235
个编辑
更改
→定义
<math>
<math>
S_{WMS}(S:X;Y) = MI(S:X,Y) - MI(S:X) - MI(S:Y)
S_{WMS}(S:X;Y) = MI(S:X,Y) - MI(S:X) - MI(S:Y)
= MI(S: Y|X) - MI(S:Y)
= MI(S: Y|X) - MI(S:Y)
= -H(S,Y,X) + H(X,Y) + H(S,X) + H(S,Y)- H(S) - H(X) - H(Y)
= -H(S,Y,X) + H(X,Y) + H(S,X) + H(S,Y)- H(S) - H(X) - H(Y)
= -CoI(S,X,Y)
= -CoI(S,X,Y)
</math>
</math>
MI(S:X,Y)：两个变量X、Y合在一起对目标S的联合互信息
MI(S:X,Y)：两个变量X、Y合在一起对目标S的联合互信息
MI(S:X)：X单独对S的互信息
MI(S:X)：X单独对S的互信息
MI(S:Y)：Y单独对S的互信息
MI(S:Y)：Y单独对S的互信息
<math>H = - \sum_{i} p_i \log_2 (p_i)</math>
两个离散随机变量的互信息为：
<math>MI(X:Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}
</math>
条件互信息相应地定义为：
<math>MI(X:YZ) = \sum_{x,y,z} p(x,y z)p(z) \log \frac{p(x,y z)}{p(x z)p(y
z)}
</math>
离散随机变量 X 的熵定义为：
<math>H(X) = -\sum_x p(x) \log p(x)
</math>
对于连续随机变量，没有规范的熵函数。取而代之的是微分熵，它是相对于某个参考测度 \mathrm{d}x 计算的：
H(X) = -\int_x p(x) \log p(x) \mathrm{d}x
其中 p 现在表示 X 相对于 \mathrm{d}x 的概率密度。取勒贝格测度，具有协方差矩阵 \Sigma_X 的 m 维高斯随机向量的熵由下式给出：
H(X) = \frac{1}{2} \log \Sigma_X
+ \frac{1}{2} m \log(2\pi e)
其中 $\Sigma_X
表示 \Sigma_X 的行列式。这种熵在坐标变换下不是不变的。事实上，如果 A \in \mathbb{R}^{m \times m}，那么 AX 的协方差矩阵由 A\Sigma_X A^t 给出，因此 AX$ 的熵为：
H(AX) = H(X) + \log A
相比之下，连续随机变量的互信息不依赖于参考测度的选择。关系 MI(X:Y) = H(X) + H(Y) - H(X,Y) 表明，对于具有协方差矩阵 \Sigma_X、\Sigma_Y 且联合多元高斯分布的联合协方差矩阵为 \Sigma_{X,Y} 的高斯随机向量，
MI(X:Y) = \frac{1}{2} \log \frac{\Sigma_X \cdot \Sigma_Y }{ \Sigma_{X,Y}
}
并且很容易直接验证，这与 X 和 Y 的线性变换无关（当然，在这里，不应该对混合了 X 和 Y 分量的总向量 (X,Y) 应用线性变换）。
定义2：信息分解定义（互补信息−共享信息，公式8）
定义2：信息分解定义（互补信息−共享信息，公式8）