235
个编辑
更改
跳到导航
跳到搜索
第20行：
第20行： + − = MI(S: Y|X) - MI(S:Y)+ 第42行：
第43行： − + − 第50行：
第50行： − 对于连续随机变量，没有规范的熵函数。取而代之的是微分熵，它是相对于某个参考测度 \mathrm{d}x 计算的：+ − + − +
→定义
<math>
<math>
S_{WMS}(S:X;Y) = MI(S:X,Y) - MI(S:X) - MI(S:Y)
S_{WMS}(S:X;Y) = MI(S:X,Y) - MI(S:X) - MI(S:Y)
</math>
<math = MI(S: Y|X) - MI(S:Y)
= -H(S,Y,X) + H(X,Y) + H(S,X) + H(S,Y)- H(S) - H(X) - H(Y)
= -H(S,Y,X) + H(X,Y) + H(S,X) + H(S,Y)- H(S) - H(X) - H(Y)
条件互信息相应地定义为：
条件互信息相应地定义为：
<math>MI(X:YZ) = \sum_{x,y,z} p(x,y z)p(z) \log \frac{p(x,y z)}{p(x z)p(y
<math>MI(X:Y|Z) = \sum_{x,y,z} p(x,y|z)p(z) \log \frac{p(x,y|z)}{p(x|z)p(y|z)}
z)}
</math>
</math>
</math>
</math>
连续随机变量 X 的微分熵定义为：
H(X) = -\int_x p(x) \log p(x) \mathrm{d}x
<math>H(X) = -\int_x p(x) \log p(x) \mathrm{d}x
</math>
其中 p 现在表示 X 相对于 \mathrm{d}x 的概率密度。取勒贝格测度，具有协方差矩阵 \Sigma_X 的 m 维高斯随机向量的熵由下式给出：
其中 p 现在表示 X 相对于 \mathrm{d}x 的概率密度。取勒贝格测度，具有协方差矩阵 \Sigma_X 的 m 维高斯随机向量的熵由下式给出：
H(X) = \frac{1}{2} \log \Sigma_X
H(X) = \frac{1}{2} \log \Sigma_X