5,443
个编辑
更改
跳到导航
跳到搜索
第134行：
第134行： − 对于条件概率 <math>p(Y|X)</math>，高斯分布的条件熵为+ + + + +
→条件熵的计算
====条件熵的计算====
====条件熵的计算====
假设在给定 <math>X</math> 后，输出 <math>Y</math> 服从条件高斯分布
<math> p(Y|X)=\frac{1}{\sqrt{(2\pi)^m|\Sigma|}}\exp\Biggl(-\frac{1}{2}(Y-\mu(X))^T\Sigma^{-1}(Y-\mu(X))\Biggr), </math>
则条件熵为
<math> H(Y|X)=\frac{1}{2}\ln\Bigl((2\pi e)^m|\Sigma|\Bigr) =\frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)+\frac{1}{2}\ln|\Sigma|. </math>
<math> H(Y|X)=\frac{1}{2}\ln\Bigl((2\pi e)^m|\Sigma|\Bigr) =\frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)+\frac{1}{2}\ln|\Sigma|. </math>