更改

====条件熵的计算====

====条件熵的计算====

假设在给定 <math>X</math> 后，输出 <math>Y</math> 服从条件高斯分布

条件熵 <math>H(Y\mid X)</math> 表示在已知 <math>X</math> 的条件下 <math>Y</math> 的不确定性。对于我们假设的条件高斯分布，其条件熵可通过下式计算：

<math> p(Y|X)=\frac{1}{\sqrt{(2\pi)^m|\Sigma|}}\exp\Biggl(-\frac{1}{2}(Y-\mu(X))^T\Sigma^{-1}(Y-\mu(X))\Biggr), </math>

<math> H(Y\mid X) = \frac{1}{2} \ln\Bigl((2\pi e)^m\,|\Sigma|\Bigr) </math>

 

<math>2\pi e</math> 是常数因子，来源于高斯分布积分的结果；

<math> H(Y|X)=\frac{1}{2}\ln\Bigl((2\pi e)^m|\Sigma|\Bigr) =\frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)+\frac{1}{2}\ln|\Sigma|. </math>

<math>m</math> 表示输出的维度，说明每个维度都对熵有贡献；

<math>|\Sigma|</math> 反映了协方差矩阵的“体积”，体积越大表示不确定性越高。

<math> H(Y\mid X) = \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr) + \frac{1}{2}\ln|\Sigma| </math>

====边际熵的近似====

====边际熵的近似====