7,129
个编辑
更改
跳到导航
跳到搜索
第102行：
第102行： − :<math>0\leq D{KL}（f{g）=\int{-\infty}^\infty f（x）\log\left（\frac{f（x）}{g（x）}\right）dx=-h（f）-\int{-\infty}^\infty f（x）\log（g（x））dx。</math> − − 现在请注意 − :<math>\begin{align} − \int_{-\infty}^\infty f(x)\log(g(x)) dx &= \int_{-\infty}^\infty f(x)\log\left( \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\right) dx \\ − &= \int_{-\infty}^\infty f(x) \log\frac{1}{\sqrt{2\pi\sigma^2}} dx + \log(e)\int_{-\infty}^\infty f(x)\left( -\frac{(x-\mu)^2}{2\sigma^2}\right) dx \\ − &= -\tfrac{1}{2}\log(2\pi\sigma^2) - \log(e)\frac{\sigma^2}{2\sigma^2} \\ − &= -\tfrac{1}{2}\left(\log(2\pi\sigma^2) + \log(e)\right) \\ − &= -\tfrac{1}{2}\log(2\pi e \sigma^2) \\ − &= -h(g) − \end{align}</math> 第119行：
第108行： −
→证明
\end{align}</math>
\end{align}</math>
因为结果不依赖于<math>f(x)</math>而不是通过方差。将这两个结果结合起来就得到了
因为结果不依赖于<math>f(x)</math>而不是通过方差。将这两个结果结合起来就得到了
当<math>f(x)=g(x)</math>遵循Kullback-Leibler散度的性质时相等。
当<math>f(x)=g(x)</math>遵循Kullback-Leibler散度的性质时相等。
===替代证明===
===替代证明===