更改

微分熵 (查看源代码)

2021年10月27日 (三) 20:45的版本

删除732字节、 2021年10月27日 (三) 20:45

第102行：第102行：

\end{align}</math>

−

~~:<math>0\leq D{KL}（f{g）=\int{-\infty}^\infty f（x）\log\left（\frac{f（x）}{g（x）}\right）dx=-h（f）-\int{-\infty}^\infty f（x）\log（g（x））dx。</math>~~

−

~~现在请注意~~

−

~~:<math>\begin{align}~~

−

~~\int_{-\infty}^\infty f(x)\log(g(x)) dx &= \int_{-\infty}^\infty f(x)\log\left( \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\right) dx \\~~

−

~~&= \int_{-\infty}^\infty f(x) \log\frac{1}{\sqrt{2\pi\sigma^2}} dx + \log(e)\int_{-\infty}^\infty f(x)\left( -\frac{(x-\mu)^2}{2\sigma^2}\right) dx \\~~

−

~~&= -\tfrac{1}{2}\log(2\pi\sigma^2) - \log(e)\frac{\sigma^2}{2\sigma^2} \\~~

−

~~&= -\tfrac{1}{2}\left(\log(2\pi\sigma^2) + \log(e)\right) \\~~

−

~~&= -\tfrac{1}{2}\log(2\pi e \sigma^2) \\~~

−

~~&= -h(g)~~

−

~~\end{align}</math>~~

因为结果不依赖于<math>f(x)</math>而不是通过方差。将这两个结果结合起来就得到了

第119行：第108行：

当<math>f(x)=g(x)</math>遵循Kullback-Leibler散度的性质时相等。

−

===替代证明===

薄荷

7,129

个编辑