712
个编辑
更改
→一维函数映射
===一维函数映射===
===一维函数映射===
首先，我们考虑最简单的情况：
首先，我们考虑最简单的情况：
<math>
<math>
y=f(x)+\varepsilon, \varepsilon\sim\mathcal{N}(0,\epsilon^2)
y=f(x)+\varepsilon, \varepsilon\sim\mathcal{N}(0,\epsilon^2)
</math>
</math>
其中，[math]x,y\in \mathcal{R}[/math]都是一维实数变量。我们计算这个随机映射的有效信息为：
其中，[math]x,y\in \mathcal{R}[/math]都是一维实数变量。按照有效信息的定义，我们需要对变量x进行干预，使其满足在其定义域空间上的均匀分布。如果x的定义域为一个固定的区间，如[a,b]，其中a,b都是实数，那么x的概率密度函数就是[math]1/(b-a)[/math]。然而，当x的定义域为全体实数的时候，区间成为了无穷大，而x的概率密度函数就成为了无穷小。
为了解决这个问题，我们假设x的定义域不是整个实数空间，而是一个足够大的区域：[math][-L/2,L/2][/math]，其中L为该区间的大小。这样，该区域上的均匀分布的密度函数为：[math]1/L[/math]，从而实施有效信息的计算。我们希望当[math]L\rightarrow +\infty[/math]的时候，EI能够收敛到一个有限的数。然而，实际的EI是一个和x定义域大小有关的量，所以EI是参数L的函数。这一点可以从EI的定义中看出：
<math>
\begin{aligned}
EI&=I(y;x|do(x\sim U[-L/2,L/2]))\\
&=\int_{-L/2}^{L/2}\int_{f([-L/2,L/2])}p(x)p(y|x)\ln\frac{p(y|x)}{p(y)}dydx\\
&=\int_{-L/2}^{L/2}\int_{f([-L/2,L/2])}\frac{1}{L}\frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{(y-f(x))^2}{\sigma^2}\right)\ln\frac{\frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{(y-f(x))^2}{\sigma^2}\right)}{\int_{-L/2}^{L/2}\frac{1}{L}\frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{(y-f(z))^2}{\sigma^2}\right)dz}dydx
\end{aligned}
</math>
</math>
\approx \ln(\frac{L}{\sqrt{2\pi e}})+\frac{1}{2L}\int_{-L/2}^{L/2}\ln \left(\frac{f'(x)}{\epsilon}\right)^2dx.
如果同时考虑两种噪声，并且如果干预空间大小为<math>L
如果同时考虑两种噪声，并且如果干预空间大小为<math>L