640
个编辑
更改
跳到导航
跳到搜索
第825行：
第825行： − 针对复杂系统自动建模任务，我们往往使用神经网络来建模系统动力学。具体的，对于前馈神经网络来说，张江等人推导出了前馈神经网络有效信息的计算公式，其中神经网络的输入是<math>x(x_1,...,x_n)</math>，输出是<math>y(y_1,...,y_n)</math>，其中<math>y=f(x)</math>，<math>f</math>是由神经网络实现的确定性映射。通过将神经网络看作是给定输入<math>x</math>的条件高斯分布，我们可以给出神经网络有效信息的一般计算公式：+ + + + + + + + + + + + + + +
→前馈神经网络
==前馈神经网络==
==前馈神经网络==
针对复杂系统自动建模任务，我们往往使用神经网络来建模系统动力学。具体的，对于前馈神经网络来说，[[张江]]等人推导出了前馈神经网络有效信息的计算公式<ref name=zhang_nis />，其中神经网络的输入是<math>x(x_1,...,x_n)</math>，输出是<math>y(y_1,...,y_n)</math>，并且满足<math>y=f(x)</math>，<math>f</math>是由神经网络实现的确定性映射。然而，根据公式{{EquationNote|5}}，映射中必须包含噪声才能够体现不确定性。
因而，在神经网络中，我们假设神经网络从输入到输出的计算也是不确定性的，即也符合公式{{EquationNote|5}}：
<math>
y=f(x)+\xi,
</math>
这里，[math]\xi\sim \mathcal{N}(0,\Sigma)[/math]为一高斯噪声，且[math]\Sigma=\diag(\sigma_1,sigma_2,\cdots,\sigma_n)[/math]，这里[math]\sigma_i[/math]为第i个维度的最小平方误差（Mean Square Error，简称MSE误差）。也就是说，我们假设从x到y的神经网络映射实际上满足一个条件高斯分布，即：
<math>
Pr(y|x)\sim \mathcal{N}(f(x),\Sigma)
</math>
由此，套用高维映射一般情况下的结论，我们可以给出神经网络有效信息的一般计算公式：
*当<math>\det(\partial_{x'}f(x))\neq0</math>:
*当<math>\det(\partial_{x'}f(x))\neq0</math>:
<math>\begin{gathered}EI(f)=I(do(x\sim U([-L,L]^n));y)\approx-\frac{n+n\ln(2\pi)+\sum_{i=1}^n\ln\sigma_i^2}2+n\ln(2L)+\operatorname{E}_{x\sim U([-L,L]^n)}(\ln|\det(\partial_{x^{\prime}}f(x)))|)\end{gathered} </math>
<math>\begin{gathered}EI(f)=I(do(x\sim U([-L,L]^n));y)\approx-\frac{n+n\ln(2\pi)+\sum_{i=1}^n\ln\sigma_i^2}2+n\ln(2L)+\operatorname{E}_{x\sim U([-L,L]^n)}(\ln|\det(\partial_{x^{\prime}}f(x)))|)\end{gathered} </math>