更改

==前馈神经网络==

==前馈神经网络==

针对复杂系统自动建模任务，我们往往使用神经网络来建模系统动力学。具体的，对于前馈神经网络来说，张江等人提出了前馈神经网络的有效信息的计算公式，其中神经网络的输入是<math>x(x_1,...,x_n)</math>，输出是<math>y(y_1,...,y_n)</math>，其中<math>y=f(x)</math>，<math>f</math>是由神经网络实现的确定性映射。通过将神经网络看作是给定输入<math>x</math>的条件高斯分布，我们可以给出神经网络有效信息的一般计算公式：

针对复杂系统自动建模任务，我们往往使用神经网络来建模系统动力学。具体的，对于前馈神经网络来说，张江等人提出了前馈神经网络的有效信息的计算公式，其中神经网络的输入是<math>x(x_1,...,x_n)</math>，输出是<math>y(y_1,...,y_n)</math>，其中<math>y=f(x)</math>，<math>f</math>是由神经网络实现的确定性映射。通过将神经网络看作是给定输入<math>x</math>的条件高斯分布，我们可以给出神经网络有效信息的一般计算公式：

# 当<math>det(\partial_{x'}f(x))\neq0</math>:  

* 当<math>det(\partial_{x'}f(x))\neq0</math>:  

<math>\begin{gathered}EI(f)=I(do(x\sim U([-L,L]^n));y)\approx-\frac{n+n\ln(2\pi)+\sum_{i=1}^nln\sigma_i^2}2+n\ln(2L)+\operatorname{E}_{x\sim U([-L,L]^n)}(\ln|\det(\partial_{x^{\prime}}f(x)))|)\end{gathered} </math>

<math>\begin{gathered}EI(f)=I(do(x\sim U([-L,L]^n));y)\approx-\frac{n+n\ln(2\pi)+\sum_{i=1}^nln\sigma_i^2}2+n\ln(2L)+\operatorname{E}_{x\sim U([-L,L]^n)}(\ln|\det(\partial_{x^{\prime}}f(x)))|)\end{gathered} </math>

其中<math>U\left(\left[-L, L\right]^n\right) </math>表示范围在<math>\left[-L ,L\right] </math>上的<math>n </math>维均匀分布，<math>\sigma_i </math>是输出<math>y_i </math>的标准差，可以通过<math>y_i </math>的均方误差来估计，<math>\det </math>表示函数<math>f </math>的雅可比行列式

其中<math>U\left(\left[-L, L\right]^n\right) </math>表示范围在<math>\left[-L ,L\right] </math>上的<math>n </math>维均匀分布，<math>\sigma_i </math>是输出<math>y_i </math>的标准差，可以通过<math>y_i </math>的均方误差来估计，<math>\det </math>表示函数<math>f </math>的雅可比行列式

# 当对于所有的<math>x</math>，<math>\partial_{x'}f(x)</math>为0矩阵时: <math>\begin{gathered}EI(f)\approx\end{gathered}0</math>

* 当对于所有的<math>x</math>，<math>\partial_{x'}f(x)</math>为0矩阵时: <math>\begin{gathered}EI(f)\approx\end{gathered}0</math>

=EI与其它相关主题=

=EI与其它相关主题=