更改

跳到导航 跳到搜索
添加1字节 、 2024年6月4日 (星期二)
第571行: 第571行:     
==前馈神经网络==
 
==前馈神经网络==
针对复杂系统自动建模任务,我们往往使用神经网络来建模系统动力学。具体的,对于前馈神经网络来说,张江等人提出了前馈神经网络的有效信息的计算公式,其中神经网络的输入是<math>x(x_1,...,x_n)</math>,输出是<math>y(y_1,...,y_n)</math>,其中<math>y=f(x)</math>,<math>f</math>是由神经网络实现的确定性映射。通过将神经网络看作是给定输入<math>x</math>的条件高斯分布,我们可以给出神经网络有效信息的一般计算公式:
+
针对复杂系统自动建模任务,我们往往使用神经网络来建模系统动力学。具体的,对于前馈神经网络来说,张江等人推导出前馈神经网络的有效信息的计算公式,其中神经网络的输入是<math>x(x_1,...,x_n)</math>,输出是<math>y(y_1,...,y_n)</math>,其中<math>y=f(x)</math>,<math>f</math>是由神经网络实现的确定性映射。通过将神经网络看作是给定输入<math>x</math>的条件高斯分布,我们可以给出神经网络有效信息的一般计算公式:
* 当<math>det(\partial_{x'}f(x))\neq0</math>:  
+
* 当<math>\det(\partial_{x'}f(x))\neq0</math>:  
 
<math>\begin{gathered}EI(f)=I(do(x\sim U([-L,L]^n));y)\approx-\frac{n+n\ln(2\pi)+\sum_{i=1}^nln\sigma_i^2}2+n\ln(2L)+\operatorname{E}_{x\sim U([-L,L]^n)}(\ln|\det(\partial_{x^{\prime}}f(x)))|)\end{gathered} </math>
 
<math>\begin{gathered}EI(f)=I(do(x\sim U([-L,L]^n));y)\approx-\frac{n+n\ln(2\pi)+\sum_{i=1}^nln\sigma_i^2}2+n\ln(2L)+\operatorname{E}_{x\sim U([-L,L]^n)}(\ln|\det(\partial_{x^{\prime}}f(x)))|)\end{gathered} </math>
  
212

个编辑

导航菜单