372
个编辑
更改
跳到导航
跳到搜索
第722行：
第722行： + + + + + + + +
→前馈神经网络
其中<math>U\left(\left[-L, L\right]^n\right) </math>表示范围在<math>\left[-L ,L\right] </math>上的<math>n </math>维均匀分布，<math>\sigma_i </math>是输出<math>y_i </math>的标准差，可以通过<math>y_i </math>的均方误差来估计，<math>\det </math>表示函数<math>f </math>的雅可比行列式
其中<math>U\left(\left[-L, L\right]^n\right) </math>表示范围在<math>\left[-L ,L\right] </math>上的<math>n </math>维均匀分布，<math>\sigma_i </math>是输出<math>y_i </math>的标准差，可以通过<math>y_i </math>的均方误差来估计，<math>\det </math>表示函数<math>f </math>的雅可比行列式
*当对于所有的<math>x</math>，<math>\partial_{x'}f(x)</math>为0矩阵时: <math>\begin{gathered}EI(f)\approx\end{gathered}0</math>
*当对于所有的<math>x</math>，<math>\partial_{x'}f(x)</math>为0矩阵时: <math>\begin{gathered}EI(f)\approx\end{gathered}0</math>
==维度平均的EI与因果涌现==
在[[神经信息压缩器]]（Neural information squeezer, NIS）的框架被提出时<ref name=nis />，作者们发明了另一种有效信息的归一化方式，即用连续马尔科夫动力系统的状态空间维数来归一化EI，从而解决连续状态变量上的EI比较问题，这一指标被称为'''维度求平均的有效信息'''（Dimension Averaged Effective Information，简称dEI）。其描述为：
<math>
\mathcal{J}=\frac{EI}{D}
</math>
这里，[math]D[/math]为状态空间的维度。可以证明，在离散的状态空间中，'''维度平均的EI'''和'''有效性'''指标实际上是等价的。关于连续变量上的EI，我们将在下文进一步详述。
=EI与其它相关主题=
=EI与其它相关主题=