640
个编辑
更改
跳到导航
跳到搜索
第840行：
第840行： − *当<math>\det(\partial_{x'}f(x))\neq0</math>: 第852行：
第851行： − *当对于所有的<math>x</math>，<math>\partial_{x'}f(x)</math>为0矩阵时: + − + + + + + + + + + + +
→前馈神经网络
由此，套用高维映射一般情况下的结论，我们可以给出神经网络有效信息的一般计算公式：
由此，套用高维映射一般情况下的结论，我们可以给出神经网络有效信息的一般计算公式：
<math>\begin{gathered}EI(f)=I(do(x\sim U([-\frac{L}{2},\frac{L}{2}]^n));y)\approx-\frac{n+n\ln(2\pi)+\sum_{i=1}^n\ln\sigma_i^2}2+n\ln(2L)+\mathbb{E}_{x\sim U([-\frac{L}{2},\frac{L}{2}]^n)}(\ln|\det(\partial_{x^{\prime}}f(x)))|)\end{gathered} </math>
<math>\begin{gathered}EI(f)=I(do(x\sim U([-\frac{L}{2},\frac{L}{2}]^n));y)\approx-\frac{n+n\ln(2\pi)+\sum_{i=1}^n\ln\sigma_i^2}2+n\ln(2L)+\mathbb{E}_{x\sim U([-\frac{L}{2},\frac{L}{2}]^n)}(\ln|\det(\partial_{x^{\prime}}f(x)))|)\end{gathered} </math>
</math>
</math>
如果设微观的动力学可以用神经网络f来拟合，宏观动力学则可以用F来拟合，则因果涌现可以由下式计算：
<math>\begin{gathered}EI(f)\approx\end{gathered}0</math>
<math>
\begin{gathered}
\mathcal{\Delta J}\equiv \frac{EI(F)}{m}-\frac{EI(f)}{n}\approx -\frac{\sum_{i=1}^n\ln\sigma_i}{n}+\frac{\sum_{i=1}^m\ln\sigma'_i}{m}+\ln(2L)+\frac{1}{n}\cdot\mathbb{E}_{x\sim U([-\frac{L}{2},\frac{L}{2}]^n)}(\ln|\det(\partial_{x^{\prime}}f(x)))|)-\frac{1}{m}\cdot\mathbb{E}_{x\sim U([-\frac{L}{2},\frac{L}{2}]^m)}(\ln|\det(\partial_{x^{\prime}}F(x)))|)
\end{gathered}
</math>
其中，[math]m[/math]为宏观态维度，[math]\sigma'_i[/math]为第i个宏观维度的平均平方误差（MSE），这一误差可以通过反向传播算法计算的宏观态[math]y_i[/math]的梯度计算得出。
注意，上述结论都要求：<math>\partial_{x'}f(x)</math>不为0，而对于所有的<math>x</math>，<math>\partial_{x'}f(x)</math>处处为0时，我们得到：
<math>\begin{gathered}EI(f)\approx\end{gathered}0</math>。对于更一般的情形，则需要考虑矩阵不满秩的情况。
=EI与其它相关主题=
=EI与其它相关主题=