更改

====边际熵的近似====

====边际熵的近似====

假设输入 <math>X</math> 均匀分布在超立方体 <math>U([-L,L]^n)</math> 上，且在局部可近似为线性映射

假设输入 <math>X</math> 均匀分布在 <math>[-L,L]^n</math> 上，即 <math>X\sim U([-L,L]^n)</math>。在局部线性近似下，映射 <math>\mu(X)</math> 的线性化为

<math> \mu(X')\approx \mu(X)+J_\mu(X)(X'-X), </math>

 

<math> \mu(X')\approx \mu(X)+J_\mu(X)(X'-X). </math>

<math> J_\mu(X)=\frac{\partial \mu(X)}{\partial X} </math>

进而可得输出 <math>Y</math> 的边际密度近似为

为雅可比矩阵。则输出 <math>Y</math> 的边际概率密度可近似为

 

<math> p(Y)\propto \frac{1}{\bigl|\det(J_\mu(X))\bigr|}. </math>

<math> p(Y)\approx \rho\,\bigl|\det(J_\mu(X))\bigr|,\quad \rho=(2L)^{-n}, </math>

<math> H(Y)\approx -\mathbb{E}{X\sim U([-L,L]^n)}\Bigl[\ln\bigl|\det(J\mu(X))\bigr|\Bigr] +n\ln(2L). </math>

 

<math> H(Y)\approx -\ln\rho + \mathbb{E}_{X\sim U([-L,L]^n)}\Bigl[\ln\bigl|\det(J_\mu(X))\bigr|\Bigr]. </math>

====有效信息的表达====

====有效信息的表达====