5,443
个编辑
更改
跳到导航
跳到搜索
第145行：
第145行： − 假设输入 <math>X</math> 均匀分布在 <math>[-L,L]^n</math> 上，即 <math>X\sim U([-L,L]^n)</math>。在局部线性近似下，映射 <math>\mu(X)</math> 的线性化为+ − + − 进而可得输出 <math>Y</math> 的边际密度近似为 − + − 从而边际熵为 − + + + + + + + + + + + + + + + + + + + + + + +
→边际熵的近似
====边际熵的近似====
====边际熵的近似====
边际概率密度 <math>p(Y)</math> 是指在不考虑输入 <math>X</math> 的情况下 <math>Y</math> 的分布，定义为：
<math> \mu(X')\approx \mu(X)+J_\mu(X)(X'-X). </math>
<math> p(Y) = \int p(Y\mid X)\,p(X)\,dX </math>
<math> p(Y)\approx \rho\,\bigl|\det(J_\mu(X))\bigr|,\quad \rho=(2L)^{-n}, </math>
假设映射 <math>\mu(X)</math> 是光滑的，我们可以在每个 <math>X</math> 处作一阶泰勒展开，用局部线性化来近似。此时，输入与输出之间的局部关系由雅可比矩阵描述：
<math> H(Y)\approx -\ln\rho + \mathbb{E}_{X\sim U([-L,L]^n)}\Bigl[\ln\bigl|\det(J_\mu(X))\bigr|\Bigr]. </math>
<math> J_{\mu}(X) = \frac{\partial \mu(X)}{\partial X} </math>
雅可比矩阵的行列式
<math> \det\Bigl(J_{\mu}(X)\Bigr) </math>
表示映射在局部区域内对体积的拉伸或压缩因子。
同时，假设输入 <math>X</math> 均匀分布在区间 <math>[-L,,L]^n</math> 内，其归一化常数 <math>\rho</math> 为：
<math> \rho = (2L)^{-n} </math>
利用局部线性近似，输出 <math>Y</math> 的边际概率密度可以近似为：
<math> p(Y) \approx \rho\, \Bigl|\det\bigl(J_{\mu}(X)\bigr)\Bigr| </math>
边际熵 <math>H(Y)</math> 定义为：
<math> H(Y) = -\int p(Y)\,\ln p(Y)\,dY </math>
在近似下，可以写为：
<math> H(Y) \approx -\ln \rho + \mathbb{E}_{X\sim U([-L,\,L]^n)}\Bigl[\ln \Bigl|\det\bigl(J_{\mu}(X)\bigr)\Bigr|\Bigr] </math>
其中：
<math>-\ln \rho</math> 来自归一化常数的贡献（注意：<math>-\ln \rho = n\ln(2L)</math>）；
<math>\mathbb{E}_{X\sim U([-L,,L]^n)}</math> 表示对输入 <math>X</math> 均匀分布的期望值，反映了不同输入下映射的局部缩放效应。
====有效信息的表达====
====有效信息的表达====