5,443
个编辑
更改
跳到导航
跳到搜索
第176行：
第176行： − 由互信息定义 <math>EI=H(Y)-H(Y|X)</math>，代入上述表达式得到+ − + − 将 <math>\ln\rho=-n\ln(2L)</math> 代入，整理得+ − + − 为消除维度n和取值范围L的影响，引入维度归一化有效信息+ − + + + + + + + + + + + + +
→有效信息的表达
====有效信息的表达====
====有效信息的表达====
有效信息用于衡量系统从输入到输出传递的信息量，其定义为输出的边际熵与条件熵之差：
<math> \begin{aligned} EI &\approx -\ln\rho + \mathbb{E}_{X\sim U([-L,L]^n)}\ln\bigl|\det(J_\mu(X))\bigr| \\ &\quad - \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)-\frac{1}{2}\ln|\Sigma|. \end{aligned} </math>
<math> EI = H(Y) - H(Y\mid X) </math>
其中：
<math> EI \approx n\ln(2L) + \mathbb{E}_{X\sim U([-L,L]^n)}\ln\bigl|\det(J_\mu(X))\bigr| - \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr) - \frac{1}{2}\ln|\Sigma|. </math>
<math>H(Y)</math> 是在不考虑输入情况下输出的总不确定性；
<math>H(Y\mid X)</math> 是在已知输入 <math>X</math> 后输出的剩余不确定性。
<math> dEI=\frac{EI}{n}. </math>
利用前面得到的条件熵表达式：
<math> H(Y\mid X) = \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr) + \frac{1}{2}\ln|\Sigma| </math>
以及边际熵的近似表达式（注意 <math>-\ln \rho = n\ln(2L)</math>）：
<math> H(Y) \approx n\ln(2L) + \mathbb{E}_{X\sim U([-L,\,L]^n)}\Bigl[\ln \Bigl|\det\bigl(J_{\mu}(X)\bigr)\Bigr|\Bigr] </math>
因此，有效信息近似为：
<math> EI \approx n\ln(2L) + \mathbb{E}_{X\sim U([-L,\,L]^n)}\Bigl[\ln \Bigl|\det\bigl(J_{\mu}(X)\bigr)\Bigr|\Bigr] - \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr) - \frac{1}{2}\ln|\Sigma| </math>
其中，<math>n\ln(2L)</math>：表示输入空间的大小对信息量的贡献，其中 <math>n</math> 是输入的维度，<math>2L</math> 为每个维度的总长度。
<math>\mathbb{E}{X\sim U([-L,,L]^n)}\Bigl[\ln \Bigl|\det\bigl(J{\mu}(X)\bigr)\Bigr|\Bigr]</math>：反映了映射 <math>\mu</math> 在不同输入 <math>X</math> 下局部区域的缩放效果。雅可比行列式越大，表示映射对输入变化更敏感，可能传递更多信息。
<math>\frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)</math> 与 <math>\frac{1}{2}\ln|\Sigma|</math>：这两项来自条件熵 <math>H(Y\mid X)</math>，描述了在已知输入后的输出不确定性，其中 <math>m</math> 是输出维度，而 <math>|\Sigma|</math> 衡量输出的噪声大小。
=基于互信息方法量化联合效应=
=基于互信息方法量化联合效应=