5,443
个编辑
更改
跳到导航
跳到搜索
第153行：
第153行： − 根据互信息的定义+ − − 代入上述结果得 − <math> \begin{aligned} EI &\approx \Bigl[-\mathbb{E}{X\sim U([-L,L]^n)}\ln\bigl|\det(J\mu(X))\bigr| +n\ln(2L)\Bigr] -\Bigl[\frac{m}{2}(1+\ln(2\pi))+\frac{1}{2}\ln|\Sigma|\Bigr] \ &= -\mathbb{E}{X\sim U([-L,L]^n)}\ln\bigl|\det(J\mu(X))\bigr| +n\ln(2L) - \frac{m}{2}(1+\ln(2\pi))-\frac{1}{2}\ln|\Sigma|. \end{aligned} </math> − 该公式中：+ + − 当存在 <math>X</math> 使得 <math>\det(J_\mu(X))\neq 0</math> 时，上式成立；+ − 若对所有 <math>X</math> 有 <math>\det(J_\mu(X))\equiv 0</math>，则认为 EI≈0。+ + +
→有效信息的表达
====有效信息的表达====
====有效信息的表达====
由互信息定义 <math>EI=H(Y)-H(Y|X)</math>，代入上述表达式得到
<math> EI = H(Y)-H(Y|X), </math>
<math> \begin{aligned} EI &\approx -\ln\rho + \mathbb{E}_{X\sim U([-L,L]^n)}\ln\bigl|\det(J_\mu(X))\bigr| \\ &\quad - \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)-\frac{1}{2}\ln|\Sigma|. \end{aligned} </math>
将 <math>\ln\rho=-n\ln(2L)</math> 代入，整理得
<math> EI \approx n\ln(2L) + \mathbb{E}_{X\sim U([-L,L]^n)}\ln\bigl|\det(J_\mu(X))\bigr| - \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr) - \frac{1}{2}\ln|\Sigma|. </math>
为消除维度n和取值范围L的影响，引入维度归一化有效信息
<math> dEI=\frac{EI}{n}. </math>
====维度归一化有效信息====
====维度归一化有效信息====