更改

神经网络的有效信息计算 (查看源代码)

2025年2月21日 (五) 09:49的版本

添加4字节、 2025年2月21日 (五) 09:49

→‎有效信息的表达

第153行：第153行：

====有效信息的表达====

−

~~根据互信息的定义~~

+

由互信息定义 <math>EI=H(Y)-H(Y|X)</math>，代入上述表达式得到

−

<math> EI = H(Y)-H(Y|X)~~, </math>~~

−

~~代入上述结果得~~

−

<math> \begin{aligned} EI &\approx \Bigl[-\mathbb{E}{X\sim U([-L,L]^n)}\ln\bigl|\det(J\mu(X))\bigr| +n\ln(2L)\Bigr] -\Bigl[\frac{m}{2}(1+\ln(2\pi))+\frac{1}{2}\ln|\Sigma|\Bigr] \ &= -\mathbb{E}{X\sim U([-L,L]^n)}\ln\bigl|\det(J\mu(X))\bigr| +n\ln(2L) - \frac{m}{2}(1+\ln(2\pi))-\frac{1}{2}\ln|\Sigma|. \end{aligned} </math>

−

~~该公式中：~~

+

<math> \begin{aligned} EI &\approx -\ln\rho + \mathbb{E}_{X\sim U([-L,L]^n)}\ln\bigl|\det(J_\mu(X))\bigr| \\ &\quad - \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)-\frac{1}{2}\ln|\Sigma|. \end{aligned} </math>

+

将 <math>\ln\rho=-n\ln(2L)</math> 代入，整理得

−

~~当存在~~ <math>X~~</math> 使得 <math>~~\det(J_\mu(X))\~~neq 0~~</math> ~~时，上式成立；~~

+

<math> EI \approx n\ln(2L) + \mathbb{E}_{X\sim U([-L,L]^n)}\ln\bigl|\det(J_\mu(X))\bigr| - \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr) - \frac{1}{2}\ln|\Sigma|. </math>

−

~~若对所有 <math>X</math> 有~~ <math>\~~det(J_\mu(X))\equiv 0~~</math>~~，则认为 EI≈0。~~

+

为消除维度n和取值范围L的影响，引入维度归一化有效信息

+

====维度归一化有效信息====

相信未来

5,443

个编辑