更改

第112行: 第112行:  
若行列式在所有输入点均为零,则EI为零(网络无法区分不同输入)。
 
若行列式在所有输入点均为零,则EI为零(网络无法区分不同输入)。
   −
==== NIS框架下的有效信息计算公式====   
+
==== 有效信息计算公式====   
 
若存在至少一个输入点使 <math>\det(\partial_X \mu(X)) \neq 0</math>,则EI近似为:   
 
若存在至少一个输入点使 <math>\det(\partial_X \mu(X)) \neq 0</math>,则EI近似为:   
 
<math> EI \approx n \ln(2L) - \frac{m}{2} \left(1 + \ln(2\pi)\right) - \frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2) + \mathbb{E}_{X \sim U} \left[ \ln |\det(\partial_X \mu(X))| \right]. </math>   
 
<math> EI \approx n \ln(2L) - \frac{m}{2} \left(1 + \ln(2\pi)\right) - \frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2) + \mathbb{E}_{X \sim U} \left[ \ln |\det(\partial_X \mu(X))| \right]. </math>   
第120行: 第120行:  
<math>-\frac{m}{2} \left(1 + \ln(2\pi)\right)</math> 为输出维度惩罚。输出维度 <math>m</math> 越高,信息分散到更多维度,EI降低。   
 
<math>-\frac{m}{2} \left(1 + \ln(2\pi)\right)</math> 为输出维度惩罚。输出维度 <math>m</math> 越高,信息分散到更多维度,EI降低。   
 
<math>-\frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2)</math> 为噪声惩罚。噪声标准差 <math>\sigma_i</math> 越大,输出不确定性越高,EI降低。   
 
<math>-\frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2)</math> 为噪声惩罚。噪声标准差 <math>\sigma_i</math> 越大,输出不确定性越高,EI降低。   
−
<math>\mathbb{E}[\ln |\det(\partial_X \mu)|]</math> 为敏感度增益。雅可比行列式对数的期望值,衡量网络对输入变化的全局敏感性。行列式绝对值越大,EI越高。
+
<math>\mathbb{E}[\ln |\det(\partial_X \mu)|]</math> 为敏感度增益。雅可比行列式对数的期望值,衡量网络对输入变化的全局敏感性。行列式绝对值越大,EI越高。
    
==== 蒙特卡洛采样实现期望计算====   
 
==== 蒙特卡洛采样实现期望计算====   
5,443

个编辑