3,094
个编辑
更改
→有效信息计算公式
其中：
其中：
<math>n \ln(2L)</math> 为输入熵。表示输入空间的多样性，取值范围越大（<math>L</math> 越大），EI越高。
* <math>n \ln(2L)</math> 为输入分布（最大熵分布）的[[信息熵]]，它可以表示输入空间的多样性，取值范围越大（<math>L</math> 越大），则EI越高。
<math>-\frac{m}{2} \left(1 + \ln(2\pi)\right)</math> 为输出维度惩罚。输出维度 <math>m</math> 越高，信息分散到更多维度，EI降低。
<math>-\frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2)</math> 为噪声惩罚。噪声标准差 <math>\sigma_i</math> 越大，输出不确定性越高，EI降低。
* <math>-\frac{m}{2} \left(1 + \ln(2\pi)\right)</math> 为输出维度惩罚。输出维度 <math>m</math> 越高，信息分散到更多维度，EI越低。
<math>\mathbb{E}[\ln |\det(\partial_X \mu)|]</math> 为敏感度增益。其中雅可比行列式对数的期望值(<math>n=m</math>可直接求，若不等求其广义行列式)，衡量网络对输入变化的全局敏感性。行列式绝对值越大，EI越高。
* <math>-\frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2)</math> 为噪声惩罚项。噪声标准差 <math>\sigma_i</math> 越大，输出不确定性越高，EI越低。
* 公式中，雅可比矩阵 <math>\partial_X \mu(X)</math> 描述了输入对输出的局部敏感性，其元素为：
<math> \partial_X \mu(X) = \left[ \frac{\partial \mu_i(X)}{\partial x_j} \right]_{n \times m}, </math>
即第 <math>i</math> 个输出对第 <math>j</math> 个输入的偏导数矩阵。
它的行列式 <math>\det(\partial_X \mu(X))</math> 反映了输入变化对输出的整体影响强度。
若行列式在所有输入点均为零，则EI为零（网络无法区分不同输入）。
<math>\mathbb{E}[\ln |\det(\partial_X \mu)|]</math> 为敏感度增益项，它为雅可比行列式对数的期望值(<math>n=m</math>可直接求，若不等则应该求其广义行列式)，该项可以衡量网络对输入变化的全局敏感性。行列式绝对值越大，则EI越高。
==== 蒙特卡洛采样实现期望计算====
==== 蒙特卡洛采样实现期望计算====