5,443
个编辑
更改
→有效信息的近似计算
EI = -\frac{m}{2} + m \ln(2\pi) + \sum_{i=1}^m \frac{\ln(\sigma_i^2)}{2} + n \ln(2L) + \mathbb{E}_{X \sim U([-L,L]^n)} [\ln |\text{det}(J(X))|]
EI = -\frac{m}{2} + m \ln(2\pi) + \sum_{i=1}^m \frac{\ln(\sigma_i^2)}{2} + n \ln(2L) + \mathbb{E}_{X \sim U([-L,L]^n)} [\ln |\text{det}(J(X))|]
</math>
</math>
其中：
<math>n</math> 和 <math>m</math> 分别表示输入和输出的维度；
<math>L</math> 是输入变量的取值范围；
<math>\sigma_i^2</math> 是高斯噪声的方差；
<math>J(X)</math> 是输入到输出的雅可比矩阵；
<math>|\text{det}(J(X))|</math> 是雅可比矩阵行列式的绝对值。
特殊情况如下：
1.行列式为零的情况
当雅可比矩阵的行列式为零时，输出 <math>Y</math> 的分布在输入空间中没有对应点，导致边际熵无限大，但无有效输入扰动，因此有效信息为零：
<math> EI = 0 </math>
2。输出变量完全独立的情况
如果输出变量 <math>Y</math> 的每一维度相互独立，则雅可比矩阵为对角矩阵，其行列式为对角元素的乘积。此时，有效信息退化为简单的条件熵计算。
最后，为了避免输入维度对有效信息计算的影响，引入了归一化指标，即维度归一化有效信息（Dimension-Averaged Effective Information, dEI）：
最后，为了避免输入维度对有效信息计算的影响，引入了归一化指标，即维度归一化有效信息（Dimension-Averaged Effective Information, dEI）：