5,443
个编辑
更改
→近似计算方法
假设神经网络可以用条件高斯分布描述输出 <math>Y</math>，即：
假设神经网络可以用条件高斯分布描述输出 <math>Y</math>，即：
<math>
<math>
p(Y|X) = \frac{1}{\sqrt{(2\pi)^m |\Sigma|}} \exp\left( -\frac{1}{2}(Y - \mu(X))^T \Sigma^{-1} (Y - \mu(X)) \right)
p(Y|X) = \frac{1}{\sqrt{(2\pi)^m |\Sigma|}} \exp\left( -\frac{1}{2}(Y - \mu(X))^T \Sigma^{-1} (Y - \mu(X)) \right)
其中：
其中：
<math>\mu(X)</math> 是神经网络的输出；
<math>\Sigma</math> 是协方差矩阵，通常为对角矩阵 <math>\text{diag}(\sigma_1^2, \sigma_2^2, \ldots, \sigma_m^2)</math>；
<math>m</math> 是输出维度。
基于此假设，可将有效信息的计算分为两部分：
基于此假设，可将有效信息的计算分为两部分：
1. 条件熵部分：
1. 条件熵部分：
<math>
<math>
\int_Y p(Y|X) \ln p(Y|X) dY = -m + m \ln(2\pi) + \ln |\Sigma| / 2
\int_Y p(Y|X) \ln p(Y|X) dY = -m + m \ln(2\pi) + \ln |\Sigma| / 2
</math>
</math>
2. 边际熵部分：
2. 边际熵部分：
通过将神经网络输出近似为线性变换：
通过将神经网络输出近似为线性变换：
<math>
<math>
\mu(X') \approx \mu(X) + J(X) (X' - X)
\mu(X') \approx \mu(X) + J(X) (X' - X)
因此，最终的有效信息近似计算公式为：
因此，最终的有效信息近似计算公式为：
<math>
<math>
EI = -\frac{m}{2} + m \ln(2\pi) + \sum_{i=1}^m \frac{\ln(\sigma_i^2)}{2} + n \ln(2L) + \mathbb{E}_{X \sim U([-L,L]^n)} \ln |\text{det}(J(X))|
EI = -\frac{m}{2} + m \ln(2\pi) + \sum_{i=1}^m \frac{\ln(\sigma_i^2)}{2} + n \ln(2L) + \mathbb{E}_{X \sim U([-L,L]^n)} \ln |\text{det}(J(X))|
</math>
</math>
其中：
<math>J(X)</math> 是输入到输出的雅可比矩阵，反映神经网络的映射特性；
<math>n</math> 是输入维度，<math>m</math> 是输出维度；
<math>L</math> 是输入变量取值范围；
<math>\sigma_i^2</math> 表示输出 <math>Y</math> 的高斯噪声方差。
特殊情况包括：
1. 若雅可比矩阵的行列式始终为零（即 <math>\text{det}(J(X)) = 0</math>），则有效信息为零：
1. 若雅可比矩阵的行列式始终为零（即 <math>\text{det}(J(X)) = 0</math>），则有效信息为零：
2. 若神经网络输出的所有特征均为独立，则公式退化为简单的条件熵计算。
2. 若神经网络输出的所有特征均为独立，则公式退化为简单的条件熵计算。
=有效信息在节点之间的表现=
=有效信息在节点之间的表现=