5,443
个编辑
更改
→有效信息的近似计算
有效信息基于输入 <math>X</math> 和输出 <math>Y</math> 的互信息定义为：
有效信息基于输入 <math>X</math> 和输出 <math>Y</math> 的互信息定义为：
<math>
<math>
I(X; Y) = \int_{X,Y} p(X,Y) \ln \frac{p(X,Y)}{p(X)p(Y)} dXdY
I(X; Y) = \int_{X,Y} p(X,Y) \ln \frac{p(X,Y)}{p(X)p(Y)} dXdY
</math>
</math>
为了简化计算，假设神经网络的输出 <math>Y</math> 可以用条件高斯分布建模，其条件概率密度函数为：
<math>
<math>
其中：
其中：
<math>\mu(X)</math> 是神经网络的输出；
<math>\mu(X)</math> 是神经网络的输出映射函数；
<math>\Sigma</math> 是协方差矩阵，通常为对角矩阵 <math>\text{diag}(\sigma_1^2, \sigma_2^2, \ldots, \sigma_m^2)</math>；
<math>\Sigma = \text{diag}(\sigma_1^2, \sigma_2^2, \ldots, \sigma_m^2)</math> 是协方差矩阵，其对角元素为每个输出维度的噪声方差；
<math>m</math> 是输出维度。
<math>m</math> 是输出维度。
基于这一假设，计算有效信息可分为两个主要部分：条件熵部分和边际熵部分。
根据条件概率密度的定义，条件熵可表示为：
<math>
H(Y|X) = -\int_Y p(Y|X) \ln p(Y|X) dY
</math>
将条件高斯分布代入公式并求积分，条件熵的计算结果为：
<math>
H(Y|X) = -\frac{m}{2} + m \ln(2\pi) + \frac{1}{2} \ln |\Sigma|
</math>
其中：
- <math>\ln |\Sigma|</math> 是协方差矩阵对角元素的对数和（即 <math>\sum_{i=1}^m \ln \sigma_i^2</math>）。
边际熵通过边际概率密度 <math>p(Y)</math> 计算，定义为：
<math>
<math>
\int_Y p(Y|X) \ln p(Y|X) dY = -m + m \ln(2\pi) + \ln |\Sigma| / 2
H(Y) = -\int_Y p(Y) \ln p(Y) dY
</math>
</math>
在高维输入空间中，假设输入 <math>X</math> 的分布是均匀分布 <math>U([-L, L]^n)</math>，且神经网络的映射 <math>Y = \mu(X)</math> 在局部上可近似为线性映射：
<math>
<math>
\mu(X') \approx \mu(X) + J(X) (X' - X)
\mu(X') \approx \mu(X) + J(X) (X' - X)
</math>
</math>
其中：
<math>J(X) = \frac{\partial \mu(X)}{\partial X}</math> 是雅可比矩阵，表示输入对输出的局部映射关系。
通过这一近似，输出的边际概率密度 <math>p(Y)</math> 可近似为：
<math>
<math>
p(Y) = \int_X p(X)p(Y|X) \propto \frac{1}{|\text{det}(J(X))|}
p(Y) \propto \frac{1}{|\text{det}(J(X))|}
</math>
</math>
代入边际熵公式后，边际熵计算为：
<math>
<math>
H(Y) = -\mathbb{E}_{X \sim U([-L, L]^n)} [\ln |\text{det}(J(X))|]
</math>
</math>
根据互信息的定义 <math>I(X; Y) = H(Y) - H(Y|X)</math>，结合上述两部分的结果，得到有效信息的近似计算公式：
<math>J(X)</math> 是输入到输出的雅可比矩阵，反映神经网络的映射特性；
<math>
<math>L</math> 是输入变量取值范围；
EI = -\frac{m}{2} + m \ln(2\pi) + \sum_{i=1}^m \frac{\ln(\sigma_i^2)}{2} + n \ln(2L) + \mathbb{E}_{X \sim U([-L,L]^n)} [\ln |\text{det}(J(X))|]
最后，为了避免输入维度对有效信息计算的影响，引入了归一化指标，即维度归一化有效信息（Dimension-Averaged Effective Information, dEI）：
<math>
<math>
EI = 0
dEI = \frac{EI}{n}
</math>
</math>
该指标通过归一化，使得有效信息的比较不受输入维度大小的影响，更适合不同规模系统的对比分析。
=有效信息在节点之间的表现=
=有效信息在节点之间的表现=