5,443
个编辑
更改
跳到导航
跳到搜索
第167行：
第167行： − + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→算法实现
最后，NIS框架将EI的计算与信息通道（Information Channel）理论结合，粗粒化过程被视为一个受限的信息通道。通过优化雅可比矩阵的行列式和投影算子，NIS框架能够同时提高宏观动态的因果性和预测性能。
最后，NIS框架将EI的计算与信息通道（Information Channel）理论结合，粗粒化过程被视为一个受限的信息通道。通过优化雅可比矩阵的行列式和投影算子，NIS框架能够同时提高宏观动态的因果性和预测性能。
=== 算法实现 ===
=== 近似计算神经网络的有效信息 ===
在传统方法中，计算有效信息（EI）通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。
====定义====
有效信息（EI）基于输入 <math>X</math> 和输出 <math>Y</math> 的互信息定义为：
<math>
I(X; Y) = \int_{X,Y} p(X,Y) \ln \frac{p(X,Y)}{p(X)p(Y)} dXdY
</math>
====近似计算方法====
假设神经网络可以用条件高斯分布描述输出 <math>Y</math>，即：
<math>
p(Y|X) = \frac{1}{\sqrt{(2\pi)^m |\Sigma|}} \exp\left( -\frac{1}{2}(Y - \mu(X))^T \Sigma^{-1} (Y - \mu(X)) \right)
</math>
其中：
- <math>\mu(X)</math> 是神经网络的输出；
- <math>\Sigma</math> 是协方差矩阵，通常为对角矩阵 <math>\text{diag}(\sigma_1^2, \sigma_2^2, \ldots, \sigma_m^2)</math>；
- <math>m</math> 是输出维度。
基于此假设，可将有效信息的计算分为两部分：
1. 条件熵部分：
<math>
\int_Y p(Y|X) \ln p(Y|X) dY = -m + m \ln(2\pi) + \ln |\Sigma| / 2
</math>
2. 边际熵部分：
通过将神经网络输出近似为线性变换：
<math>
\mu(X') \approx \mu(X) + J(X) (X' - X)
</math>
其中 <math>J(X)</math> 是雅可比矩阵，且边际熵可近似为：
<math>
p(Y) = \int_X p(X)p(Y|X) \propto \frac{1}{|\text{det}(J(X))|}
</math>
因此，最终的有效信息近似计算公式为：
<math>
EI = -\frac{m}{2} + m \ln(2\pi) + \sum_{i=1}^m \frac{\ln(\sigma_i^2)}{2} + n \ln(2L) + \mathbb{E}_{X \sim U([-L,L]^n)} \ln |\text{det}(J(X))|
</math>
#### 公式中的参数解释
- <math>J(X)</math> 是输入到输出的雅可比矩阵，反映神经网络的映射特性；
- <math>n</math> 是输入维度，<math>m</math> 是输出维度；
- <math>L</math> 是输入变量取值范围；
- <math>\sigma_i^2</math> 表示输出 <math>Y</math> 的高斯噪声方差。
#### 特殊情况
1. 若雅可比矩阵的行列式始终为零（即 <math>\text{det}(J(X)) = 0</math>），则有效信息为零：
<math>
EI = 0
</math>
2. 若神经网络输出的所有特征均为独立，则公式退化为简单的条件熵计算。
#### 数值计算方法
上述公式的积分部分可通过采样进行近似，方法如下：
1. 在输入空间 <math>[-L, L]^n</math> 上生成均匀分布样本；
2. 对每个样本计算雅可比矩阵的行列式；
3. 取对数后取均值，得到近似结果。
#### 优势
与传统离散化方法相比，这种基于雅可比矩阵和条件高斯分布的近似计算方法具有以下优点：
- 避免了对输入和输出空间的离散化操作；
- 在高维连续空间中具有更高的计算效率；
- 更适用于神经网络等复杂映射函数。
---
以上内容详细描述了 **Appendix B** 的算法推导和近似方法，并与之前的实现部分补充完整。如需进一步整合或实验验证，请告知！
=有效信息在节点之间的表现=
=有效信息在节点之间的表现=