5,443
个编辑
更改
→有效信息计算方法
=== 有效信息计算方法 ===
=== 有效信息计算方法 ===
NIS框架在传统互信息计算基础上，引入雅可比矩阵和高斯分布的条件概率，提出了一种适用于连续动态系统的新型计算方法。
NIS框架中的EI通过以下公式定义：
<math>
EI = I(y_t; y_{t+1}) = I(x_t; \hat{x}_{t+1})
</math>
其中：
<math>y_t</math> 表示宏观状态。
<math>x_t</math> 为微观状态，<math>\hat{x}_{t+1}</math> 为预测的微观状态。
为解决高维连续变量中EI的计算问题，NIS框架采用了基于神经网络的雅可比矩阵（Jacobian Matrix）与高斯分布方法。其计算公式为：
<math>
EI = -\frac{m}{2} + m \ln(2\pi) + \sum_{i=1}^m \frac{\ln(\sigma_i^2)}{2} + n \ln(2L) + \mathbb{E}_{X\sim U([-L, L]^n)}[\ln|\text{det}(\frac{\partial \mu}{\partial X})|]
</math>
公式中：
- <math>\mu(X)</math> 为神经网络实现的映射函数。
- <math>\frac{\partial \mu}{\partial X}</math> 表示雅可比矩阵。
- <math>\sigma_i^2</math> 是高斯分布的方差，反映预测不确定性。
- <math>n</math> 和 <math>m</math> 分别表示输入与输出维度。
- <math>L</math> 是输入变量的取值范围。
为了避免高维度对EI计算的影响，NIS框架引入了维度归一化有效信息（Dimension Averaged Effective Information, dEI）**。其定义为：
<math>
dEI = \frac{EI}{n}
</math>
该指标通过归一化消除了维度规模对有效信息的干扰，更准确地反映了粗粒化策略的效果。
NIS框架通过两阶段优化过程最大化EI：
1. 阶段一：预测训练
通过最小化预测误差约束粗粒化策略，目标函数为：
<math>
L = \sum_t ||\hat{x}_{t+1} - x_{t+1}||_l
</math>
其中，<math>||\cdot||_l</math> 表示 <math>l</math>-范数，通常选择二次误差。
2. 阶段二：搜索最优粗粒化维度
对所有可能的宏观状态维度 <math>q</math> 进行搜索，找到使 <math>dEI</math> 最大化的粗粒化策略。
最后，NIS框架将EI的计算与信息通道（Information Channel）理论结合，粗粒化过程被视为一个受限的信息通道。通过优化雅可比矩阵的行列式和投影算子，NIS框架能够同时提高宏观动态的因果性和预测性能。
=== 算法实现 ===
=== 算法实现 ===