| 第115行： |
第115行： |
| | <math>\phi^\dagger_q = \psi^{-1}_\alpha \circ \chi^\dagger_q</math> | | <math>\phi^\dagger_q = \psi^{-1}_\alpha \circ \chi^\dagger_q</math> |
| | | | |
| − | 核心思想：信息转换与信息丢弃
| |
| | NIS中的粗粒化策略明确分为两个过程：[[信息转换]]（Information Conversion）和[[信息丢弃]]（Information Discarding）。在信息转换阶段，可逆神经网络确保所有相关信息被保留；在信息丢弃阶段，投影算子 <math>\chi</math> 丢弃不必要的维度，从而将微观状态压缩为有意义的宏观状态。这种分离提供了对信息通道宽度（Width of the Information Channel）的控制，并支持将过程分解为可逆和不可逆的组件进行解析。通过结合这两个过程，NIS框架在保持宏观状态因果性最大化的同时，保证计算的可行性。 | | NIS中的粗粒化策略明确分为两个过程：[[信息转换]]（Information Conversion）和[[信息丢弃]]（Information Discarding）。在信息转换阶段，可逆神经网络确保所有相关信息被保留；在信息丢弃阶段，投影算子 <math>\chi</math> 丢弃不必要的维度，从而将微观状态压缩为有意义的宏观状态。这种分离提供了对信息通道宽度（Width of the Information Channel）的控制，并支持将过程分解为可逆和不可逆的组件进行解析。通过结合这两个过程，NIS框架在保持宏观状态因果性最大化的同时，保证计算的可行性。 |
| | | | |
| − | === 有效信息计算方法 === | + | === 有效信息的近似计算 === |
| − | NIS框架在传统互信息计算基础上，引入雅可比矩阵和高斯分布的条件概率，提出了一种适用于连续动态系统的新型计算方法。
| |
| − | | |
| − | NIS框架中的EI通过以下公式定义：
| |
| − | <math>
| |
| − | EI = I(y_t; y_{t+1}) = I(x_t; \hat{x}_{t+1})
| |
| − | </math>
| |
| − | | |
| − | 其中：
| |
| − | <math>y_t</math> 表示宏观状态。
| |
| − | <math>x_t</math> 为微观状态，<math>\hat{x}_{t+1}</math> 为预测的微观状态。
| |
| − | | |
| − | 为解决高维连续变量中EI的计算问题，NIS框架采用了基于神经网络的雅可比矩阵（Jacobian Matrix）与高斯分布方法。其计算公式为：
| |
| − | | |
| − | <math>
| |
| − | EI = -\frac{m}{2} + m \ln(2\pi) + \sum_{i=1}^m \frac{\ln(\sigma_i^2)}{2} + n \ln(2L) + \mathbb{E}_{X\sim U([-L, L]^n)}[\ln|\text{det}(\frac{\partial \mu}{\partial X})|]
| |
| − | </math>
| |
| − | | |
| − | 公式中：
| |
| − | <math>\mu(X)</math> 为神经网络实现的映射函数。
| |
| − | <math>\frac{\partial \mu}{\partial X}</math> 表示雅可比矩阵。
| |
| − | <math>\sigma_i^2</math> 是高斯分布的方差，反映预测不确定性。
| |
| − | <math>n</math> 和 <math>m</math> 分别表示输入与输出维度。
| |
| − | <math>L</math> 是输入变量的取值范围。
| |
| − | | |
| − | 为了避免高维度对EI计算的影响，NIS框架引入了维度归一化有效信息（Dimension Averaged Effective Information, dEI）。其定义为：
| |
| − | | |
| − | <math>
| |
| − | dEI = \frac{EI}{n}
| |
| − | </math>
| |
| − | | |
| − | 该指标通过归一化消除了维度规模对有效信息的干扰，更准确地反映了粗粒化策略的效果。
| |
| − | | |
| − | NIS框架通过两阶段优化过程最大化EI：
| |
| − | | |
| − | 1. 阶段一：预测训练
| |
| − | | |
| − | 通过最小化预测误差约束粗粒化策略，目标函数为：
| |
| − | | |
| − | <math>L = \sum_t ||\hat{x}_{t+1} - x_{t+1}||_l</math>
| |
| − |
| |
| − | 其中，<math>||\cdot||_l</math> 表示 <math>l</math>-范数，通常选择二次误差。
| |
| − | | |
| − | 2. 阶段二：搜索最优粗粒化维度
| |
| − | | |
| − | 对所有可能的宏观状态维度 <math>q</math> 进行搜索，找到使 <math>dEI</math> 最大化的粗粒化策略。
| |
| − | | |
| − | 最后，NIS框架将EI的计算与信息通道（Information Channel）理论结合，粗粒化过程被视为一个受限的信息通道。通过优化雅可比矩阵的行列式和投影算子，NIS框架能够同时提高宏观动态的因果性和预测性能。
| |
| − | | |
| − | === 近似计算神经网络的有效信息 ===
| |
| | | | |
| | 在传统方法中，计算有效信息（EI）通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。 | | 在传统方法中，计算有效信息（EI）通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。 |