5,443
个编辑
更改
→NIS框架概述
=基于NIS的有效信息计算=
=基于NIS的有效信息计算=
=== NIS框架概述 ===
=== NIS框架概述 ===
[[神经信息压缩机]]（Neural Information Squeezer）框架是一种基于机器学习的新方法，旨在通过自动化地发现有效的[[粗粒化策略]]（Coarse-Graining Strategies）和宏观动态（Macro-Dynamics），从数据中识别[[因果涌现]]（Causal Emergence）。该框架由以下三个关键组成部分构成：
1. 编码器（Encoder）：编码器采用[[可逆神经网络]]（Invertible Neural Network, INN）实现，从微观状态 <math>x_t</math> 映射到宏观状态 <math>y_t</math>，保证信息无损。映射过程包括一个双射变换 <math>\psi_\alpha</math> 和一个投影算子（Projection Operator, <math>\chi</math>），后者通过丢弃冗余信息实现降维。其数学表达式如下：
<math>\phi_q = \chi_q \circ \psi_\alpha</math>
其中，<math>\psi_\alpha</math> 是双射变换，<math>\chi_q</math> 是投影算子。
2. [[动态学习器]]（Dynamics Learner）：动态学习器是一个带参数 <math>\beta</math> 的前馈神经网络，用于学习宏观动态 <math>f_\beta</math>。它近似描述了宏观状态的时间演化，通过约束粗粒化策略以保持对微观动态的可预测性来最大化[[有效信息]]（Effective Information, EI）。
3. [[解码器（Decoder）]]：解码器使用可逆神经网络的逆变换 <math>\psi^{-1}_\alpha</math>，将宏观状态 <math>y_{t+1}</math> 和附加的高斯噪声重构为微观状态 <math>x_{t+1}</math>。这一过程确保宏观状态保留了关于微观状态的必要信息。其重构过程定义为：
<math>\phi^\dagger_q = \psi^{-1}_\alpha \circ \chi^\dagger_q</math>
核心思想：信息转换与信息丢弃
NIS中的粗粒化策略明确分为两个过程：[[信息转换]]（Information Conversion）和[[信息丢弃]]（Information Discarding）。在信息转换阶段，可逆神经网络确保所有相关信息被保留；在信息丢弃阶段，投影算子 <math>\chi</math> 丢弃不必要的维度，从而将微观状态压缩为有意义的宏观状态。这种分离提供了对信息通道宽度（Width of the Information Channel）的控制，并支持将过程分解为可逆和不可逆的组件进行解析。通过结合这两个过程，NIS框架在保持宏观状态因果性最大化的同时，保证计算的可行性。
=== 有效信息计算方法 ===
=== 有效信息计算方法 ===