| 第84行： |
第84行： |
| | | | |
| | =基于连续方法的有效信息计算= | | =基于连续方法的有效信息计算= |
| − | === NIS框架概述 ===
| |
| | | | |
| − | [[神经信息压缩机]]（Neural Information Squeezer, NIS）框架是一种基于机器学习的新方法，旨在通过自动化地发现有效的[[粗粒化策略]]（Coarse-Graining Strategies）和宏观动态（Macro-Dynamics），从数据中识别[[因果涌现]]（Causal Emergence）<ref>Jiang Zhang, Kai Liu. Neural Information Squeezer for Causal Emergence. In Entropy, volume 25, pages 1–26, 2023.</ref>。该框架由以下三个关键组成部分构成：
| + | 在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。这里通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。详细计算步骤如下： |
| − | | |
| − | 1. 编码器（Encoder）：编码器由[[可逆神经网络]]（Invertible Neural Network, INN） <math>\psi_\alpha</math> 和投影算子 <math>\chi_q</math> 组成，其映射定义为
| |
| − | <math> \phi_q = \chi_q \circ \psi_\alpha. </math>
| |
| − | 其中，<math>\psi_\alpha : \mathbb{R}^p \to \mathbb{R}^p</math> 为双射变换，保证信息无损，而 <math>\chi_q : \mathbb{R}^p \to \mathbb{R}^q</math> 通过舍弃部分冗余信息实现降维。
| |
| − |
| |
| − | 2. 动态学习器（Dynamics Learner）：利用带参数 <math>\beta</math> 的[[前馈神经网络]] <math>f_\beta</math> 学习宏观状态的时间演化，即近似描述
| |
| − | <math> y_{t+1} = y_t + f_\beta(y_t) + \xi', </math>
| |
| − | 其中 <math>\xi'</math> 表示附加的高斯（或拉普拉斯）噪声。它近似描述了宏观状态的时间演化，通过约束粗粒化策略以保持对微观动态的可预测性来最大化[[有效信息]]（Effective Information, EI）。
| |
| − | | |
| − | 3. 解码器（Decoder）：利用 INN 的逆变换 <math>\psi_\alpha^{-1}</math> 和补全操作 <math>\chi_q^\dagger</math> 将预测的宏观状态还原为微观状态，其定义为
| |
| − | <math> \phi_q^\dagger = \psi_\alpha^{-1} \circ \chi_q^\dagger, </math>
| |
| − | 其中对 <math>\chi_q^\dagger</math> 的定义为：对任意 <math>x_q \in \mathbb{R}^q</math>，
| |
| − | <math> \chi_q^\dagger(x_q) = x_q \oplus z_{p-q},\quad z_{p-q}\sim N(0,I_{p-q}). </math>
| |
| − | | |
| − | NIS中的粗粒化策略明确分为两个过程：[[信息转换]]（Information Conversion）和[[信息丢弃]]（Information Discarding）。在信息转换阶段，可逆神经网络确保所有相关信息被保留；在信息丢弃阶段，投影算子 <math>\chi</math> 丢弃不必要的维度，从而将微观状态压缩为有意义的宏观状态。这种分离提供了对信息通道宽度（Width of the Information Channel）的控制，并支持将过程分解为可逆和不可逆的组件进行解析。通过结合这两个过程，NIS框架在保持宏观状态因果性最大化的同时，保证计算的可行性。
| |
| − | | |
| − | === 有效信息的近似计算 ===
| |
| − | | |
| − | 在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。详细计算步骤如下：
| |
| | | | |
| | ==== 定义输入输出空间与噪声模型 ==== | | ==== 定义输入输出空间与噪声模型 ==== |