更改

=== 前馈整合信息 ===

=== 前馈整合信息 ===

有效信息仅能刻画层间整体因果强度，无法区分信息来自神经元独立作用还是多神经元协同效应。基于离散扰动框架，研究者进一步定义前馈整合信息（\(\phi_{feedforward}\)），量化层间的高阶联合因果效应，拓展了整合信息理论在前馈网络中的适用边界。首先计算独立作用总和 \(EI_{parts}\)：在全层同步最大熵扰动的条件下，计算所有输入 - 输出神经元对的两两互信息并求和。与敏感度不同，\(EI_{parts}\) 保留了神经元同时激活的背景语境，仅在统计阶段拆解为单对累加。前馈整合信息为总有效信息与独立作用总和的差值：

有效信息仅能刻画层间整体因果强度，无法区分信息来自神经元独立作用还是多神经元协同效应。基于离散扰动框架，研究者进一步定义前馈整合信息（<math>\phi_{feedforward}</math>），量化层间的高阶联合因果效应，拓展了整合信息理论在前馈网络中的适用边界。首先计算独立作用总和 <math>EI_{parts}</math>：在全层同步最大熵扰动的条件下，计算所有输入 - 输出神经元对的两两互信息并求和。与敏感度不同，<math>EI_{parts}</math> 保留了神经元同时激活的背景语境，仅在统计阶段拆解为单对累加。前馈整合信息为总有效信息与独立作用总和的差值：

\(\phi_{feedforward} = EI - EI_{parts}\)

<math>\phi_{feedforward} = EI - EI_{parts}</math>

数值正负对应不同的联合效应：正值表示多神经元协同产生了额外因果信息，复杂非线性任务通常伴随更高的正值整合信息；负值表示多神经元激活相互干扰抵消，总有效信息低于独立作用之和。传统整合信息理论认为前馈网络因无循环连接，整合信息为 0；前馈整合信息则捕捉了前馈通路中神经元的高阶协同效应，补充了对前馈系统因果整合性的度量。实验验证，任务复杂度越高，网络训练后的前馈整合信息数值越大。=== 计算优化与工程实现 ===

数值正负对应不同的联合效应：正值表示多神经元协同产生了额外因果信息，复杂非线性任务通常伴随更高的正值整合信息；负值表示多神经元激活相互干扰抵消，总有效信息低于独立作用之和。传统整合信息理论认为前馈网络因无循环连接，整合信息为 0；前馈整合信息则捕捉了前馈通路中神经元的高阶协同效应，补充了对前馈系统因果整合性的度量。实验验证，任务复杂度越高，网络训练后的前馈整合信息数值越大。

==== 近似度量方法 ====

==== 近似度量方法 ====

逐对分解法：通过 \(EI_{parts}\) 近似整体因果强度，将计算复杂度从指数级降为线性级，可适配更宽的网络层。

逐对分解法：通过 <math>EI_{parts}</math> 近似整体因果强度，将计算复杂度从指数级降为线性级，可适配更宽的网络层。

阈值收敛法：针对 \(EI_{parts}\) 采用倍增采样策略，当采样量翻倍带来的指标变化低于设定阈值时停止计算，在保证精度的同时控制采样成本。

阈值收敛法：针对 <math>EI_{parts}</math> 采用倍增采样策略，当采样量翻倍带来的指标变化低于设定阈值时停止计算，在保证精度的同时控制采样成本。

曲线外推法：在不同采样量下测量 \(EI_{parts}\)，拟合函数 \(EI_{parts}(s) = \frac{A}{s^\alpha} + C\)，外推至无穷采样量下的收敛值，进一步降低大规模场景的计算开销。

曲线外推法：在不同采样量下测量 <math>EI_{parts}</math>，拟合函数 <math>EI_{parts}(s) = \frac{A}{s^\alpha} + C</math>，外推至无穷采样量下的收敛值，进一步降低大规模场景的计算开销。

==== 开源工具 deep-ei ====

==== 开源工具 deep-ei ====

deep-ei 是基于 PyTorch 实现的配套开源计算库，支持全连接层有效信息、敏感度、\(EI_{parts}\) 等指标的批量计算，内置自动分箱、批量采样、阈值收敛等功能，可直接对接标准 PyTorch 网络模型。工具库还提供网络拓扑解析能力，可自动识别层的激活函数与值域，简化参数配置流程。

deep-ei 是基于 PyTorch 实现的配套开源计算库，支持全连接层有效信息、敏感度、<math>EI_{parts}</math> 等指标的批量计算，内置自动分箱、批量采样、阈值收敛等功能，可直接对接标准 PyTorch 网络模型。工具库还提供网络拓扑解析能力，可自动识别层的激活函数与值域，简化参数配置流程。

=基于连续方法的有效信息计算=

=基于连续方法的有效信息计算=