143
个编辑
更改
跳到导航
跳到搜索
第78行：
第78行： + + + + + + + + + + + + + + + + + + + + + + +
→基于离散方法的有效信息计算
数值越高，不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>，有效信息的增减既可能来自敏感度变化，也可能来自简并度的反向变化，该分解可区分网络训练中因果结构演化的内在机制。
数值越高，不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>，有效信息的增减既可能来自敏感度变化，也可能来自简并度的反向变化，该分解可区分网络训练中因果结构演化的内在机制。
=== 因果平面 ===
基于敏感度与简并度的二维分解，研究者构建了因果平面（Causal Plane），用于可视化网络层的因果结构，直观呈现层的功能定位与训练过程中的结构演化。
因果平面以敏感度为横轴、简并度为纵轴，平面内存在一条 45° 的EI 零零线（nullcline）：线上敏感度与简并度相等，有效信息为 0；点位于零零线右下方时有效信息为正，距离越远，层间因果传导能力越强；点位于左上方时有效信息为负，权重重叠的干扰超过独立传导的信息总量。
因果平面的主要应用包括：
* 层功能定位：高敏感度层多负责独立特征提取，高简并度层多承担特征融合与冗余编码功能。
* 训练轨迹追踪：可记录层在训练中的坐标变化。典型监督训练中，网络层通常先提升敏感度（有效信息上升，学习独立特征），后提高简并度（有效信息回落，学习特征融合）。
* 冗余层识别：无实质功能的冗余层始终贴近零零线，训练中位置几乎不变，可作为结构化剪枝的量化依据。
* 任务复杂度对比：简单线性任务的网络层分化程度低、轨迹差异小；复杂非线性任务的网络层分化明显，各层轨迹区分度高。
=== 前馈整合信息 ===
有效信息仅能刻画层间整体因果强度，无法区分信息来自神经元独立作用还是多神经元协同效应。基于离散扰动框架，研究者进一步定义前馈整合信息（\(\phi_{feedforward}\)），量化层间的高阶联合因果效应，拓展了整合信息理论在前馈网络中的适用边界。首先计算独立作用总和 \(EI_{parts}\)：在全层同步最大熵扰动的条件下，计算所有输入 - 输出神经元对的两两互信息并求和。与敏感度不同，\(EI_{parts}\) 保留了神经元同时激活的背景语境，仅在统计阶段拆解为单对累加。前馈整合信息为总有效信息与独立作用总和的差值：
\(\phi_{feedforward} = EI - EI_{parts}\)
数值正负对应不同的联合效应：正值表示多神经元协同产生了额外因果信息，复杂非线性任务通常伴随更高的正值整合信息；负值表示多神经元激活相互干扰抵消，总有效信息低于独立作用之和。传统整合信息理论认为前馈网络因无循环连接，整合信息为 0；前馈整合信息则捕捉了前馈通路中神经元的高阶协同效应，补充了对前馈系统因果整合性的度量。实验验证，任务复杂度越高，网络训练后的前馈整合信息数值越大。=== 计算优化与工程实现 ===
全联合有效信息的计算复杂度随层宽度呈指数增长，大规模网络中难以直接精确计算。研究者发展出多种近似优化方法，并形成了配套开源工具。
==== 近似度量方法 ====
逐对分解法：通过 \(EI_{parts}\) 近似整体因果强度，将计算复杂度从指数级降为线性级，可适配更宽的网络层。
阈值收敛法：针对 \(EI_{parts}\) 采用倍增采样策略，当采样量翻倍带来的指标变化低于设定阈值时停止计算，在保证精度的同时控制采样成本。
曲线外推法：在不同采样量下测量 \(EI_{parts}\)，拟合函数 \(EI_{parts}(s) = \frac{A}{s^\alpha} + C\)，外推至无穷采样量下的收敛值，进一步降低大规模场景的计算开销。
==== 开源工具 deep-ei ====
deep-ei 是基于 PyTorch 实现的配套开源计算库，支持全连接层有效信息、敏感度、\(EI_{parts}\) 等指标的批量计算，内置自动分箱、批量采样、阈值收敛等功能，可直接对接标准 PyTorch 网络模型。工具库还提供网络拓扑解析能力，可自动识别层的激活函数与值域，简化参数配置流程。
=基于连续方法的有效信息计算=
=基于连续方法的有效信息计算=