神经网络的有效信息计算 - 版本历史

郑鸿盛：/* 近似度量方法 */

2026-09-24T10:09:48Z

近似度量方法

郑鸿盛：/* 基于离散方法的有效信息计算 */

2026-09-24T08:17:49Z

基于离散方法的有效信息计算

郑鸿盛：/* 前馈整合信息 */

2026-06-26T10:04:10Z

前馈整合信息

郑鸿盛：/* 因果平面 */

2026-06-26T09:59:01Z

因果平面

郑鸿盛：/* 因果平面 */

2026-06-26T09:39:49Z

因果平面

郑鸿盛：/* 因果平面 */

2026-06-26T09:39:17Z

因果平面

郑鸿盛：/* 因果平面 */

2026-06-26T09:24:45Z

因果平面

郑鸿盛：/* 基于离散方法的有效信息计算 */

2026-06-26T09:15:58Z

基于离散方法的有效信息计算

郑鸿盛：/* 有效信息的分解：敏感度与简并度 */

2026-06-26T09:01:04Z

有效信息的分解：敏感度与简并度

郑鸿盛：/* 有效信息的分解：敏感度与简并度 */

2026-06-26T09:00:35Z

有效信息的分解：敏感度与简并度

@@ 第95行： / 第95行： @@
 ==== 近似度量方法 ====
-逐对分解法：通过 <math>EI_{parts}</math> 近似整体因果强度，将计算复杂度从指数级降为线性级，可适配更宽的网络层。
+- 逐对分解法：通过 <math>EI_{parts}</math> 近似整体因果强度，将计算复杂度从指数级降为线性级，可适配更宽的网络层。
-阈值收敛法：针对 <math>EI_{parts}</math> 采用倍增采样策略，当采样量翻倍带来的指标变化低于设定阈值时停止计算，在保证精度的同时控制采样成本。
+- 阈值收敛法：针对 <math>EI_{parts}</math> 采用倍增采样策略，当采样量翻倍带来的指标变化低于设定阈值时停止计算，在保证精度的同时控制采样成本。
-曲线外推法：在不同采样量下测量 <math>EI_{parts}</math>，拟合函数 <math>EI_{parts}(s) = \frac{A}{s^\alpha} + C</math>，外推至无穷采样量下的收敛值，进一步降低大规模场景的计算开销。
+- 曲线外推法：在不同采样量下测量 <math>EI_{parts}</math>，拟合函数 <math>EI_{parts}(s) = \frac{A}{s^\alpha} + C</math>，外推至无穷采样量下的收敛值，进一步降低大规模场景的计算开销。
 ==== 开源工具 deep-ei ====

@@ 第57行： / 第57行： @@
 <math>P(x, y)</math> 是输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的联合概率分布。
 <math>P(x)</math> 和 <math>P(y)</math> 分别是输入层和输出层的边缘概率分布。
 === 有效信息的分解：敏感度与简并度 ===
@@ 第78行： / 第76行： @@
 数值越高，不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>，有效信息的增减既可能来自敏感度变化，也可能来自简并度的反向变化，该分解可区分网络训练中因果结构演化的内在机制。
 === 因果平面 ===

@@ 第90行： / 第90行： @@
 === 前馈整合信息 ===
-有效信息仅能刻画层间整体因果强度，无法区分信息来自神经元独立作用还是多神经元协同效应。基于离散扰动框架，研究者进一步定义前馈整合信息（\(\phi_{feedforward}\)），量化层间的高阶联合因果效应，拓展了整合信息理论在前馈网络中的适用边界。首先计算独立作用总和 \(EI_{parts}\)：在全层同步最大熵扰动的条件下，计算所有输入 - 输出神经元对的两两互信息并求和。与敏感度不同，\(EI_{parts}\) 保留了神经元同时激活的背景语境，仅在统计阶段拆解为单对累加。前馈整合信息为总有效信息与独立作用总和的差值：
+有效信息仅能刻画层间整体因果强度，无法区分信息来自神经元独立作用还是多神经元协同效应。基于离散扰动框架，研究者进一步定义前馈整合信息（<math>\phi_{feedforward}</math>），量化层间的高阶联合因果效应，拓展了整合信息理论在前馈网络中的适用边界。首先计算独立作用总和 <math>EI_{parts}</math>：在全层同步最大熵扰动的条件下，计算所有输入 - 输出神经元对的两两互信息并求和。与敏感度不同，<math>EI_{parts}</math> 保留了神经元同时激活的背景语境，仅在统计阶段拆解为单对累加。前馈整合信息为总有效信息与独立作用总和的差值：
-\(\phi_{feedforward} = EI - EI_{parts}\)
+<math>\phi_{feedforward} = EI - EI_{parts}</math>
-数值正负对应不同的联合效应：正值表示多神经元协同产生了额外因果信息，复杂非线性任务通常伴随更高的正值整合信息；负值表示多神经元激活相互干扰抵消，总有效信息低于独立作用之和。传统整合信息理论认为前馈网络因无循环连接，整合信息为 0；前馈整合信息则捕捉了前馈通路中神经元的高阶协同效应，补充了对前馈系统因果整合性的度量。实验验证，任务复杂度越高，网络训练后的前馈整合信息数值越大。=== 计算优化与工程实现 ===
+数值正负对应不同的联合效应：正值表示多神经元协同产生了额外因果信息，复杂非线性任务通常伴随更高的正值整合信息；负值表示多神经元激活相互干扰抵消，总有效信息低于独立作用之和。传统整合信息理论认为前馈网络因无循环连接，整合信息为 0；前馈整合信息则捕捉了前馈通路中神经元的高阶协同效应，补充了对前馈系统因果整合性的度量。实验验证，任务复杂度越高，网络训练后的前馈整合信息数值越大。
 ==== 近似度量方法 ====
-逐对分解法：通过 \(EI_{parts}\) 近似整体因果强度，将计算复杂度从指数级降为线性级，可适配更宽的网络层。
+逐对分解法：通过 <math>EI_{parts}</math> 近似整体因果强度，将计算复杂度从指数级降为线性级，可适配更宽的网络层。
-阈值收敛法：针对 \(EI_{parts}\) 采用倍增采样策略，当采样量翻倍带来的指标变化低于设定阈值时停止计算，在保证精度的同时控制采样成本。
+阈值收敛法：针对 <math>EI_{parts}</math> 采用倍增采样策略，当采样量翻倍带来的指标变化低于设定阈值时停止计算，在保证精度的同时控制采样成本。
-曲线外推法：在不同采样量下测量 \(EI_{parts}\)，拟合函数 \(EI_{parts}(s) = \frac{A}{s^\alpha} + C\)，外推至无穷采样量下的收敛值，进一步降低大规模场景的计算开销。
+曲线外推法：在不同采样量下测量 <math>EI_{parts}</math>，拟合函数 <math>EI_{parts}(s) = \frac{A}{s^\alpha} + C</math>，外推至无穷采样量下的收敛值，进一步降低大规模场景的计算开销。
 ==== 开源工具 deep-ei ====
-deep-ei 是基于 PyTorch 实现的配套开源计算库，支持全连接层有效信息、敏感度、\(EI_{parts}\) 等指标的批量计算，内置自动分箱、批量采样、阈值收敛等功能，可直接对接标准 PyTorch 网络模型。工具库还提供网络拓扑解析能力，可自动识别层的激活函数与值域，简化参数配置流程。
+deep-ei 是基于 PyTorch 实现的配套开源计算库，支持全连接层有效信息、敏感度、<math>EI_{parts}</math> 等指标的批量计算，内置自动分箱、批量采样、阈值收敛等功能，可直接对接标准 PyTorch 网络模型。工具库还提供网络拓扑解析能力，可自动识别层的激活函数与值域，简化参数配置流程。
 =基于连续方法的有效信息计算=

@@ 第82行： / 第82行： @@
 基于敏感度与简并度的二维分解，研究者构建了因果平面（Causal Plane），用于可视化网络层的因果结构，直观呈现层的功能定位与训练过程中的结构演化。
 因果平面以敏感度为横轴、简并度为纵轴，平面内存在一条 45° 的EI 零零线（nullcline）：线上敏感度与简并度相等，有效信息为 0；点位于零零线右下方时有效信息为正，距离越远，层间因果传导能力越强；点位于左上方时有效信息为负，权重重叠的干扰超过独立传导的信息总量。
-结合下图的四组实验，因果平面的四项分析功能可直观体现：
+下图对标准因果平面做了坐标旋转变换，把原本倾斜的 45° 零值线调整为竖直黑线，横轴对应有效信息 EI 的大小，纵轴对应敏感度与简并度的绝对量级，更便于横向对比各层的有效信息强弱，结合四组实验，因果平面的四项分析功能可直观体现：
 * 任务复杂度对比：对比 (a) Iris 与 (b) MNIST 可见，简单线性任务的各层轨迹集中、分化弱；复杂非线性任务的层间轨迹差距显著，因果结构分化更充分。
 * 层功能定位：如 (b) 中所示，浅层输入层高敏感度、高简并度，对应特征提取与融合；深层输出层数值更低、通路更清晰，对应分类表征输出。

@@ 第83行： / 第83行： @@
 因果平面以敏感度为横轴、简并度为纵轴，平面内存在一条 45° 的EI 零零线（nullcline）：线上敏感度与简并度相等，有效信息为 0；点位于零零线右下方时有效信息为正，距离越远，层间因果传导能力越强；点位于左上方时有效信息为负，权重重叠的干扰超过独立传导的信息总量。
 结合下图的四组实验，因果平面的四项分析功能可直观体现：
-任务复杂度对比：对比 (a) Iris 与 (b) MNIST 可见，简单线性任务的各层轨迹集中、分化弱；复杂非线性任务的层间轨迹差距显著，因果结构分化更充分。
+* 任务复杂度对比：对比 (a) Iris 与 (b) MNIST 可见，简单线性任务的各层轨迹集中、分化弱；复杂非线性任务的层间轨迹差距显著，因果结构分化更充分。
-层功能定位：如 (b) 中所示，浅层输入层高敏感度、高简并度，对应特征提取与融合；深层输出层数值更低、通路更清晰，对应分类表征输出。
+* 层功能定位：如 (b) 中所示，浅层输入层高敏感度、高简并度，对应特征提取与融合；深层输出层数值更低、通路更清晰，对应分类表征输出。
-训练轨迹追踪：各层轨迹普遍先向右延伸（敏感度上升，EI 增长，学习独立特征），后向上偏移（简并度上升，EI 回落，学习特征融合）；轨迹末端趋平，对应过拟合期因果结构趋于稳定。
+* 训练轨迹追踪：各层轨迹普遍先向右延伸（敏感度上升，EI 增长，学习独立特征），后向上偏移（简并度上升，EI 回落，学习特征融合）；轨迹末端趋平，对应过拟合期因果结构趋于稳定。
-冗余层识别：对比 (c) 单隐层与 (d) 五隐层网络可见，冗余层紧贴 EI 零零线，训练中几乎无位移，对因果结构无实质贡献，可作为结构化剪枝的量化依据。
+* 冗余层识别：对比 (c) 单隐层与 (d) 五隐层网络可见，冗余层紧贴 EI 零零线，训练中几乎无位移，对因果结构无实质贡献，可作为结构化剪枝的量化依据。
 [[文件:因果平面.png|无|缩略图|600x600像素|因果平面]]

←上一版本		2026年6月26日 (五) 09:15的版本
第78行：		第78行：

	数值越高，不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>，有效信息的增减既可能来自敏感度变化，也可能来自简并度的反向变化，该分解可区分网络训练中因果结构演化的内在机制。		数值越高，不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>，有效信息的增减既可能来自敏感度变化，也可能来自简并度的反向变化，该分解可区分网络训练中因果结构演化的内在机制。
		+
		+	=== 因果平面 ===
		+	基于敏感度与简并度的二维分解，研究者构建了因果平面（Causal Plane），用于可视化网络层的因果结构，直观呈现层的功能定位与训练过程中的结构演化。
		+	因果平面以敏感度为横轴、简并度为纵轴，平面内存在一条 45° 的EI 零零线（nullcline）：线上敏感度与简并度相等，有效信息为 0；点位于零零线右下方时有效信息为正，距离越远，层间因果传导能力越强；点位于左上方时有效信息为负，权重重叠的干扰超过独立传导的信息总量。
		+	因果平面的主要应用包括：
		+	* 层功能定位：高敏感度层多负责独立特征提取，高简并度层多承担特征融合与冗余编码功能。
		+	* 训练轨迹追踪：可记录层在训练中的坐标变化。典型监督训练中，网络层通常先提升敏感度（有效信息上升，学习独立特征），后提高简并度（有效信息回落，学习特征融合）。
		+	* 冗余层识别：无实质功能的冗余层始终贴近零零线，训练中位置几乎不变，可作为结构化剪枝的量化依据。
		+	* 任务复杂度对比：简单线性任务的网络层分化程度低、轨迹差异小；复杂非线性任务的网络层分化明显，各层轨迹区分度高。
		+
		+	=== 前馈整合信息 ===
		+	有效信息仅能刻画层间整体因果强度，无法区分信息来自神经元独立作用还是多神经元协同效应。基于离散扰动框架，研究者进一步定义前馈整合信息（\(\phi_{feedforward}\)），量化层间的高阶联合因果效应，拓展了整合信息理论在前馈网络中的适用边界。首先计算独立作用总和 \(EI_{parts}\)：在全层同步最大熵扰动的条件下，计算所有输入 - 输出神经元对的两两互信息并求和。与敏感度不同，\(EI_{parts}\) 保留了神经元同时激活的背景语境，仅在统计阶段拆解为单对累加。前馈整合信息为总有效信息与独立作用总和的差值：
		+	\(\phi_{feedforward} = EI - EI_{parts}\)
		+	数值正负对应不同的联合效应：正值表示多神经元协同产生了额外因果信息，复杂非线性任务通常伴随更高的正值整合信息；负值表示多神经元激活相互干扰抵消，总有效信息低于独立作用之和。传统整合信息理论认为前馈网络因无循环连接，整合信息为 0；前馈整合信息则捕捉了前馈通路中神经元的高阶协同效应，补充了对前馈系统因果整合性的度量。实验验证，任务复杂度越高，网络训练后的前馈整合信息数值越大。=== 计算优化与工程实现 ===
		+	全联合有效信息的计算复杂度随层宽度呈指数增长，大规模网络中难以直接精确计算。研究者发展出多种近似优化方法，并形成了配套开源工具。
		+
		+	==== 近似度量方法 ====
		+	逐对分解法：通过 \(EI_{parts}\) 近似整体因果强度，将计算复杂度从指数级降为线性级，可适配更宽的网络层。
		+	阈值收敛法：针对 \(EI_{parts}\) 采用倍增采样策略，当采样量翻倍带来的指标变化低于设定阈值时停止计算，在保证精度的同时控制采样成本。
		+	曲线外推法：在不同采样量下测量 \(EI_{parts}\)，拟合函数 \(EI_{parts}(s) = \frac{A}{s^\alpha} + C\)，外推至无穷采样量下的收敛值，进一步降低大规模场景的计算开销。
		+
		+	==== 开源工具 deep-ei ====
		+	deep-ei 是基于 PyTorch 实现的配套开源计算库，支持全连接层有效信息、敏感度、\(EI_{parts}\) 等指标的批量计算，内置自动分箱、批量采样、阈值收敛等功能，可直接对接标准 PyTorch 网络模型。工具库还提供网络拓扑解析能力，可自动识别层的激活函数与值域，简化参数配置流程。

	=基于连续方法的有效信息计算=		=基于连续方法的有效信息计算=

@@ 第64行： / 第64行： @@
 ==== 敏感度 ====
 敏感度衡量层间所有连接独立传递扰动的总能力。计算时逐个对上游单个神经元施加最大熵干预、其余神经元激活置零，累加所有输入 - 输出神经元对的互信息：
 <math>
 Sensitivity = \sum_{i \in L_1, j \in L_2} I(t_i, t_j) \mid do(i=H^{\text{max}})
 </math>
 它是层间因果信息的理论上限；当下游神经元仅接收唯一上游连接时，敏感度与有效信息数值相等。
 ==== 简并度 ====
 简并度衡量权重重叠导致的因果信息损耗，反映多源扰动在下游的混淆程度，数值上等于敏感度与有效信息的差值：
 <math>
 Degeneracy = Sensitivity - EI
 </math>
 数值越高，不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>，有效信息的增减既可能来自敏感度变化，也可能来自简并度的反向变化，该分解可区分网络训练中因果结构演化的内在机制。