143
个编辑
更改
跳到导航
跳到搜索
第82行：
第82行： − 因果平面的主要应用包括：+ − * 层功能定位：高敏感度层多负责独立特征提取，高简并度层多承担特征融合与冗余编码功能。+ − * 训练轨迹追踪：可记录层在训练中的坐标变化。典型监督训练中，网络层通常先提升敏感度（有效信息上升，学习独立特征），后提高简并度（有效信息回落，学习特征融合）。+ − * 冗余层识别：无实质功能的冗余层始终贴近零零线，训练中位置几乎不变，可作为结构化剪枝的量化依据。+ − * 任务复杂度对比：简单线性任务的网络层分化程度低、轨迹差异小；复杂非线性任务的网络层分化明显，各层轨迹区分度高。+
→因果平面
基于敏感度与简并度的二维分解，研究者构建了因果平面（Causal Plane），用于可视化网络层的因果结构，直观呈现层的功能定位与训练过程中的结构演化。
基于敏感度与简并度的二维分解，研究者构建了因果平面（Causal Plane），用于可视化网络层的因果结构，直观呈现层的功能定位与训练过程中的结构演化。
因果平面以敏感度为横轴、简并度为纵轴，平面内存在一条 45° 的EI 零零线（nullcline）：线上敏感度与简并度相等，有效信息为 0；点位于零零线右下方时有效信息为正，距离越远，层间因果传导能力越强；点位于左上方时有效信息为负，权重重叠的干扰超过独立传导的信息总量。
因果平面以敏感度为横轴、简并度为纵轴，平面内存在一条 45° 的EI 零零线（nullcline）：线上敏感度与简并度相等，有效信息为 0；点位于零零线右下方时有效信息为正，距离越远，层间因果传导能力越强；点位于左上方时有效信息为负，权重重叠的干扰超过独立传导的信息总量。
结合下图的四组实验，因果平面的四项分析功能可直观体现：
任务复杂度对比：对比 (a) Iris 与 (b) MNIST 可见，简单线性任务的各层轨迹集中、分化弱；复杂非线性任务的层间轨迹差距显著，因果结构分化更充分。
层功能定位：如 (b) 中所示，浅层输入层高敏感度、高简并度，对应特征提取与融合；深层输出层数值更低、通路更清晰，对应分类表征输出。
训练轨迹追踪：各层轨迹普遍先向右延伸（敏感度上升，EI 增长，学习独立特征），后向上偏移（简并度上升，EI 回落，学习特征融合）；轨迹末端趋平，对应过拟合期因果结构趋于稳定。
冗余层识别：对比 (c) 单隐层与 (d) 五隐层网络可见，冗余层紧贴 EI 零零线，训练中几乎无位移，对因果结构无实质贡献，可作为结构化剪枝的量化依据。
=== 前馈整合信息 ===
=== 前馈整合信息 ===