更改

跳到导航 跳到搜索
第83行: 第83行:  
因果平面以敏感度为横轴、简并度为纵轴,平面内存在一条 45° 的EI 零零线(nullcline):线上敏感度与简并度相等,有效信息为 0;点位于零零线右下方时有效信息为正,距离越远,层间因果传导能力越强;点位于左上方时有效信息为负,权重重叠的干扰超过独立传导的信息总量。
 
因果平面以敏感度为横轴、简并度为纵轴,平面内存在一条 45° 的EI 零零线(nullcline):线上敏感度与简并度相等,有效信息为 0;点位于零零线右下方时有效信息为正,距离越远,层间因果传导能力越强;点位于左上方时有效信息为负,权重重叠的干扰超过独立传导的信息总量。
 
结合下图的四组实验,因果平面的四项分析功能可直观体现:
 
结合下图的四组实验,因果平面的四项分析功能可直观体现:
−
任务复杂度对比:对比 (a) Iris 与 (b) MNIST 可见,简单线性任务的各层轨迹集中、分化弱;复杂非线性任务的层间轨迹差距显著,因果结构分化更充分。
+
* 任务复杂度对比:对比 (a) Iris 与 (b) MNIST 可见,简单线性任务的各层轨迹集中、分化弱;复杂非线性任务的层间轨迹差距显著,因果结构分化更充分。
−
层功能定位:如 (b) 中所示,浅层输入层高敏感度、高简并度,对应特征提取与融合;深层输出层数值更低、通路更清晰,对应分类表征输出。
+
* 层功能定位:如 (b) 中所示,浅层输入层高敏感度、高简并度,对应特征提取与融合;深层输出层数值更低、通路更清晰,对应分类表征输出。
−
训练轨迹追踪:各层轨迹普遍先向右延伸(敏感度上升,EI 增长,学习独立特征),后向上偏移(简并度上升,EI 回落,学习特征融合);轨迹末端趋平,对应过拟合期因果结构趋于稳定。
+
* 训练轨迹追踪:各层轨迹普遍先向右延伸(敏感度上升,EI 增长,学习独立特征),后向上偏移(简并度上升,EI 回落,学习特征融合);轨迹末端趋平,对应过拟合期因果结构趋于稳定。
−
冗余层识别:对比 (c) 单隐层与 (d) 五隐层网络可见,冗余层紧贴 EI 零零线,训练中几乎无位移,对因果结构无实质贡献,可作为结构化剪枝的量化依据。
+
* 冗余层识别:对比 (c) 单隐层与 (d) 五隐层网络可见,冗余层紧贴 EI 零零线,训练中几乎无位移,对因果结构无实质贡献,可作为结构化剪枝的量化依据。
 
[[文件:因果平面.png|无|缩略图|600x600像素|因果平面]]
 
[[文件:因果平面.png|无|缩略图|600x600像素|因果平面]]
  
143

个编辑

导航菜单