5,443
个编辑
更改
跳到导航
跳到搜索
第93行：
第93行： − 在实验中，我们观察到，MNIST由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化，而Iris由于任务较简单，网络层的因果结构分化较少，且更倾向于沿EI零线移动。此外，我们还发现，冗余层在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而动态层在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献。+
→因果平面
为了可视化网络层在训练过程中的变化，我们引入了[[因果平面]]。因果平面的两个维度分别是敏感度和简并度。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，EI将保持不变。在因果平面中，<math>y = x</math> 的直线称为EI的零线，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，EI增加；向简并度方向移动表示网络的简并度增加，EI减少；沿零线移动表示EI保持不变，网络层的因果结构没有显著变化。
为了可视化网络层在训练过程中的变化，我们引入了[[因果平面]]。因果平面的两个维度分别是敏感度和简并度。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，EI将保持不变。在因果平面中，<math>y = x</math> 的直线称为EI的零线，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，EI增加；向简并度方向移动表示网络的简并度增加，EI减少；沿零线移动表示EI保持不变，网络层的因果结构没有显著变化。
下图展示了我们在实验中观察到的现象。MNIST由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化(图b-d)。而Iris由于任务较简单，网络层的因果结构分化较少，且更倾向于沿EI零线移动(图a)。此外，我们还发现，冗余层在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而动态层在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献(图d)。
[[文件:截屏2024-12-14 21.49.16.png|替代=|无框|500x500像素]]
[[文件:截屏2024-12-14 21.49.16.png|替代=|无框|500x500像素]]