更改

[[文件:截屏2024-12-14 21.48.56.png |替代=|无框|700x700像素]]

[[文件:截屏2024-12-14 21.48.56.png |替代=|无框|700x700像素]]

==因果平面揭示网络层因果结构分化==

==因果平面==

为了可视化网络层在训练过程中的变化，我们引入了[[因果平面]]。因果平面的两个维度分别是敏感度和简并度。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，EI将保持不变。在因果平面中，<math>y = x</math> 的直线称为EI的零线，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，EI增加；向简并度方向移动表示网络的简并度增加，EI减少；沿零线移动表示EI保持不变，网络层的因果结构没有显著变化。

为了可视化网络层在训练过程中的变化，我们引入了[[因果平面]]。因果平面的两个维度分别是敏感度和简并度。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，EI将保持不变。在因果平面中，<math>y = x</math> 的直线称为EI的零线，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，EI增加；向简并度方向移动表示网络的简并度增加，EI减少；沿零线移动表示EI保持不变，网络层的因果结构没有显著变化。

下图展示了我们在实验中观察到的现象。MNIST由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化(图b-d)。而Iris由于任务较简单，网络层的因果结构分化较少，且更倾向于沿EI零线移动(图a)。此外，我们还发现，冗余层在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而动态层在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献(图d)。

下图展示了我们在实验中观察到的现象。MNIST由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化(图b-d)。而Iris由于任务较简单，网络层的因果结构分化较少，且更倾向于沿EI零线移动(图a)。此外，我们还发现，冗余层在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而动态层在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献(图d)。