5,443
个编辑
更改
跳到导航
跳到搜索
第84行：
第84行： + + + + 第90行：
第94行： − − [[文件:截屏2024-12-14 21.48.56.png |替代=|无框|700x700像素]]
→有效信息分解与因果平面
简并度越高，说明网络中的信息重叠越多，导致信息传递的效率降低。
简并度越高，说明网络中的信息重叠越多，导致信息传递的效率降低。
下图展示了有效信息(EI)如何由敏感度(Sensitivity)和简并度(Degeneracy)组成。图中显示了具有两个输入节点和一个输出节点的网络层（使用S形激活函数）的敏感度和简并度曲面。(a)展示了敏感度的曲面，表示网络中每条边独立传输信息的能力。(b)展示了简并度的曲面，表示由于边权重重叠导致的信息损失。(c)展示了EI 流形，它是通过将图(b)的简并度曲面从图(a)的敏感度曲面中减去得到的。因此我们可以直观地看到敏感度和简并度如何共同决定了有效信息的分布。
[[文件:截屏2024-12-14 21.48.56.png |替代=|无框|700x700像素]]
==因果平面==
==因果平面==
在实验中，我们观察到，MNIST由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化，而Iris由于任务较简单，网络层的因果结构分化较少，且更倾向于沿EI零线移动。此外，我们还发现，冗余层在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而动态层在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献。
在实验中，我们观察到，MNIST由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化，而Iris由于任务较简单，网络层的因果结构分化较少，且更倾向于沿EI零线移动。此外，我们还发现，冗余层在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而动态层在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献。
[[文件:截屏2024-12-14 21.49.16.png|替代=|无框|500x500像素]]
[[文件:截屏2024-12-14 21.49.16.png|替代=|无框|500x500像素]]