更改

一层的简并性衡量因果关系中有多少信息因重叠连接而丢失，并通过代数方法计算其增敏性-EI，增敏性衡量网络中非重叠连接的信息贡献。下图显示了具有不同连接权重的两个输入节点和一个输出节点（具有S形激活）的层的增敏性和简并流形。它们之间的差异形成了EI歧管。

一层的简并性衡量因果关系中有多少信息因重叠连接而丢失，并通过代数方法计算其增敏性-EI，增敏性衡量网络中非重叠连接的信息贡献。下图显示了具有不同连接权重的两个输入节点和一个输出节点（具有S形激活）的层的增敏性和简并流形。它们之间的差异形成了EI歧管。

[[文件:截屏2024-12-14 21.48.56.png |替代=|无框|500x500像素]]

[[文件:截屏2024-12-14 21.48.56.png |替代=|无框|600x600像素]]

之前对图的EI（基于随机游走动力学）的研究已经找到了一种对不同规范网络进行分类的方法，如Erd̋os-Rényi随机图、无标度网络和轮辐模型，基于它们在随机游走的决定论和简并性方面的位置<ref name=":1" />。在DNN中，一个敏感术语取代了决定论。

之前对图的EI（基于随机游走动力学）的研究已经找到了一种对不同规范网络进行分类的方法，如Erd̋os-Rényi随机图、无标度网络和轮辐模型，基于它们在随机游走的决定论和简并性方面的位置<ref name=":1" />。在DNN中，一个敏感术语取代了决定论。

为了检验层的因果结构在训练过程中必然会发生差异的假设，对具有sigmoid激活函数的MNIST训练网络进行了两种修改：一种情况下删除了隐藏层，另一种情况是添加了许多冗余的隐藏层（下图c-d）。网络的两个修改都与之前的网络一样准确。在因果平面上，添加的冗余层几乎没有变化，表明在训练过程中对EI的净贡献为零（有关视频，请参阅GitHub）。这显示了与更动态的层相比，对网络因果结构没有贡献的冗余层如何沿着EI零点聚集并且移动很少。

为了检验层的因果结构在训练过程中必然会发生差异的假设，对具有sigmoid激活函数的MNIST训练网络进行了两种修改：一种情况下删除了隐藏层，另一种情况是添加了许多冗余的隐藏层（下图c-d）。网络的两个修改都与之前的网络一样准确。在因果平面上，添加的冗余层几乎没有变化，表明在训练过程中对EI的净贡献为零（有关视频，请参阅GitHub）。这显示了与更动态的层相比，对网络因果结构没有贡献的冗余层如何沿着EI零点聚集并且移动很少。

[[文件:截屏2024-12-14 21.49.16.png|替代=|无框|600x600像素]]

[[文件:截屏2024-12-14 21.49.16.png|替代=|无框|500x500像素]]

=测量层间连通性的联合效应=

=测量层间连通性的联合效应=