5,443
个编辑
更改
跳到导航
跳到搜索
第83行：
第83行： − +
→因果平面中的深度神经网络
为了检验层的因果结构在训练过程中必然会发生差异的假设，对具有sigmoid激活函数的MNIST训练网络进行了两种修改：一种情况下删除了隐藏层，另一种情况是添加了许多冗余的隐藏层（下图c-d）。网络的两个修改都与之前的网络一样准确。在因果平面上，添加的冗余层几乎没有变化，表明在训练过程中对EI的净贡献为零（有关视频，请参阅GitHub）。这显示了与更动态的层相比，对网络因果结构没有贡献的冗余层如何沿着EI零点聚集并且移动很少。
为了检验层的因果结构在训练过程中必然会发生差异的假设，对具有sigmoid激活函数的MNIST训练网络进行了两种修改：一种情况下删除了隐藏层，另一种情况是添加了许多冗余的隐藏层（下图c-d）。网络的两个修改都与之前的网络一样准确。在因果平面上，添加的冗余层几乎没有变化，表明在训练过程中对EI的净贡献为零（有关视频，请参阅GitHub）。这显示了与更动态的层相比，对网络因果结构没有贡献的冗余层如何沿着EI零点聚集并且移动很少。
[[文件:截屏2024-12-14 21.49.16.png|替代=|无框|500x500像素]]
[[文件:截屏2024-12-14 21.49.16.png|替代=|无框|600x600像素]]
=测量层间连通性的联合效应=
=测量层间连通性的联合效应=