5,443
个编辑
更改
跳到导航
跳到搜索
第53行：
第53行： − [[文件:Nn ei2.png|居左]] − 图3:EI由灵敏度和简并性组成。上述曲面是具有两个输入节点和一个输出节点的alayer的灵敏度和简并性，具有sigmoid激活函数。从表面（a）中减去表面（b）得到EImanifold，如（c）所示
→训练过程中因果结构的变化
从定性上讲，我们观察到，EI的最大变化与训练过程中损失曲线的最陡部分显著匹配，并且在最大学习期间，EI通常是动态的（如图2所示）。在训练性能与测试性能分离的过拟合期间，EI在所有层上通常都是平坦的，这表明在网络适当拟合后，因果结构中的信息在此期间没有变化。
从定性上讲，我们观察到，EI的最大变化与训练过程中损失曲线的最陡部分显著匹配，并且在最大学习期间，EI通常是动态的（如图2所示）。在训练性能与测试性能分离的过拟合期间，EI在所有层上通常都是平坦的，这表明在网络适当拟合后，因果结构中的信息在此期间没有变化。