更改

在多个连接的情况下，EI曲线成为更高维度的EI歧管。图1d-f显示了由两个节点（A、B）组成的层的EI（A，B→C），每个节点都与C有一个连接。由于扰动会相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或通用性，从而形成流形。例如，在sigmoid激活函数中，EI流形大约是2倍对称的，这是由于sigmoid在正负权重周围的对称性，再加上网络本身的对称性（因为神经元A和Bony都连接到C）。

在多个连接的情况下，EI曲线成为更高维度的EI歧管。图1d-f显示了由两个节点（A、B）组成的层的EI（A，B→C），每个节点都与C有一个连接。由于扰动会相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或通用性，从而形成流形。例如，在sigmoid激活函数中，EI流形大约是2倍对称的，这是由于sigmoid在正负权重周围的对称性，再加上网络本身的对称性（因为神经元A和Bony都连接到C）。

请注意，虽然区间的数量决定了曲线的幅度，但它们之间的上升/下降行为是一致的，这表明只要区间大小固定在某个选定的值，比率和行为就会保持不变（图1对a-c使用30000个时间步长进行噪声注入，对d-f使用100000个样本）。如果噪声注入足够长并且箱大小足够高，则DNN层的EI值倾向于收敛到特定值。这可以在SI第1节中找到证据。

请注意，虽然区间的数量决定了曲线的幅度，但它们之间的上升/下降行为是一致的，这表明只要区间大小固定在某个选定的值，比率和行为就会保持不变（下图显示对a-c使用30000个时间步长进行噪声注入，对d-f使用100000个样本）。如果噪声注入足够长并且箱大小足够高，则DNN层的EI值倾向于收敛到特定值。这可以在SI第1节中找到证据。

然而，首先，我们评估了在常见机器学习任务的训练网络过程中，EI的变化是如何发生的。

然而，首先，我们评估了在常见机器学习任务的训练网络过程中，EI的变化是如何发生的。