更改

请注意，特征峰值揭示了哪些权重代表（孤立考虑的连接）的强因果关系。例如，一个sigmoid激活函数在等于欧拉数的aweight处具有最具信息量的因果关系，一个tanh激活函数在权重coth（1）处具有信息量，一个ReLU激活函数在重量1处具有信息力。这表明DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的。例如，对于sigmoid激活函数和连接A→B的极高权重，A的激活对扰动的信息量不大，因为大多数扰动都会导致B的输出在1处饱和。     

请注意，特征峰值揭示了哪些权重代表（孤立考虑的连接）的强因果关系。例如，一个sigmoid激活函数在等于欧拉数的aweight处具有最具信息量的因果关系，一个tanh激活函数在权重coth（1）处具有信息量，一个ReLU激活函数在重量1处具有信息力。这表明DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的。例如，对于sigmoid激活函数和连接A→B的极高权重，A的激活对扰动的信息量不大，因为大多数扰动都会导致B的输出在1处饱和。     

在多个连接的情况下，EI曲线成为更高维度的EI歧管。图1d-f显示了由两个节点（A、B）组成的层的EI（A，B→C），每个节点都与C有一个连接。由于扰动会相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或通用性，从而形成流形。例如，在sigmoid激活函数中，EI流形大约是2倍对称的，这是由于sigmoid在正负权重周围的对称性，再加上网络本身的对称性（因为神经元A和Bony都连接到C）。

在多个连接的情况下，EI曲线成为更高维度的EI歧管。图1d-f显示了由两个节点（A、B）组成的层的EI（A，B→C），每个节点都与C有一个连接。由于扰动会相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或通用性，从而形成流形。例如，在sigmoid激活函数中，EI流形大约是2倍对称的，这是由于sigmoid在正负权重周围的对称性，再加上网络本身的对称性（因为神经元A和Bony都连接到C）。

然而，首先，我们评估了在常见机器学习任务的训练网络过程中，EI的变化是如何发生的。

然而，首先，我们评估了在常见机器学习任务的训练网络过程中，EI的变化是如何发生的。

=训练过程中因果结构的变化=

=训练过程中因果结构的变化=