更改

<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>。为了计算EI，我们使用了固定长度的噪声注入（10^7个样本），以确保结果的收敛性。

<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>。为了计算EI，我们使用了固定长度的噪声注入（10^7个样本），以确保结果的收敛性。

===实验结果===

===结果展示===

如下图所示。(a)和(c)分别展示了在Iris和MNIST任务中，均方误差损失(MSE Loss)随训练epoch的变化情况。在训练初期，两个任务的训练损失和测试损失都迅速下降，表明模型正在快速学习任务；随着epoch的增加，损失逐渐趋于平稳，表明模型的学习速度减慢。在后期，训练损失继续下降，但测试损失趋于稳定甚至略有上升，表明模型可能开始过拟合。Iris 任务由于相对简单，损失下降较快且过拟合现象不明显；而MNIST任务更复杂，损失下降较慢且过拟合现象更为明显。下图(b)和(d)展示了Iris和MNIST任务中EI随训练epoch的变化情况。Iris任务：图中显示了输入层到第一个隐藏层（X→T1）、第一个隐藏层到第二个隐藏层（T1→T2）、以及第二个隐藏层到输出层（T2→Y）的EI变化。可以看到，EI在训练初期变化显著，随着网络逐渐拟合任务，EI趋于稳定。MNIST任务：图中显示了第一个隐藏层到第二个隐藏层（T1→T2）、第二个隐藏层到第三个隐藏层（T2→T3）、以及第三个隐藏层到输出层（T3→Y）的EI变化。与Iris任务相比，MNIST任务的EI变化更加显著，表明复杂任务导致网络层的因果结构分化更大。以上结果说明任务复杂度对因果结构的影响：对于更复杂的任务（如MNIST），网络层的因果结构在训练过程中表现出更大的分化，不同层的EI变化更加显著。而对于较简单的任务（如Iris），因果结构的分化较少，EI的变化也相对较小。

如下图所示。(a)和(c)分别展示了在Iris和MNIST任务中，均方误差损失(MSE Loss)随训练epoch的变化情况。在训练初期，两个任务的训练损失和测试损失都迅速下降，表明模型正在快速学习任务；随着epoch的增加，损失逐渐趋于平稳，表明模型的学习速度减慢。在后期，训练损失继续下降，但测试损失趋于稳定甚至略有上升，表明模型可能开始过拟合。Iris 任务由于相对简单，损失下降较快且过拟合现象不明显；而MNIST任务更复杂，损失下降较慢且过拟合现象更为明显。下图(b)和(d)展示了Iris和MNIST任务中EI随训练epoch的变化情况。Iris任务：图中显示了输入层到第一个隐藏层（X→T1）、第一个隐藏层到第二个隐藏层（T1→T2）、以及第二个隐藏层到输出层（T2→Y）的EI变化。可以看到，EI在训练初期变化显著，随着网络逐渐拟合任务，EI趋于稳定。MNIST任务：图中显示了第一个隐藏层到第二个隐藏层（T1→T2）、第二个隐藏层到第三个隐藏层（T2→T3）、以及第三个隐藏层到输出层（T3→Y）的EI变化。与Iris任务相比，MNIST任务的EI变化更加显著，表明复杂任务导致网络层的因果结构分化更大。以上结果说明任务复杂度对因果结构的影响：对于更复杂的任务（如MNIST），网络层的因果结构在训练过程中表现出更大的分化，不同层的EI变化更加显著。而对于较简单的任务（如Iris），因果结构的分化较少，EI的变化也相对较小。