更改

第63行: 第63行:     
===实验结果===
 
===实验结果===
−
如下图所示。(a)和(c)分别展示了在Iris和MNIST任务中,均方误差损失(MSE Loss)随训练epoch的变化情况。在训练初期,两个任务的训练损失和测试损失都迅速下降,表明模型正在快速学习任务;随着 epoch 的增加,损失逐渐趋于平稳,表明模型的学习速度减慢。在后期,训练损失继续下降,但测试损失趋于稳定甚至略有上升,表明模型可能开始过拟合。Iris 任务由于相对简单,损失下降较快且过拟合现象不明显;而 MNIST 任务更复杂,损失下降较慢且过拟合现象更为明显。下图(b)和(d)展示了Iris和MNIST任务中EI随训练epoch的变化情况。Iris任务:图中显示了输入层到第一个隐藏层(X→T1)、第一个隐藏层到第二个隐藏层(T1→T2)、以及第二个隐藏层到输出层(T2→Y)的EI变化。可以看到,EI在训练初期变化显著,随着网络逐渐拟合任务,EI趋于稳定。MNIST任务:图中显示了第一个隐藏层到第二个隐藏层(T1→T2)、第二个隐藏层到第三个隐藏层(T2→T3)、以及第三个隐藏层到输出层(T3→Y)的EI变化。与Iris任务相比,MNIST任务的EI变化更加显著,表明复杂任务导致网络层的因果结构分化更大。以上结果说明任务复杂度对因果结构的影响:对于更复杂的任务(如MNIST),网络层的因果结构在训练过程中表现出更大的分化,不同层的EI变化更加显著。而对于较简单的任务(如Iris),因果结构的分化较少,EI的变化也相对较小。
+
如下图所示。(a)和(c)分别展示了在Iris和MNIST任务中,均方误差损失(MSE Loss)随训练epoch的变化情况。在训练初期,两个任务的训练损失和测试损失都迅速下降,表明模型正在快速学习任务;随着epoch的增加,损失逐渐趋于平稳,表明模型的学习速度减慢。在后期,训练损失继续下降,但测试损失趋于稳定甚至略有上升,表明模型可能开始过拟合。Iris 任务由于相对简单,损失下降较快且过拟合现象不明显;而MNIST任务更复杂,损失下降较慢且过拟合现象更为明显。下图(b)和(d)展示了Iris和MNIST任务中EI随训练epoch的变化情况。Iris任务:图中显示了输入层到第一个隐藏层(X→T1)、第一个隐藏层到第二个隐藏层(T1→T2)、以及第二个隐藏层到输出层(T2→Y)的EI变化。可以看到,EI在训练初期变化显著,随着网络逐渐拟合任务,EI趋于稳定。MNIST任务:图中显示了第一个隐藏层到第二个隐藏层(T1→T2)、第二个隐藏层到第三个隐藏层(T2→T3)、以及第三个隐藏层到输出层(T3→Y)的EI变化。与Iris任务相比,MNIST任务的EI变化更加显著,表明复杂任务导致网络层的因果结构分化更大。以上结果说明任务复杂度对因果结构的影响:对于更复杂的任务(如MNIST),网络层的因果结构在训练过程中表现出更大的分化,不同层的EI变化更加显著。而对于较简单的任务(如Iris),因果结构的分化较少,EI的变化也相对较小。
    
[[文件:图 2.png|替代=|无框|500x500像素]]
 
[[文件:图 2.png|替代=|无框|500x500像素]]
5,443

个编辑