更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
神经网络的有效信息计算
(查看源代码)
2024年12月27日 (五) 23:41的版本
删除4字节
、
2024年12月27日 (五) 23:41
→实验结果
第63行:
第63行:
===实验结果===
===实验结果===
−
如下图所示。(a)和(c)分别展示了在Iris和MNIST任务中,均方误差损失(MSE Loss)
随训练epoch的变化情况。在训练初期,两个任务的训练损失和测试损失都迅速下降,表明模型正在快速学习任务;随着 epoch 的增加,损失逐渐趋于平稳,表明模型的学习速度减慢。在后期,训练损失继续下降,但测试损失趋于稳定甚至略有上升,表明模型可能开始过拟合。Iris 任务由于相对简单,损失下降较快且过拟合现象不明显;而 MNIST 任务更复杂,损失下降较慢且过拟合现象更为明显。下图
(b)和(d)展示了Iris和MNIST任务中EI随训练epoch的变化情况。Iris任务:图中显示了输入层到第一个隐藏层(X→T1)、第一个隐藏层到第二个隐藏层(T1→T2)、以及第二个隐藏层到输出层(T2→Y)的EI变化。可以看到,EI在训练初期变化显著,随着网络逐渐拟合任务,EI趋于稳定。MNIST任务:图中显示了第一个隐藏层到第二个隐藏层(T1→T2)、第二个隐藏层到第三个隐藏层(T2→T3)、以及第三个隐藏层到输出层(T3→Y)的EI变化。与Iris任务相比,MNIST任务的EI变化更加显著,表明复杂任务导致网络层的因果结构分化更大。以上结果说明任务复杂度对因果结构的影响:对于更复杂的任务(如MNIST),网络层的因果结构在训练过程中表现出更大的分化,不同层的EI变化更加显著。而对于较简单的任务(如Iris),因果结构的分化较少,EI的变化也相对较小。
+
如下图所示。(a)和(c)分别展示了在Iris和MNIST任务中,均方误差损失(MSE Loss)
随训练epoch的变化情况。在训练初期,两个任务的训练损失和测试损失都迅速下降,表明模型正在快速学习任务;随着epoch的增加,损失逐渐趋于平稳,表明模型的学习速度减慢。在后期,训练损失继续下降,但测试损失趋于稳定甚至略有上升,表明模型可能开始过拟合。Iris 任务由于相对简单,损失下降较快且过拟合现象不明显;而MNIST任务更复杂,损失下降较慢且过拟合现象更为明显。下图
(b)和(d)展示了Iris和MNIST任务中EI随训练epoch的变化情况。Iris任务:图中显示了输入层到第一个隐藏层(X→T1)、第一个隐藏层到第二个隐藏层(T1→T2)、以及第二个隐藏层到输出层(T2→Y)的EI变化。可以看到,EI在训练初期变化显著,随着网络逐渐拟合任务,EI趋于稳定。MNIST任务:图中显示了第一个隐藏层到第二个隐藏层(T1→T2)、第二个隐藏层到第三个隐藏层(T2→T3)、以及第三个隐藏层到输出层(T3→Y)的EI变化。与Iris任务相比,MNIST任务的EI变化更加显著,表明复杂任务导致网络层的因果结构分化更大。以上结果说明任务复杂度对因果结构的影响:对于更复杂的任务(如MNIST),网络层的因果结构在训练过程中表现出更大的分化,不同层的EI变化更加显著。而对于较简单的任务(如Iris),因果结构的分化较少,EI的变化也相对较小。
[[文件:图 2.png|替代=|无框|500x500像素]]
[[文件:图 2.png|替代=|无框|500x500像素]]
相信未来
5,443
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
捐赠我们
帮助
工具
特殊页面
可打印版本