5,443
个编辑
更改
跳到导航
跳到搜索
第48行：
第48行： − + − + − ==实验设置==+ − ===网络架构===+ − (1)Iris任务：我们使用了一个四层神经网络，结构为4→5→5→3。输入层有4个神经元，对应Iris数据集的4个特征（如花萼长度、花萼宽度等）；两个隐藏层各有5个神经元；输出层有3个神经元，对应3种鸢尾花的分类。 − (2)MNIST任务：我们使用了一个四层神经网络，结构为25→6→6→5。输入层有25个神经元，对应5x5的输入图像（原始MNIST图像为28x28，我们进行了降维处理）；两个隐藏层各有6个神经元；输出层有5个神经元，对应数字0到4的分类（我们删除了数字5到9以简化任务）。 − − ===训练参数=== − 我们使用均方误差（MSE）作为损失函数，梯度下降作为优化算法，学习率为0.01。Iris网络训练了4000个epoch，批量大小为10；MNIST网络训练了500个epoch，批量大小为50。权重初始化采用均匀分布，确保初始权重在合理范围内。权重从以下分布中采样： − ===复杂度对因果结构的影响===+ − 如下图所示。(a)和(c)分别展示了在Iris和MNIST任务中，均方误差损失(MSE Loss)随训练epoch的变化情况。在训练初期，两个任务的训练损失和测试损失都迅速下降，表明模型正在快速学习任务；随着epoch的增加，损失逐渐趋于平稳，表明模型的学习速度减慢。在后期，训练损失继续下降，但测试损失趋于稳定甚至略有上升，表明模型可能开始过拟合。Iris 任务由于相对简单，损失下降较快且过拟合现象不明显；而MNIST任务更复杂，损失下降较慢且过拟合现象更为明显。下图(b)和(d)展示了Iris和MNIST任务中EI随训练epoch的变化情况。Iris任务：图中显示了输入层到第一个隐藏层（X→T1）、第一个隐藏层到第二个隐藏层（T1→T2）、以及第二个隐藏层到输出层（T2→Y）的EI变化。可以看到，EI在训练初期变化显著，随着网络逐渐拟合任务，EI趋于稳定。MNIST任务：图中显示了第一个隐藏层到第二个隐藏层（T1→T2）、第二个隐藏层到第三个隐藏层（T2→T3）、以及第三个隐藏层到输出层（T3→Y）的EI变化。与Iris任务相比，MNIST任务的EI变化更加显著，表明复杂任务导致网络层的因果结构分化更大。以上结果说明任务复杂度对因果结构的影响：对于更复杂的任务（如MNIST），网络层的因果结构在训练过程中表现出更大的分化，不同层的EI变化更加显著。而对于较简单的任务（如Iris），因果结构的分化较少，EI的变化也相对较小。
→训练过程中因果结构的变化
[[文件:图 1.png|替代=|无框|500x500像素]]
[[文件:图 1.png|替代=|无框|500x500像素]]
=训练过程中因果结构的变化=
=复杂度对因果结构的影响=
为了研究深度神经网络（DNN）在学习过程中因果结构的变化，我们使用了两个经典的分类任务来训练网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。通过跟踪[[有效信息]]变化，我们能够揭示网络内部因果结构的演化。
为了研究深度神经网络（DNN）在学习过程中因果结构的变化，我们使用了两个经典的分类任务来训练网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。通过跟踪[[有效信息]]变化，我们能够揭示网络内部因果结构的演化，并进一步说明复杂度对因果结构的影响。
训练过程我们使用以下架构。(1)Iris任务：我们使用了一个四层神经网络，结构为4→5→5→3。输入层有4个神经元，对应Iris数据集的4个特征（如花萼长度、花萼宽度等）；两个隐藏层各有5个神经元；输出层有3个神经元，对应3种鸢尾花的分类。(2)MNIST任务：我们使用了一个四层神经网络，结构为25→6→6→5。输入层有25个神经元，对应5x5的输入图像（原始MNIST图像为28x28，我们进行了降维处理）；两个隐藏层各有6个神经元；输出层有5个神经元，对应数字0到4的分类（我们删除了数字5到9以简化任务）。
在训练参数上的选取上如下。我们使用均方误差（MSE）作为损失函数，梯度下降作为优化算法，学习率为0.01。Iris网络训练了4000个epoch，批量大小为10；MNIST网络训练了500个epoch，批量大小为50。权重初始化采用均匀分布，确保初始权重在合理范围内。权重从以下分布中采样：
<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>。为了计算EI，我们使用了固定长度的噪声注入（10^7个样本），以确保结果的收敛性。
<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>。为了计算EI，我们使用了固定长度的噪声注入（10^7个样本），以确保结果的收敛性。
训练结果如下图所示。(a)和(c)分别展示了在Iris和MNIST任务中，均方误差损失(MSE Loss)随训练epoch的变化情况。在训练初期，两个任务的训练损失和测试损失都迅速下降，表明模型正在快速学习任务；随着epoch的增加，损失逐渐趋于平稳，表明模型的学习速度减慢。在后期，训练损失继续下降，但测试损失趋于稳定甚至略有上升，表明模型可能开始过拟合。Iris 任务由于相对简单，损失下降较快且过拟合现象不明显；而MNIST任务更复杂，损失下降较慢且过拟合现象更为明显。下图(b)和(d)展示了Iris和MNIST任务中EI随训练epoch的变化情况。Iris任务：图中显示了输入层到第一个隐藏层（X→T1）、第一个隐藏层到第二个隐藏层（T1→T2）、以及第二个隐藏层到输出层（T2→Y）的EI变化。可以看到，EI在训练初期变化显著，随着网络逐渐拟合任务，EI趋于稳定。MNIST任务：图中显示了第一个隐藏层到第二个隐藏层（T1→T2）、第二个隐藏层到第三个隐藏层（T2→T3）、以及第三个隐藏层到输出层（T3→Y）的EI变化。与Iris任务相比，MNIST任务的EI变化更加显著，表明复杂任务导致网络层的因果结构分化更大。以上结果说明任务复杂度对因果结构的影响：对于更复杂的任务（如MNIST），网络层的因果结构在训练过程中表现出更大的分化，不同层的EI变化更加显著。而对于较简单的任务（如Iris），因果结构的分化较少，EI的变化也相对较小。
[[文件:图 2.png|替代=|无框|500x500像素]]
[[文件:图 2.png|替代=|无框|500x500像素]]