5,443
个编辑
更改
跳到导航
跳到搜索
第49行：
第49行： + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→训练过程中因果结构的变化
=训练过程中因果结构的变化=
=训练过程中因果结构的变化=
为了研究深度神经网络（DNN）在学习过程中因果结构的变化，我们使用了两个经典的分类任务来训练网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。通过跟踪[[有效信息]]变化，我们能够揭示网络内部因果结构的演化。
==实验设置==
网络架构：
(1)Iris任务：我们使用了一个四层神经网络，结构为4→5→5→3。输入层有4个神经元，对应Iris数据集的4个特征（如花萼长度、花萼宽度等）；两个隐藏层各有5个神经元；输出层有3个神经元，对应3种鸢尾花的分类。
(2)MNIST任务：我们使用了一个四层神经网络，结构为25→6→6→5。输入层有25个神经元，对应5x5的输入图像（原始MNIST图像为28x28，我们进行了降维处理）；两个隐藏层各有6个神经元；输出层有5个神经元，对应数字0到4的分类（我们删除了数字5到9以简化任务）。
训练参数：
我们使用均方误差（MSE）作为损失函数，梯度下降作为优化算法，学习率为0.01。Iris网络训练了4000个epoch，批量大小为10；MNIST网络训练了500个epoch，批量大小为50。权重初始化采用均匀分布，确保初始权重在合理范围内。权重从以下分布中采样：
<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>
为了计算EI，我们使用了固定长度的噪声注入（10^7个样本），以确保结果的收敛性。
因果结构的变化
EI与损失曲线的关系：
在训练过程中，我们发现EI的最大变化与损失曲线的最陡部分（即网络学习最快的阶段）显著匹配。这意味着在网络快速学习的阶段，因果结构发生了显著变化。在过拟合阶段，当训练性能与测试性能分离时，EI在所有层上趋于平坦，表明网络的因果结构在这一阶段没有发生显著变化。这意味着网络已经拟合了任务，因果结构趋于稳定。
任务复杂度的影响：
对于更复杂的任务（如MNIST），网络层的因果结构在训练过程中表现出更大的分化，不同层的EI变化更加显著。而对于较简单的任务（如Iris），因果结构的分化较少，EI的变化也相对较小。
下图展示了Iris和MNIST任务中EI随训练epoch的变化情况：
Iris任务：图中显示了输入层到第一个隐藏层（X→T1）、第一个隐藏层到第二个隐藏层（T1→T2）、以及第二个隐藏层到输出层（T2→Y）的EI变化。可以看到，EI在训练初期变化显著，随着网络逐渐拟合任务，EI趋于稳定。
MNIST任务：图中显示了第一个隐藏层到第二个隐藏层（T1→T2）、第二个隐藏层到第三个隐藏层（T2→T3）、以及第三个隐藏层到输出层（T3→Y）的EI变化。与Iris任务相比，MNIST任务的EI变化更加显著，表明复杂任务导致网络层的因果结构分化更大。
为了了解DNN的因果结构在学习过程中是如何变化的，我们跟踪了用两个基准分类任务训练的EIin网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。对于Iris，我们训练了具有三个密集连接层4→5→5→3的网络，对于MNIST，我们使用了具有四个紧密连接层25→6→6→5的网络，使用sigmoid激活函数，并且两个任务都没有偏差。对于MNIST，我们将输入从28x28整形为5x5，并从数据集中删除了数字5-9的示例，这样最后一层只有5个节点——这是为了降低准确计算EI的计算成本。这两个任务的网络都用MSE损失和香草梯度下降训练，学习率为0.01。我们训练了批量大小为10的Irisnetworks 4000个epoch和批量大小为50的MNIST网络500个epoch。我们通过从均匀分布<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>中采样来初始化权重。对于每个任务和体系结构，我们执行三次具有不同初始化的运行。使用相同的网络架构，我们还训练了具有tanh和ReLU激活函数的网络——结果可以在SI第7.2节中找到。为了计算EI，我们使用107个样本的固定噪声注入长度。我们发现，在我们的网络中，注入这个长度就足以确保收敛（见SI第7.1节）。然而，请注意，更宽的网络层可能需要更多的样本。
为了了解DNN的因果结构在学习过程中是如何变化的，我们跟踪了用两个基准分类任务训练的EIin网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。对于Iris，我们训练了具有三个密集连接层4→5→5→3的网络，对于MNIST，我们使用了具有四个紧密连接层25→6→6→5的网络，使用sigmoid激活函数，并且两个任务都没有偏差。对于MNIST，我们将输入从28x28整形为5x5，并从数据集中删除了数字5-9的示例，这样最后一层只有5个节点——这是为了降低准确计算EI的计算成本。这两个任务的网络都用MSE损失和香草梯度下降训练，学习率为0.01。我们训练了批量大小为10的Irisnetworks 4000个epoch和批量大小为50的MNIST网络500个epoch。我们通过从均匀分布<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>中采样来初始化权重。对于每个任务和体系结构，我们执行三次具有不同初始化的运行。使用相同的网络架构，我们还训练了具有tanh和ReLU激活函数的网络——结果可以在SI第7.2节中找到。为了计算EI，我们使用107个样本的固定噪声注入长度。我们发现，在我们的网络中，注入这个长度就足以确保收敛（见SI第7.1节）。然而，请注意，更宽的网络层可能需要更多的样本。