更改

为了研究深度神经网络（DNN）在学习过程中因果结构的变化，我们使用了两个经典的分类任务来训练网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。通过跟踪[[有效信息]]变化，我们能够揭示网络内部因果结构的演化，并进一步说明复杂度对因果结构的影响。

为了研究深度神经网络（DNN）在学习过程中因果结构的变化，我们使用了两个经典的分类任务来训练网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。通过跟踪[[有效信息]]变化，我们能够揭示网络内部因果结构的演化，并进一步说明复杂度对因果结构的影响。

训练过程我们使用以下架构。(1)Iris任务：我们使用了一个四层神经网络，结构为4→5→5→3。输入层有4个神经元，对应Iris数据集的4个特征（如花萼长度、花萼宽度等）；两个隐藏层各有5个神经元；输出层有3个神经元，对应3种鸢尾花的分类。(2)MNIST任务：我们使用了一个四层神经网络，结构为25→6→6→5。输入层有25个神经元，对应5x5的输入图像（原始MNIST图像为28x28，我们进行了降维处理）；两个隐藏层各有6个神经元；输出层有5个神经元，对应数字0到4的分类（我们删除了数字5到9以简化任务）。

训练过程我们使用以下架构。(1)Iris任务：我们使用了一个四层神经网络，结构为4→5→5→3。输入层有4个神经元，对应Iris数据集的4个特征（如花萼长度、花萼宽度等）；两个隐藏层各有5个神经元；输出层有3个神经元，对应3种鸢尾花的分类。(2)MNIST任务：我们使用了一个五层神经网络，结构为25→6→6→6→5。输入层有25个神经元，对应5x5的输入图像（原始MNIST图像为28x28，我们进行了降维处理）；三个隐藏层各有6个神经元；输出层有5个神经元，对应数字0到4的分类（我们删除了数字5到9以简化任务）。

在训练参数上的选取上如下。我们使用均方误差（MSE）作为损失函数，梯度下降作为优化算法，学习率为0.01。Iris网络训练了4000个epoch，批量大小为10；MNIST网络训练了500个epoch，批量大小为50。权重初始化采用均匀分布，确保初始权重在合理范围内。权重从以下分布中采样：

在训练参数上的选取上如下。我们使用均方误差（MSE）作为损失函数，梯度下降作为优化算法，学习率为0.01。Iris网络训练了4000个epoch，批量大小为10；MNIST网络训练了500个epoch，批量大小为50。权重初始化采用均匀分布，确保初始权重在合理范围内。权重从以下分布中采样：