更改

将上述四项代入公式，即可得到神经网络的有效信息值。此方法通过解析公式与采样结合，显著降低了高维空间的计算复杂度，适用于实际场景中的EI评估。

将上述四项代入公式，即可得到神经网络的有效信息值。此方法通过解析公式与采样结合，显著降低了高维空间的计算复杂度，适用于实际场景中的EI评估。

=基于离散方法计算神经网络层间EI=

==基于离散方法计算神经网络层间EI==

本实验通过传统互信息方法计算了在两个基准分类任务（Iris和MNIST）上训练的网络的[[有效信息]]并观察有效信息在层之间的动态，并进一步观察EI动态与损失函数的关系。对于Iris任务，我们训练了一个具有三层全连接的网络（4→5→5→3），而对于MNIST任务，我们使用了一个四层全连接神经网络（25→6→6→5），两个任务都使用了Sigmoid激活函数且没有偏置项。我们通过从均匀分布中采样来初始化权重，并使用均方误差（MSE）损失函数和普通梯度下降法进行训练。为了计算EI，我们对每一层的输入注入最大熵的噪声，并记录每一层的输出与输入之间的互信息。我们发现，EI的最大变化与训练过程中损失函数最陡峭的部分显著匹配。在过拟合期间，EI在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化。

本实验通过传统互信息方法计算了在两个基准分类任务（Iris和MNIST）上训练的网络的[[有效信息]]并观察有效信息在层之间的动态，并进一步观察EI动态与损失函数的关系。对于Iris任务，我们训练了一个具有三层全连接的网络（4→5→5→3），而对于MNIST任务，我们使用了一个四层全连接神经网络（25→6→6→5），两个任务都使用了Sigmoid激活函数且没有偏置项。我们通过从均匀分布中采样来初始化权重，并使用均方误差（MSE）损失函数和普通梯度下降法进行训练。为了计算EI，我们对每一层的输入注入最大熵的噪声，并记录每一层的输出与输入之间的互信息。我们发现，EI的最大变化与训练过程中损失函数最陡峭的部分显著匹配。在过拟合期间，EI在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化。