更改

[[文件:互信息EI.png|替代=|无框|500x500像素]]

[[文件:互信息EI.png|替代=|无框|500x500像素]]

=基于NIS方法观察神经网络层间EI变化=

=基于连续方法观察神经网络层间EI变化=

本实验通过NIS框架所提供的EI计算方法，研究了神经网络在MNIST和IRIS任务中的逐层[[有效信息]]动态变化。实验分别使用五层网络（25→6→6→6→5）和四层网络（4→5→5→3）进行训练，并记录了每一层的EI值随训练轮次（epoch）的变化情况。实验结果通过下图展示，揭示了神经网络在训练过程中的信息流动和转换效率。

本实验通过基于连续方法的EI计算方法，研究了神经网络在MNIST和IRIS任务中的逐层[[有效信息]]动态变化。实验分别使用五层网络（25→6→6→6→5）和四层网络（4→5→5→3）进行训练，并记录了每一层的EI值随训练轮次（epoch）的变化情况。实验结果通过下图展示，揭示了神经网络在训练过程中的信息流动和转换效率。

在MNIST任务中，左侧图表展示了五层网络的EI动态变化。从图中可以看出，随着训练的进行，每一层的EI值逐渐趋于稳定，且不同层之间的EI变化具有一致性。例如，`X-T1`（输入层到第一隐藏层）的EI值在训练初期波动较大，但随着训练轮次的增加逐渐收敛。`T1-T2`、`T2-T3`的EI值也表现出类似的趋势，`T3-Y`（隐藏层之间及最后一层到输出层）始终相对平稳，验证了网络结构的鲁棒性和稳定性。值得注意的是，`X-T1`的EI值最终稳定在较高水平，表明第一层对信息的处理能力较强。

在MNIST任务中，左侧图表展示了五层网络的EI动态变化。从图中可以看出，随着训练的进行，每一层的EI值逐渐趋于稳定，且不同层之间的EI变化具有一致性。例如，`X-T1`（输入层到第一隐藏层）的EI值在训练初期波动较大，但随着训练轮次的增加逐渐收敛。`T1-T2`、`T2-T3`的EI值也表现出类似的趋势，`T3-Y`（隐藏层之间及最后一层到输出层）始终相对平稳，验证了网络结构的鲁棒性和稳定性。值得注意的是，`X-T1`的EI值最终稳定在较高水平，表明第一层对信息的处理能力较强。