5,443
个编辑
更改
跳到导航
跳到搜索
第207行：
第207行： + + + + + + + + + + +
无编辑摘要
=基于NIS方法观察神经网络层间EI变化=
=基于NIS方法观察神经网络层间EI变化=
本实验通过NIS框架所提供的EI计算方法，研究了神经网络在MNIST和IRIS任务中的逐层[[有效信息]]动态变化。实验分别使用五层网络（25→6→6→6→5）和四层网络（4→5→5→3）进行训练，并记录了每一层的EI值随训练轮次（epoch）的变化情况。实验结果通过下图展示，揭示了神经网络在训练过程中的信息流动和转换效率。
在MNIST任务中，左侧图表展示了五层网络的EI动态变化。从图中可以看出，随着训练的进行，每一层的EI值逐渐趋于稳定，且不同层之间的EI变化具有一致性。例如，`X-T1`（输入层到第一隐藏层）的EI值在训练初期波动较大，但随着训练轮次的增加逐渐收敛。`T1-T2`、`T2-T3`的EI值也表现出类似的趋势，`T3-Y`（隐藏层之间及最后一层到输出层）始终相对平稳，验证了网络结构的鲁棒性和稳定性。值得注意的是，`X-T1`的EI值最终稳定在较高水平，表明第一层对信息的处理能力较强。
在IRIS任务中，右侧图表展示了四层网络的EI动态变化。与MNIST任务相比，IRIS任务的EI值变化范围较小，且整体趋势更为平缓。`X-T1`的EI值在训练前期呈现一定波动，随后趋于稳定，而`T1-T2`和`T2-Y`的EI值在整个训练过程中保持相对稳定。这表明IRIS任务中隐藏层对信息的处理效率较高，且网络能够快速收敛。此外，`T2-Y`的EI值最终稳定在较低水平(接近于0)，可能与IRIS数据集的简单性和网络结构的轻量化有关。
通过对比两个任务的实验结果，我们可以得出以下结论：
(1)任务复杂性影响EI动态：MNIST任务的EI值变化范围较大，反映了其较高的数据复杂性；而IRIS任务的EI值变化较小，表明其数据相对简单。
(2)网络结构对EI的影响：不同层之间的EI变化趋势反映了网络结构的信息处理能力。隐藏层之间的EI值变化显著，表明隐藏层在信息转换中起到了关键作用。
(3)训练稳定性：两个任务的EI值均随训练轮次的增加逐渐趋于稳定，验证了NIS方法在逐层有效信息分析中的有效性和普适性。
[[文件:NIS-EI实验.png|替代=|无框|900x700像素]]
[[文件:NIS-EI实验.png|替代=|无框|900x700像素]]