更改

下图展示了训练过程中神经网络各层EI和损失函数的变化。图(a)和图(c)分别显示了Iris任务中训练集和测试集的损失函数变化。可以看到，在训练初期，损失函数快速下降，同时图(b)和图(d)的EI也发生了显著变化。在过拟合阶段，损失函数趋于平缓，EI也基本保持不变。由于MNIST任务复杂度更高，EI的变化幅度更大，表明网络在复杂任务中需要更多的因果结构调整来适应任务需求。总体而言，EI的变化与损失函数的变化密切相关，尤其是在学习的关键阶段，这一发现有助于我们理解神经网络如何通过调整其内部因果结构来适应不同的任务。

下图展示了训练过程中神经网络各层EI和损失函数的变化。图(a)和图(c)分别显示了Iris任务中训练集和测试集的损失函数变化。可以看到，在训练初期，损失函数快速下降，同时图(b)和图(d)的EI也发生了显著变化。在过拟合阶段，损失函数趋于平缓，EI也基本保持不变。由于MNIST任务复杂度更高，EI的变化幅度更大，表明网络在复杂任务中需要更多的因果结构调整来适应任务需求。总体而言，EI的变化与损失函数的变化密切相关，尤其是在学习的关键阶段，这一发现有助于我们理解神经网络如何通过调整其内部因果结构来适应不同的任务。

[[文件:互信息EI.png|500x500像素|thumb|center|MNIST和Iris任务中训练集和测试集的损失函数变化，引自<ref>Scythia Marrow, Eric J. Michaud, and Erik Hoel. Examining the Causal Structures of Deep Neural Networks Using Information Theory. In Entropy, volume 22, pages 1429, 2020.</ref>]]<br>

[[文件:互信息EI.png|500x500像素|thumb|center|MNIST和Iris任务中训练集和测试集的损失函数变化，引自<ref name='examine_causal_structure'>Scythia Marrow, Eric J. Michaud, and Erik Hoel. Examining the Causal Structures of Deep Neural Networks Using Information Theory. In Entropy, volume 22, pages 1429, 2020.</ref>]]<br>

 

==基于连续方法观察神经网络EI==

==基于连续方法观察神经网络EI==