更改

=基于连续方法观察神经网络EI=

=基于连续方法观察神经网络EI=

 

本实验基于连续方法计算互信息的思路，复现了两个基准分类任务（Iris和MNIST)上训练的网络的有效信息并观察有效信息在层之间的动态，并进一步观察EI动态与损失函数的关系。对于Iris任务，我们训练了一个具有三层全连接的网络（4→5→5→3），而对于MNIST任务，我们使用了一个四层全连接的网络（25→6→6→6→5），两个任务都使用了Sigmoid激活函数且没有偏置项，且通过从均匀分布中采样来初始化权重，并使用均方误差（MSE）损失函数和普通梯度下降法进行训练。同样我们也是发现，EI的最大变化与训练过程中损失函数最陡峭的部分显著匹配；在过拟合期间，EI在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化了。

本实验基于连续方法计算互信息的思路，复现了两个基准分类任务（Iris和MNIST)上训练的网络的有效信息并观察有效信息在层之间的动态，并进一步观察EI动态与损失函数的关系。对于Iris任务，我们训练了一个具有三层全连接的网络（4→5→5→3），而对于MNIST任务，我们使用了一个四层全连接的网络（25→6→6→6→5），两个任务都使用了Sigmoid激活函数且没有偏置项，且通过从均匀分布中采样来初始化权重，并使用均方误差（MSE）损失函数和普通梯度下降法进行训练。同样我们也是发现，EI的最大变化与训练过程中损失函数最陡峭的部分显著匹配；在过拟合期间，EI在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化了。

下图展示了连续方法训练过程中神经网络各层EI和损失函数的变化。图(a)和图(c)分别显示了Iris任务中训练集和测试集的损失函数变化。可以看到，在训练初期，损失函数快速下降，同时图(b)和图(d)的EI也发生了显著变化。该网络在过拟合阶段，损失函数趋于平缓，EI基本保持不变。由于MNIST任务复杂度更高，EI的变化幅度更大，表明网络在复杂任务中需要更多的因果结构调整来适应任务需求。总体而言，EI的变化与损失函数的变化密切相关，尤其是在学习的关键阶段，这一发现有助于我们理解神经网络如何通过调整其内部因果结构来适应不同的任务。

下图展示了连续方法训练过程中神经网络各层EI和损失函数的变化。图(a)和图(c)分别显示了Iris任务中训练集和测试集的损失函数变化。可以看到，在训练初期，损失函数快速下降，同时图(b)和图(d)的EI也发生了显著变化。该网络在过拟合阶段，损失函数趋于平缓，EI基本保持不变。由于MNIST任务复杂度更高，EI的变化幅度更大，表明网络在复杂任务中需要更多的因果结构调整来适应任务需求。总体而言，EI的变化与损失函数的变化密切相关，尤其是在学习的关键阶段，这一发现有助于我们理解神经网络如何通过调整其内部因果结构来适应不同的任务。

[[文件:0ca0b8cc70c27bbceb3aedde9bc331d.jpg|center|500x500像素|MNIST与IRIS基于连续方法的EI]]

[[文件:0ca0b8cc70c27bbceb3aedde9bc331d.jpg|center|500x500像素|MNIST与IRIS基于连续方法的EI]]

    同时我们也按照离散的方法复现了（单节点→单节点）EI随着激活函数网络权重的变化趋势（如图所示），发现在相同激活函数，不同的bins，对于EI值最高点所对应的网络权重都是一样的，然而在相同bins，不同激活函数网络中，EI值最高点所对应的网络权重是不一样的。

同时我们也按照离散的方法复现了（单节点→单节点）EI随着激活函数网络权重的变化趋势（如图所示），发现在相同激活函数，不同的bins，对于EI值最高点所对应的网络权重都是一样的，然而在相同bins，不同激活函数网络中，EI值最高点所对应的网络权重是不一样的。

[[文件:EI1.png|center|500x500像素|离散EI]]

[[文件:EI1.png|center|500x500像素|离散EI]]

=总结=

=总结=

[[人工神经网络]]的[[有效信息]]计算是理解其内部机制和泛化能力的关键。通过引入基于[[信息论]]的工具——[[有效信息]]，研究者能够量化神经网络中层与层之间的因果关系。在离散方法中，EI通过最大熵扰动下的输入与输出之间的[[互信息]]，捕捉网络层间的因果作用强度，揭示网络在训练过程中因果结构的动态演化。具体而言，EI通过对网络层节点施加独立且随机的最大熵噪声，计算扰动后输出与输入之间的[[互信息]]，从而量化因果关系的强度。这种方法不仅能够反映网络因果结构的[[敏感性]]和[[简并性]]，还能帮助研究者追踪网络训练过程中各层因果结构的变化路径。此外，连续方法则是通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。NIS通过优化有效信息来寻找最优的粗粒化策略和宏观动力学，实验表明其能够在多个经典系统中自动发现有效的宏观状态和动力学，并在不同尺度下展现出显著的[[因果涌现]]效应。这些基于有效信息的计算方法为解决神经网络的可解释性问题提供了新思路，帮助研究者观察网络训练过程中因果结构的变化，推动对神经网络内部机制的理解。

[[人工神经网络]]的[[有效信息]]计算是理解其内部机制和泛化能力的关键。通过引入基于[[信息论]]的工具——[[有效信息]]，研究者能够量化神经网络中层与层之间的因果关系。在离散方法中，EI通过最大熵扰动下的输入与输出之间的[[互信息]]，捕捉网络层间的因果作用强度，揭示网络在训练过程中因果结构的动态演化。具体而言，EI通过对网络层节点施加独立且随机的最大熵噪声，计算扰动后输出与输入之间的[[互信息]]，从而量化因果关系的强度。这种方法不仅能够反映网络因果结构的[[敏感性]]和[[简并性]]，还能帮助研究者追踪网络训练过程中各层因果结构的变化路径。此外，连续方法则是通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。NIS通过优化有效信息来寻找最优的粗粒化策略和宏观动力学，实验表明其能够在多个经典系统中自动发现有效的宏观状态和动力学，并在不同尺度下展现出显著的[[因果涌现]]效应。这些基于有效信息的计算方法为解决神经网络的可解释性问题提供了新思路，帮助研究者观察网络训练过程中因果结构的变化，推动对神经网络内部机制的理解。

= 参考文献 =

=参考文献=

<references />

<references />