5,443
个编辑
更改
→基于连续方法观察神经网络EI
=基于连续方法观察神经网络EI=
=基于连续方法观察神经网络EI=
本实验基于连续方法计算互信息的思路，复现了两个基准分类任务（Iris和MNIST)上训练的网络的有效信息并观察有效信息在层之间的动态，并进一步观察EI动态与损失函数的关系。对于Iris任务，我们训练了一个具有三层全连接的网络（4→5→5→3），而对于MNIST任务，我们使用了一个四层全连接的网络（25→6→6→6→5），两个任务都使用了Sigmoid激活函数且没有偏置项，且通过从均匀分布中采样来初始化权重，并使用均方误差（MSE）损失函数和普通梯度下降法进行训练。同样我们也是发现，EI的最大变化与训练过程中损失函数最陡峭的部分显著匹配；在过拟合期间，EI在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化了。
下图展示了连续方法训练过程中神经网络各层EI和损失函数的变化。图(a)和图(c)分别显示了Iris任务中训练集和测试集的损失函数变化。可以看到，在训练初期，损失函数快速下降，同时图(b)和图(d)的EI也发生了显著变化。该网络在过拟合阶段，损失函数趋于平缓，EI基本保持不变。由于MNIST任务复杂度更高，EI的变化幅度更大，表明网络在复杂任务中需要更多的因果结构调整来适应任务需求。总体而言，EI的变化与损失函数的变化密切相关，尤其是在学习的关键阶段，这一发现有助于我们理解神经网络如何通过调整其内部因果结构来适应不同的任务。
同时我们也按照离散的方法复现了（单节点→单节点）EI随着激活函数网络权重的变化趋势（如图所示），发现在相同激活函数，不同的bins，对于EI值最高点所对应的网络权重都是一样的，然而在相同bins，不同激活函数网络中，EI值最高点所对应的网络权重是不一样的。
[[文件:EI1.png|center|710x710像素|离散EI]]
[[文件:EI1.png|center|710x710像素|离散EI]]