143
个编辑
更改
→基于连续方法观察神经网络EI
其次，我们使用连续变量计算有效信息的方法，我们同样发现，EI的最大变化与训练过程中损失函数最陡峭的部分显著匹配；在过拟合期间，EI在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化了。
其次，我们使用连续变量计算有效信息的方法，我们同样发现，EI的最大变化与训练过程中损失函数最陡峭的部分显著匹配；在过拟合期间，EI在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化了。
其次，我们使用连续变量计算有效信息的方法，在连续框架下单节点对单节点（one to one）的EI随着激活函数网络权重的变化趋势（如下图），连续计算方案不会对各类激活函数的输出空间施加人为压缩约束，最终连续版本一对一实验的 EI 变化规律，与离散版本一对一实验呈现出相同的变化趋势，Sigmoid和Tanh激活函数的例子呈现先上升后下降的趋势，并且峰值十分接近，以Relu为激活函数的例子则出现了先急增后缓增的情况。
我们同样发现，EI 的最大变化与训练过程中损失函数最陡峭的部分显著匹配；在过拟合期间，EI 在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化了。下图展示了连续方法训练过程中神经网络各层EI和损失函数的变化。图(b)和图(d)分别显示了Iris任务中训练集和测试集的损失函数变化。可以看到，在训练初期，损失函数快速下降，同时图(a)和图(c)的EI也发生了显著变化。该网络在过拟合阶段，损失函数趋于平缓，EI基本保持不变。由于MNIST任务复杂度更高，EI的变化幅度更大，表明网络在复杂任务中需要更多的因果结构调整来适应任务需求。总体而言，EI的变化与损失函数的变化密切相关，尤其是在学习的关键阶段，这一发现有助于我们理解神经网络如何通过调整其内部因果结构来适应不同的任务。
[[文件:EI.jpg|center|600x600像素|]]
[[文件:EI.jpg|center|600x600像素|]]