3,094
个编辑
更改
跳到导航
跳到搜索
第151行：
第151行： − =计算实例=+
→基于连续方法观察神经网络EI
[[文件:互信息EI.png|500x500像素|thumb|center|MNIST和Iris任务中训练集和测试集的损失函数变化，引自<ref>Scythia Marrow, Eric J. Michaud, and Erik Hoel. Examining the Causal Structures of Deep Neural Networks Using Information Theory. In Entropy, volume 22, pages 1429, 2020.</ref>]]<br>
[[文件:互信息EI.png|500x500像素|thumb|center|MNIST和Iris任务中训练集和测试集的损失函数变化，引自<ref>Scythia Marrow, Eric J. Michaud, and Erik Hoel. Examining the Causal Structures of Deep Neural Networks Using Information Theory. In Entropy, volume 22, pages 1429, 2020.</ref>]]<br>
==基于连续方法观察神经网络EI==
==基于连续方法观察神经网络EI==
本实验基于连续方法计算有效信息的思路，复现了两个基准分类任务（Iris和MNIST)上训练的网络的有效信息计算，并观察有效信息在层之间的动态变化。进一步，我们可以观察EI动态与损失函数的关系。
本实验基于连续方法计算有效信息的思路，复现了两个基准分类任务（Iris和MNIST)上训练的网络的有效信息计算，并观察有效信息在层之间的动态变化。进一步，我们可以观察EI动态与损失函数的关系。