5,443
个编辑
更改
→量化神经网络中的因果结构
此外，EI还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”，并且与Kolmogorov复杂度和VC熵有重要关系<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>。最重要的是，先前的研究表明，EI能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性）<ref name=":0" />，而这些特性是标准互信息无法捕捉的。
此外，EI还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”，并且与Kolmogorov复杂度和VC熵有重要关系<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>。最重要的是，先前的研究表明，EI能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性）<ref name=":0" />，而这些特性是标准互信息无法捕捉的。
首先我们介绍一种方法，用于测量深度神经网络中层与层之间的有效信息，从而捕捉一个层对另一个层的总联合效应。因此，我们从L1开始，L1是一组与L2有加权前馈连接的节点，我们假设所有节点都有一些激活函数，如sigmoid函数。为了测量EI，L1在最大熵<math>do(L_{1}=H^{\max})</math>处受到扰动，这意味着节点的所有激活都被迫进入随机选择的状态。<math>L_{1}=H^{\max}</math>最大限度地放大了L1中所有节点的同时和独立的最大熵扰动：
<math>
<math>
</math>
</math>
这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。
EI可跨不同的常用激活函数进行扩展。图1a-c显示了两个节点a和B之间的单条边的EI，其中a→B的权重逐渐增加，每个面板显示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有给定激活函数的孤立边，都存在一条依赖于来自AtoB的连接权重的特征isticEIcurve，并且这条曲线的形状与所选的箱数（8、16、32和64）无关。在低权重下，EI表明B对a中的扰动不敏感，尽管这种敏感性在所有三个激活函数中都达到了峰值。然后，当权重饱和激活函数时，曲线会衰减，使B对A的扰动敏感。
EI可跨不同的常用激活函数进行扩展。图1a-c显示了两个节点a和B之间的单条边的EI，其中a→B的权重逐渐增加，每个面板显示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有给定激活函数的孤立边，都存在一条依赖于来自AtoB的连接权重的特征isticEIcurve，并且这条曲线的形状与所选的箱数（8、16、32和64）无关。在低权重下，EI表明B对a中的扰动不敏感，尽管这种敏感性在所有三个激活函数中都达到了峰值。然后，当权重饱和激活函数时，曲线会衰减，使B对A的扰动敏感。