5,443
个编辑
更改
跳到导航
跳到搜索
第16行：
第16行： − + 第25行：
第25行： + 第35行：
第36行： + +
→量化神经网络中的因果结构
=量化神经网络中的因果结构=
=量化神经网络中的因果结构=
=== 干预揭示因果结构 ===
=== 干预揭示因果关系 ===
干预（也称为“扰动”）是揭示因果关系的关键工具。前馈深度神经网络（DNN）的因果关系集合（也称为“因果结构”）由多个层、层之间的连接以及节点的激活函数组成。我们引入了一套工具，用于探索一个假设：DNN的泛化能力取决于其因果结构如何适应所训练的任务（所有代码已公开，详见 https://github.com/ei-research-group/deep-ei ）。
干预（也称为“扰动”）是揭示因果关系的关键工具。前馈深度神经网络（DNN）的因果关系集合（也称为“因果结构”）由多个层、层之间的连接以及节点的激活函数组成。我们引入了一套工具，用于探索一个假设：DNN的泛化能力取决于其因果结构如何适应所训练的任务（所有代码已公开，详见 https://github.com/ei-research-group/deep-ei ）。
此外，EI还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”，并且与Kolmogorov复杂度和VC熵有重要关系<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>。最重要的是，先前的研究表明，EI能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性）<ref name=":0" />，而这些特性是标准互信息无法捕捉的。
此外，EI还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”，并且与Kolmogorov复杂度和VC熵有重要关系<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>。最重要的是，先前的研究表明，EI能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性）<ref name=":0" />，而这些特性是标准互信息无法捕捉的。
=== 测量层与层之间的有效信息 ===
首先我们介绍一种方法，用于测量深度神经网络中层与层之间的有效信息，从而捕捉一个层对另一个层的总联合效应。因此，我们从L1开始，L1是一组与L2有加权前馈连接的节点，我们假设所有节点都有一些激活函数，如sigmoid函数。为了测量EI，L1在最大熵<math>do(L_{1}=H^{\max})</math>处受到扰动，这意味着节点的所有激活都被迫进入随机选择的状态。<math>L_{1}=H^{\max}</math>最大限度地放大了L1中所有节点的同时和独立的最大熵扰动：
首先我们介绍一种方法，用于测量深度神经网络中层与层之间的有效信息，从而捕捉一个层对另一个层的总联合效应。因此，我们从L1开始，L1是一组与L2有加权前馈连接的节点，我们假设所有节点都有一些激活函数，如sigmoid函数。为了测量EI，L1在最大熵<math>do(L_{1}=H^{\max})</math>处受到扰动，这意味着节点的所有激活都被迫进入随机选择的状态。<math>L_{1}=H^{\max}</math>最大限度地放大了L1中所有节点的同时和独立的最大熵扰动：
这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。
这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。
=== 有效信息在不同激活函数中的表现 ===
EI可跨不同的常用激活函数进行扩展。图1a-c显示了两个节点a和B之间的单条边的EI，其中a→B的权重逐渐增加，每个面板显示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有给定激活函数的孤立边，都存在一条依赖于来自AtoB的连接权重的特征isticEIcurve，并且这条曲线的形状与所选的箱数（8、16、32和64）无关。在低权重下，EI表明B对a中的扰动不敏感，尽管这种敏感性在所有三个激活函数中都达到了峰值。然后，当权重饱和激活函数时，曲线会衰减，使B对A的扰动敏感。
EI可跨不同的常用激活函数进行扩展。图1a-c显示了两个节点a和B之间的单条边的EI，其中a→B的权重逐渐增加，每个面板显示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有给定激活函数的孤立边，都存在一条依赖于来自AtoB的连接权重的特征isticEIcurve，并且这条曲线的形状与所选的箱数（8、16、32和64）无关。在低权重下，EI表明B对a中的扰动不敏感，尽管这种敏感性在所有三个激活函数中都达到了峰值。然后，当权重饱和激活函数时，曲线会衰减，使B对A的扰动敏感。
请注意，特征峰值揭示了哪些权重代表（孤立考虑的连接）的强因果关系。例如，一个sigmoid激活函数在等于欧拉数的aweight处具有最具信息量的因果关系，一个tanh激活函数在权重coth（1）处具有信息量，一个ReLU激活函数在重量1处具有信息力。这表明DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的。例如，对于sigmoid激活函数和连接A→B的极高权重，A的激活对扰动的信息量不大，因为大多数扰动都会导致B的输出在1处饱和。
请注意，特征峰值揭示了哪些权重代表（孤立考虑的连接）的强因果关系。例如，一个sigmoid激活函数在等于欧拉数的aweight处具有最具信息量的因果关系，一个tanh激活函数在权重coth（1）处具有信息量，一个ReLU激活函数在重量1处具有信息力。这表明DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的。例如，对于sigmoid激活函数和连接A→B的极高权重，A的激活对扰动的信息量不大，因为大多数扰动都会导致B的输出在1处饱和。
=== 多连接情况下的EI曲线 ===
在多个连接的情况下，EI曲线成为更高维度的EI歧管。图1d-f显示了由两个节点（A、B）组成的层的EI（A，B→C），每个节点都与C有一个连接。由于扰动会相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或通用性，从而形成流形。例如，在sigmoid激活函数中，EI流形大约是2倍对称的，这是由于sigmoid在正负权重周围的对称性，再加上网络本身的对称性（因为神经元A和Bony都连接到C）。
在多个连接的情况下，EI曲线成为更高维度的EI歧管。图1d-f显示了由两个节点（A、B）组成的层的EI（A，B→C），每个节点都与C有一个连接。由于扰动会相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或通用性，从而形成流形。例如，在sigmoid激活函数中，EI流形大约是2倍对称的，这是由于sigmoid在正负权重周围的对称性，再加上网络本身的对称性（因为神经元A和Bony都连接到C）。