5,443
个编辑
更改
跳到导航
跳到搜索
第62行：
第62行： + + + + + + + + + + + + + + + + + + + + + + + + + + +
→因果平面中的深度神经网络
=因果平面中的深度神经网络=
=因果平面中的深度神经网络=
### 有效信息（EI）的分解与因果平面
如上文所述，**有效信息（Effective Information, EI）** 取决于网络中连接的权重以及这些权重之间的重叠程度。这两者共同构成了 **EI 流形**。这意味着 **EI** 可以分解为两个关键属性：**敏感度（Sensitivity）** 和 **简并度（Degeneracy）**。**敏感度**衡量网络中每条边独立传输信息的能力，而 **简并度**衡量由于边权重重叠导致的信息损失。这种分解方式类似于之前在布尔网络或马尔可夫链中将 **EI** 分解为**确定性**和**简并度**的做法<ref name=":0" /><ref name=":1" />。不过，在神经网络中，由于网络是确定性的，我们用**敏感度**代替了**确定性**。
在深度神经网络（DNN）中，**敏感度**衡量输入层的扰动能够多大程度地传递到输出层。如果敏感度高，说明网络对输入的变化非常敏感。而 **简并度**衡量通过输出层的激活值能否重建输入层的扰动源。如果简并度高，说明网络中的信息重叠较多，导致扰动源难以被准确重建。这两个属性共同构成了一个称为**因果平面**的二维空间，所有神经网络层都可以在这个平面中找到自己的位置。随着网络的学习，不同层的因果结构会逐渐分化，反映出它们对网络功能的贡献。
为了量化这些属性，**敏感度**是通过计算网络中每条边的独立贡献来衡量的。具体公式为：
<math>
\text{Sensitivity} = \sum_{\substack{i \in L_1 \\ j \in L_2}} I(t_i, t_j) \mid \operatorname{do}(i = H^{\text{max}})
</math>
其中，<math>L_1</math> 和 <math>L_2</math> 分别是输入层和输出层，<math>I(t_i, t_j)</math> 是输入节点 <math>i</math> 和输出节点 <math>j</math> 之间的互信息，<math>\operatorname{do}(i = H^{\text{max}})</math> 表示对输入节点 <math>i</math> 进行最大熵扰动。如果网络中的每个节点只接收一个唯一的输入（即没有重叠），那么敏感度就等于 **EI**。
**简并度**衡量的是由于边权重重叠导致的信息损失，计算公式为：
<math>
\text{Degeneracy} = \text{Sensitivity} - EI
</math>
简并度越高，说明网络中的信息重叠越多，导致信息传递的效率降低。
为了可视化网络层在训练过程中的变化，我们引入了**因果平面**。因果平面的两个维度分别是**敏感度**和**简并度**。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，**EI** 将保持不变。在因果平面中，<math>y = x</math> 的直线称为 **EI 的零线**，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，**EI** 增加；向简并度方向移动表示网络的简并度增加，**EI** 减少；沿零线移动表示 **EI** 保持不变，网络层的因果结构没有显著变化。
在实验中，我们观察到，**MNIST 任务**由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化，而 **Iris 任务**由于任务较简单，网络层的因果结构分化较少，且更倾向于沿 **EI 零线** 移动。此外，我们还发现，**冗余层**在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而**动态层**在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献。
### 总结
通过分解 **EI** 为**敏感度**和**简并度**，我们能够更好地理解神经网络中因果结构的变化。**因果平面**为我们提供了一种直观的方式来可视化网络层在训练过程中的演化，并揭示了不同层对网络功能的贡献。这些发现有助于我们设计更高效、更可解释的神经网络。
如上文所述，EI取决于连接的权重及其重叠程度，这两者共同构成了EI流形。这表明，EI可以分解为两个属性：由个体权重表示的因果关系的敏感度，以及由于输入权重重叠而导致的这些关系的通用性。这反映了之前将EIin布尔网络或马尔可夫链分解为确定性（这里用敏感度代替，因为神经网络传统上是确定性）和简并性<ref name=":0" /><ref name=":1" />。
如上文所述，EI取决于连接的权重及其重叠程度，这两者共同构成了EI流形。这表明，EI可以分解为两个属性：由个体权重表示的因果关系的敏感度，以及由于输入权重重叠而导致的这些关系的通用性。这反映了之前将EIin布尔网络或马尔可夫链分解为确定性（这里用敏感度代替，因为神经网络传统上是确定性）和简并性<ref name=":0" /><ref name=":1" />。