5,443
个编辑
更改
跳到导航
跳到搜索
第68行：
第68行： + + + − 简并度越高，说明网络中的信息重叠越多，导致信息传递的效率降低。
→有效信息分解与因果平面
为了量化这些属性，敏感度是通过计算网络中每条边的独立贡献来衡量的。具体公式为：
为了量化这些属性，敏感度是通过计算网络中每条边的独立贡献来衡量的。具体公式为：
<math>
<math>
\text{Sensitivity} = \sum_{\substack{i \in L_1 \\ j \in L_2}} I(t_i, t_j) \mid \operatorname{do}(i = H^{\text{max}})
\text{Sensitivity} = \sum_{\substack{i \in L_1 \\ j \in L_2}} I(t_i, t_j) \mid \operatorname{do}(i = H^{\text{max}})
</math>
</math>
其中，<math>L_1</math> 和 <math>L_2</math> 分别是输入层和输出层，<math>I(t_i, t_j)</math> 是输入节点 <math>i</math> 和输出节点 <math>j</math> 之间的互信息，<math>\operatorname{do}(i = H^{\text{max}})</math> 表示对输入节点 <math>i</math> 进行最大熵扰动。如果网络中的每个节点只接收一个唯一的输入（即没有重叠），那么敏感度就等于EI。
其中，<math>L_1</math> 和 <math>L_2</math> 分别是输入层和输出层，<math>I(t_i, t_j)</math> 是输入节点 <math>i</math> 和输出节点 <math>j</math> 之间的互信息，<math>\operatorname{do}(i = H^{\text{max}})</math> 表示对输入节点 <math>i</math> 进行最大熵扰动。如果网络中的每个节点只接收一个唯一的输入（即没有重叠），那么敏感度就等于EI。
简并度衡量的是由于边权重重叠导致的信息损失，计算公式为：
简并度衡量的是由于边权重重叠导致的信息损失，计算公式为：
<math>
<math>
\text{Degeneracy} = \text{Sensitivity} - EI
\text{Degeneracy} = \text{Sensitivity} - EI
</math>
</math>
为了可视化网络层在训练过程中的变化，我们引入了[[因果平面]]。因果平面的两个维度分别是**敏感度**和**简并度**。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，EI将保持不变。在因果平面中，<math>y = x</math> 的直线称为EI的零线，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，EI增加；向简并度方向移动表示网络的简并度增加，EI减少；沿零线移动表示EI保持不变，网络层的因果结构没有显著变化。
为了可视化网络层在训练过程中的变化，我们引入了[[因果平面]]。因果平面的两个维度分别是**敏感度**和**简并度**。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，EI将保持不变。在因果平面中，<math>y = x</math> 的直线称为EI的零线，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，EI增加；向简并度方向移动表示网络的简并度增加，EI减少；沿零线移动表示EI保持不变，网络层的因果结构没有显著变化。