5,443
个编辑
更改
跳到导航
跳到搜索
第62行：
第62行： + + 第83行：
第85行： − + + +
→有效信息分解与因果平面
=有效信息分解与因果平面=
=有效信息分解与因果平面=
==有效信息分解==
如上文所述，[[有效信息]]取决于网络中连接的权重以及这些权重之间的重叠程度。这两者共同构成了EI流形。这意味着EI可以分解为两个关键属性：敏感度(Sensitivity)和简并度(Degeneracy)。敏感度衡量网络中每条边独立传输信息的能力，而简并度衡量由于边权重重叠导致的信息损失。这种分解方式类似于之前在布尔网络或马尔可夫链中将EI分解为确定性和简并度的做法<ref name=":0" /><ref name=":1" />。不过，在神经网络中，由于网络是确定性的，我们用敏感度代替了确定性。
如上文所述，[[有效信息]]取决于网络中连接的权重以及这些权重之间的重叠程度。这两者共同构成了EI流形。这意味着EI可以分解为两个关键属性：敏感度(Sensitivity)和简并度(Degeneracy)。敏感度衡量网络中每条边独立传输信息的能力，而简并度衡量由于边权重重叠导致的信息损失。这种分解方式类似于之前在布尔网络或马尔可夫链中将EI分解为确定性和简并度的做法<ref name=":0" /><ref name=":1" />。不过，在神经网络中，由于网络是确定性的，我们用敏感度代替了确定性。
简并度越高，说明网络中的信息重叠越多，导致信息传递的效率降低。
简并度越高，说明网络中的信息重叠越多，导致信息传递的效率降低。
为了可视化网络层在训练过程中的变化，我们引入了[[因果平面]]。因果平面的两个维度分别是**敏感度**和**简并度**。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，EI将保持不变。在因果平面中，<math>y = x</math> 的直线称为EI的零线，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，EI增加；向简并度方向移动表示网络的简并度增加，EI减少；沿零线移动表示EI保持不变，网络层的因果结构没有显著变化。
==因果平面==
为了可视化网络层在训练过程中的变化，我们引入了[[因果平面]]。因果平面的两个维度分别是敏感度和简并度。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，EI将保持不变。在因果平面中，<math>y = x</math> 的直线称为EI的零线，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，EI增加；向简并度方向移动表示网络的简并度增加，EI减少；沿零线移动表示EI保持不变，网络层的因果结构没有显著变化。
在实验中，我们观察到，MNIST由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化，而Iris由于任务较简单，网络层的因果结构分化较少，且更倾向于沿EI零线移动。此外，我们还发现，冗余层在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而动态层在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献。
在实验中，我们观察到，MNIST由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化，而Iris由于任务较简单，网络层的因果结构分化较少，且更倾向于沿EI零线移动。此外，我们还发现，冗余层在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而动态层在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献。