5,443
个编辑
更改
跳到导航
跳到搜索
第63行：
第63行： − +
→有效信息分解与因果平面
=有效信息分解与因果平面=
=有效信息分解与因果平面=
如上文所述，[[有效信息]]取决于网络中连接的权重以及这些权重之间的重叠程度。这两者共同构成了EI 流形。这意味着EI可以分解为两个关键属性：敏感度(Sensitivity)和简并度(Degeneracy)。敏感度衡量网络中每条边独立传输信息的能力，而简并度衡量由于边权重重叠导致的信息损失。这种分解方式类似于之前在布尔网络或马尔可夫链中将EI分解为确定性和简并度的做法<ref name=":0" /><ref name=":1" />。不过，在神经网络中，由于网络是确定性的，我们用敏感度代替了确定性。
如上文所述，[[有效信息]]取决于网络中连接的权重以及这些权重之间的重叠程度。这两者共同构成了EI流形。这意味着EI可以分解为两个关键属性：敏感度(Sensitivity)和简并度(Degeneracy)。敏感度衡量网络中每条边独立传输信息的能力，而简并度衡量由于边权重重叠导致的信息损失。这种分解方式类似于之前在布尔网络或马尔可夫链中将EI分解为确定性和简并度的做法<ref name=":0" /><ref name=":1" />。不过，在神经网络中，由于网络是确定性的，我们用敏感度代替了确定性。
在深度神经网络（DNN）中，敏感度衡量输入层的扰动能够多大程度地传递到输出层。如果敏感度高，说明网络对输入的变化非常敏感。而简并度衡量通过输出层的激活值能否重建输入层的扰动源。如果简并度高，说明网络中的信息重叠较多，导致扰动源难以被准确重建。这两个属性共同构成了一个称为[[因果平面]]的二维空间，所有神经网络层都可以在这个平面中找到自己的位置。随着网络的学习，不同层的因果结构会逐渐分化，反映出它们对网络功能的贡献。
在深度神经网络（DNN）中，敏感度衡量输入层的扰动能够多大程度地传递到输出层。如果敏感度高，说明网络对输入的变化非常敏感。而简并度衡量通过输出层的激活值能否重建输入层的扰动源。如果简并度高，说明网络中的信息重叠较多，导致扰动源难以被准确重建。这两个属性共同构成了一个称为[[因果平面]]的二维空间，所有神经网络层都可以在这个平面中找到自己的位置。随着网络的学习，不同层的因果结构会逐渐分化，反映出它们对网络功能的贡献。