5,443
个编辑
更改
跳到导航
跳到搜索
第58行：
第58行： − 如第2节所述，EI取决于连接的权重及其重叠程度，这两者共同构成了EI流形。这表明，EI可以分解为两个属性：由个体权重表示的因果关系的敏感性，以及由于输入权重重叠而导致的这些关系的通用性。这反映了之前将EIin布尔网络或马尔可夫链分解为确定性（这里用灵敏度代替，因为神经网络传统上是确定性的）和简并性<ref name=":0" /><ref name=":1" />。+
→因果平面中的深度神经网络
=因果平面中的深度神经网络=
=因果平面中的深度神经网络=
如上文所述，EI取决于连接的权重及其重叠程度，这两者共同构成了EI流形。这表明，EI可以分解为两个属性：由个体权重表示的因果关系的敏感性，以及由于输入权重重叠而导致的这些关系的通用性。这反映了之前将EIin布尔网络或马尔可夫链分解为确定性（这里用灵敏度代替，因为神经网络传统上是确定性的）和简并性<ref name=":0" /><ref name=":1" />。
在DNN中，层的灵敏度衡量输入将扰动传输到输出节点的程度，而层的简并性衡量通过检查层输出可以重建输入扰动源的程度。如果扰动源不能很好地重建，则网络被称为扰动。这两个维度的因果关系共同构成了一个所有DNN层都占据的“因果平面”。随着层通过学习而不同，它们的因果结构应该在因果平面中占据独特的位置，反映出它们通过变得更敏感或更退化而对DNN功能的贡献。
在DNN中，层的灵敏度衡量输入将扰动传输到输出节点的程度，而层的简并性衡量通过检查层输出可以重建输入扰动源的程度。如果扰动源不能很好地重建，则网络被称为扰动。这两个维度的因果关系共同构成了一个所有DNN层都占据的“因果平面”。随着层通过学习而不同，它们的因果结构应该在因果平面中占据独特的位置，反映出它们通过变得更敏感或更退化而对DNN功能的贡献。