更改

跳到导航 跳到搜索
第64行: 第64行:  
==== 敏感度 ====
 
==== 敏感度 ====
 
敏感度衡量层间所有连接独立传递扰动的总能力。计算时逐个对上游单个神经元施加最大熵干预、其余神经元激活置零,累加所有输入 - 输出神经元对的互信息:
 
敏感度衡量层间所有连接独立传递扰动的总能力。计算时逐个对上游单个神经元施加最大熵干预、其余神经元激活置零,累加所有输入 - 输出神经元对的互信息:
−
<math>Sensitivity = \sum_{i \in L_1, j \in L_2} I(t_i, t_j) \mid do(i=H^{\text{max}})</math>
+
<math>
 +
Sensitivity = \sum_{i \in L_1, j \in L_2} I(t_i, t_j) \mid do(i=H^{\text{max}})
 +
</math>
 
它是层间因果信息的理论上限;当下游神经元仅接收唯一上游连接时,敏感度与有效信息数值相等。
 
它是层间因果信息的理论上限;当下游神经元仅接收唯一上游连接时,敏感度与有效信息数值相等。
 
==== 简并度 ====
 
==== 简并度 ====
 
简并度衡量权重重叠导致的因果信息损耗,反映多源扰动在下游的混淆程度,数值上等于敏感度与有效信息的差值:
 
简并度衡量权重重叠导致的因果信息损耗,反映多源扰动在下游的混淆程度,数值上等于敏感度与有效信息的差值:
−
<math>Degeneracy = Sensitivity - EI</math>
+
<math>
 +
Degeneracy = Sensitivity - EI
 +
</math>
 
数值越高,不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>,有效信息的增减既可能来自敏感度变化,也可能来自简并度的反向变化,该分解可区分网络训练中因果结构演化的内在机制。
 
数值越高,不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>,有效信息的增减既可能来自敏感度变化,也可能来自简并度的反向变化,该分解可区分网络训练中因果结构演化的内在机制。
  
143

个编辑

导航菜单