143
个编辑
更改
跳到导航
跳到搜索
第64行：
第64行： + + + +
→有效信息的分解：敏感度与简并度
==== 敏感度 ====
==== 敏感度 ====
敏感度衡量层间所有连接独立传递扰动的总能力。计算时逐个对上游单个神经元施加最大熵干预、其余神经元激活置零，累加所有输入 - 输出神经元对的互信息：
敏感度衡量层间所有连接独立传递扰动的总能力。计算时逐个对上游单个神经元施加最大熵干预、其余神经元激活置零，累加所有输入 - 输出神经元对的互信息：
<math>
<math>
Sensitivity = \sum_{i \in L_1, j \in L_2} I(t_i, t_j) \mid do(i=H^{\text{max}})
Sensitivity = \sum_{i \in L_1, j \in L_2} I(t_i, t_j) \mid do(i=H^{\text{max}})
</math>
</math>
它是层间因果信息的理论上限；当下游神经元仅接收唯一上游连接时，敏感度与有效信息数值相等。
它是层间因果信息的理论上限；当下游神经元仅接收唯一上游连接时，敏感度与有效信息数值相等。
==== 简并度 ====
==== 简并度 ====
简并度衡量权重重叠导致的因果信息损耗，反映多源扰动在下游的混淆程度，数值上等于敏感度与有效信息的差值：
简并度衡量权重重叠导致的因果信息损耗，反映多源扰动在下游的混淆程度，数值上等于敏感度与有效信息的差值：
<math>
<math>
Degeneracy = Sensitivity - EI
Degeneracy = Sensitivity - EI
</math>
</math>
数值越高，不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>，有效信息的增减既可能来自敏感度变化，也可能来自简并度的反向变化，该分解可区分网络训练中因果结构演化的内在机制。
数值越高，不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>，有效信息的增减既可能来自敏感度变化，也可能来自简并度的反向变化，该分解可区分网络训练中因果结构演化的内在机制。