143
个编辑
更改
→基于离散方法的有效信息计算
下图为离散有效信息的关系图。
下图为离散有效信息的关系图。
[[文件:Sensitivity.png|center|500x500像素|]]
[[文件:Sensitivity.png|center|500x500像素|]]
=== 有效信息的分解：敏感度与简并度 ===
层间有效信息可进一步分解为敏感度与简并度两个正交维度，分别刻画单连接的独立因果强度与权重重叠的信息损耗，实现对网络因果结构的精细化拆解。
==== 敏感度 ====
敏感度衡量层间所有连接独立传递扰动的总能力。计算时逐个对上游单个神经元施加最大熵干预、其余神经元激活置零，累加所有输入 - 输出神经元对的互信息：
<math>Sensitivity = \sum_{i \in L_1, j \in L_2} I(t_i, t_j) \mid do(i=H^{\text{max}})</math>
它是层间因果信息的理论上限；当下游神经元仅接收唯一上游连接时，敏感度与有效信息数值相等。
==== 简并度 ====
简并度衡量权重重叠导致的因果信息损耗，反映多源扰动在下游的混淆程度，数值上等于敏感度与有效信息的差值：
<math>Degeneracy = Sensitivity - EI</math>
数值越高，不同因果通路的区分度越低。三者满足恒等式 <math>EI = Sensitivity - Degeneracy</math>，有效信息的增减既可能来自敏感度变化，也可能来自简并度的反向变化，该分解可区分网络训练中因果结构演化的内在机制。
=基于连续方法的有效信息计算=
=基于连续方法的有效信息计算=