5,443
个编辑
更改
建立内容为“===有效信息的分解=== 正如任意一个因果机制的有效信息可以被分为确定性和简并性（或称非退化性），单个神经元的…”的新页面
===有效信息的分解===
正如任意一个[[因果机制]]的[[有效信息]]可以被分为确定性和简并性（或称非退化性），单个神经元的[[有效信息]]也可以进一步分解为两个部分：敏感性（Sensitivity）和简并性（Degeneracy）。
1.敏感性（Sensitivity）
敏感性衡量的是网络中每个边对输出的独立贡献,即输入层的每个节点对输出层每个节点的单独影响有多大。具体来说，敏感性是每个输入节点 <math>i \in L_1</math> 和输出节点 <math>j \in L_2</math> 之间的互信息之和：
<math>
\text{Sensitivity} = \sum_{(i \in L_1, j \in L_2)} I(t_i, t_j \mid do(i = H^{\text{max}}))
</math>
其中：
<math>t_i</math> 和 <math>t_j</math> 分别是输入节点 <math>i</math> 和输出节点 <math>j</math> 的激活值。
<math>do(i = H^{\text{max}})</math> 表示仅对节点 <math>i</math> 进行最大熵扰动，其他节点的激活值设为 0。
敏感性（Sensitivity）与EI的区别: EI是全局最大熵输入下所有输入向量和输出向量的互信息；Sensitivity是对每个输入节点，单独做最大熵干预，其他固定为0, 是每条输入–输出单边传递了多少，全部累加；EI ≤ Sensitivity （除非输入完全独立无冗余），因为局部干预把信息传递“拆开了”，它们会重复叠加输入间的冗余部分，EI 反映了去重后的“有效信息”。
2.简并性（Degeneracy）
简并性衡量的是由于输入节点之间的重叠（即多个输入节点连接到同一个输出节点）导致的信息损失。简并性通过以下公式计算：
<math>
\text{Degeneracy} = \text{Sensitivity} - EI
</math>
简并性反映了网络中因果关系的冗余程度。
正如任意一个[[因果机制]]的[[有效信息]]可以被分为确定性和简并性（或称非退化性），单个神经元的[[有效信息]]也可以进一步分解为两个部分：敏感性（Sensitivity）和简并性（Degeneracy）。
1.敏感性（Sensitivity）
敏感性衡量的是网络中每个边对输出的独立贡献,即输入层的每个节点对输出层每个节点的单独影响有多大。具体来说，敏感性是每个输入节点 <math>i \in L_1</math> 和输出节点 <math>j \in L_2</math> 之间的互信息之和：
<math>
\text{Sensitivity} = \sum_{(i \in L_1, j \in L_2)} I(t_i, t_j \mid do(i = H^{\text{max}}))
</math>
其中：
<math>t_i</math> 和 <math>t_j</math> 分别是输入节点 <math>i</math> 和输出节点 <math>j</math> 的激活值。
<math>do(i = H^{\text{max}})</math> 表示仅对节点 <math>i</math> 进行最大熵扰动，其他节点的激活值设为 0。
敏感性（Sensitivity）与EI的区别: EI是全局最大熵输入下所有输入向量和输出向量的互信息；Sensitivity是对每个输入节点，单独做最大熵干预，其他固定为0, 是每条输入–输出单边传递了多少，全部累加；EI ≤ Sensitivity （除非输入完全独立无冗余），因为局部干预把信息传递“拆开了”，它们会重复叠加输入间的冗余部分，EI 反映了去重后的“有效信息”。
2.简并性（Degeneracy）
简并性衡量的是由于输入节点之间的重叠（即多个输入节点连接到同一个输出节点）导致的信息损失。简并性通过以下公式计算：
<math>
\text{Degeneracy} = \text{Sensitivity} - EI
</math>
简并性反映了网络中因果关系的冗余程度。