更改

=== 测量层与层之间的有效信息 ===

=== 测量层与层之间的有效信息 ===

首先我们介绍一种方法，用于测量深度神经网络中层与层之间的有效信息，从而捕捉一个层对另一个层的总联合效应。因此，我们从L1开始，L1是一组与L2有加权前馈连接的节点，我们假设所有节点都有一些激活函数，如sigmoid函数。为了测量EI，L1被干预为最大熵分布<math>do(L_{1}=H^{\max})</math>，这意味着节点的所有激活与否的状态组合都被赋予了同等的概率。EI衡量了在这一最大熵干预下，输入变量（[math]L_1[/math]）和输出变量（[math]L_2[/math]）彼此之间的互信息：

首先我们介绍一种方法，用于测量深度神经网络中任意层输入与输出之间的有效信息，从而捕捉一个层对另一个层的总联合效应。因此，我们从L1开始，L1是一组与L2有加权前馈连接的节点，我们假设所有节点都有一些激活函数，如sigmoid函数。为了测量EI，L1被干预为最大熵分布<math>do(L_{1}=H^{\max})</math>，这意味着节点的所有激活与否的状态组合都被赋予了同等的概率。EI衡量了在这一最大熵干预下，输入变量（[math]L_1[/math]）和输出变量（[math]L_2[/math]）彼此之间的互信息：

<math>

<math>

</math>

</math>

===有效信息的计算===

===有效信息的计算===