更改

这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。

这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。

=== 有效信息在不同激活函数中的表现 ===

=有效信息在节点之间的表现=

 

=== 在不同激活函数中的表现 ===

EI在不同的常用激活函数中具有一致的特性。下图a-c展示了两个节点A和B之间单个连接的EI，其中A→B的权重逐渐增加，每个面板展示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有特定激活函数的孤立连接，存在一个依赖于A到B连接权重的特征EI曲线，并且该曲线的形状与选择的bins数量（8、16、32和64）无关。

EI在不同的常用激活函数中具有一致的特性。下图a-c展示了两个节点A和B之间单个连接的EI，其中A→B的权重逐渐增加，每个面板展示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有特定激活函数的孤立连接，存在一个依赖于A到B连接权重的特征EI曲线，并且该曲线的形状与选择的bins数量（8、16、32和64）无关。

值得注意的是，这些特征峰值揭示了哪些权重代表了强因果关系（在孤立连接的情况下）。例如，sigmoid激活函数在权重等于欧拉数e时具有最具信息量的因果关系，tanh激活函数在权重为coth(1)时达到峰值，而ReLU激活函数在权重为1时达到峰值。这表明，DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的权重。例如，在使用sigmoid激活函数时，如果A→B的连接权重非常高，A的激活对扰动的信息量会变得很小，因为大多数扰动都会导致B的输出饱和到1。

值得注意的是，这些特征峰值揭示了哪些权重代表了强因果关系（在孤立连接的情况下）。例如，sigmoid激活函数在权重等于欧拉数e时具有最具信息量的因果关系，tanh激活函数在权重为coth(1)时达到峰值，而ReLU激活函数在权重为1时达到峰值。这表明，DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的权重。例如，在使用sigmoid激活函数时，如果A→B的连接权重非常高，A的激活对扰动的信息量会变得很小，因为大多数扰动都会导致B的输出饱和到1。

=== 多连接情况下的EI曲线 ===

=== 多节点连接情况下的表现 ===

在存在多个连接的情况下，EI曲线会变成一个更高维的EI流形。下图d-f展示了由两个节点A和B组成的层，每个节点都有一个连接到C的单个连接的EI (A, B→C)。由于扰动之间可能相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或退化性，从而形成一个流形。例如，在sigmoid激活函数中，EI流形大致是2倍对称的，这是由于sigmoid函数在正负权重周围的对称性，以及网络本身的对称性（因为神经元A和B都只连接到C）。

在存在多个连接的情况下，EI曲线会变成一个更高维的EI流形。下图d-f展示了由两个节点A和B组成的层，每个节点都有一个连接到C的单个连接的EI (A, B→C)。由于扰动之间可能相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或退化性，从而形成一个流形。例如，在sigmoid激活函数中，EI流形大致是2倍对称的，这是由于sigmoid函数在正负权重周围的对称性，以及网络本身的对称性（因为神经元A和B都只连接到C）。